CIO Tech Eksperten IT-JOB IT-Kurser Events Podcast Søg
Cookie ikon
Avatar billede kiss Nybegynder
02. juli 2004 - 14:51 Der er 10 kommentarer

Hvorfor og hvordan bruger man robots.txt

Hvorfor og hvordan bruger man filen robots.txt? Min hjemmeside skal selvfølgelig ligge så højt som muligt på søgesiderne, og jeg har i den forbindelse fået lavet noget søgemaskine-optimering. Jeg har hørt at man bør lave en robots.txt fil som sskal lægges i roden af websitet. Den info jeg kan finde omkring dette siger ikke så meget om hvad man får ud af at bruge filen og så vidt jeg kan se handler de eksempler jeg har set mest om at ekskludere søgerobotterne fra at indexere sitet... Hvis man vil ligge højt er man vel ikke interesseret i ikke at blive indexeret?
Avatar billede erikjacobsen Ekspert
02. juli 2004 - 14:58 #1
Formelt behøver du ikke gøre noget, men lægger du en robots.txt, der giver lov til
alt, fordi du ikke vil udelukke noget, indikerer du at du måske er lidt mere
seriøs end dem, der ikke gør. Det er en faktor som søgemaskiner måske vil lægge
vægt på. Det skader i hvert fald ikke at lægge sådan een ;)

Min ser nu sådan her ud for tiden:

# you're welcome, unless you're MSNbot
User-agent: msnbot
Disallow: /
User-agent: *
Disallow:
Avatar billede keysersoze Guru
02. juli 2004 - 15:09 #2
kigger lige med - hvor kan man evt finde en liste over de forskellige user-agents?
Avatar billede kiss Nybegynder
02. juli 2004 - 15:19 #3
Hej Erikjacobsen - Hvorfor ønsker du ikke MSNbot ?
Avatar billede snowball Novice
02. juli 2004 - 15:26 #4
Du kan evt. prøve at læse http://www.robotstxt.org/wc/robots.html
Avatar billede kiss Nybegynder
02. juli 2004 - 15:36 #5
Hej Snowball. Har kigget på siden, men jeg kan ikke rigtig finde svaret der synes jeg.
Avatar billede erikjacobsen Ekspert
02. juli 2004 - 16:17 #6
msnbot kom væltende en dag, og trak en masse trafik. Derfor. Måske får de lov en dag.
Avatar billede kiss Nybegynder
05. juli 2004 - 10:38 #7
Har skrevet denne...
- - -
User-agent: *
Disallow: /cgi-bin/
Disallow: /_index - jul/
Disallow:
- - -
Denne skulle betyde at jeg accepterer alle crawlere, men at de ikke må kigge i /cgi-bin/ og biblioteket /_index - jul/

Er dette skrevet korrekt?
Avatar billede erikjacobsen Ekspert
05. juli 2004 - 10:42 #8
Den sidste linie er overflødig.
Avatar billede kiss Nybegynder
05. juli 2004 - 11:55 #9
Tak, - jeg fjerner den sidste linie. Send et svar, så du kan få points.
Avatar billede kiss Nybegynder
26. september 2005 - 09:03 #10
Så svarer jeg selv
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Se alle it-kurser fra Computerworld Kurser
IT-kurser om Microsoft 365, sikkerhed, personlig vækst, udvikling, digital markedsføring, grafisk design, SAP og forretningsanalyse.
Se alle it-kurser

Flere spørgsmål fra Andre onlineløsninger kategorien

Titel Indlæg Oprettet Seneste aktivitet
Google maps - afstanden altid i km - pc Af 1Dorte i Andre onlineløsninger 5 11/11/202409:41 11/11/202419:36
Problem med WordPress-installation via One.com's 1-klik installation 🚨 Af tobiasandersen i Andre onlineløsninger 7 09/09/202408:56 18/09/202415:18
Kunstig Enteligents For Synshandicappede Af tobberjas i Andre onlineløsninger 4 25/05/202411:37 26/05/202423:04
Hvor gemmer e-conomic momspercentage? Af Computernørderne i Andre onlineløsninger 2 20/04/202419:04 22/04/202411:06
Mailchimp: placere Image block i midten af teksten Af visto i Andre onlineløsninger 4 10/04/202421:45 14/04/202419:04
Se alle spørgsmål i kategorien Opret spørgsmål

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Opret Log ind

Du kan også logge ind via nedenstående tjenester



Alle kategorier på Eksperten
Seneste spørgsmål Seneste aktivitet
I går 07:53 Kan jeg lave en "søg og erstat" i databasen Af a3-seo.dk i MySQL
27/1211:30 Ændre det aller første billed, man ser ? Før man skriver koden (Windows 11) ... Af Ikke-ekspert i Windows
27/1210:47 NUM. tastatur og pc indbygget mus virker ikke. Af arnepedersen i Excel
27/1204:32 Korrupt CF kort Af Mozcan i Foto & video
26/1221:34 install.esd og boot.wim Af sjass i Windows
White papers
Flere white papers »


Premium
Teaser billede
Ny leverandør har netop underskrevet kontrakt med Kombit om kæmpe dansk bibliotekssystem
Læs mere »
M365 Copilot kan blive hurtigere og billigere: Microsoft åbner for alternativer til OpenAI
Ny europæiske supercomputer med 14.000 GPU’er sætter danske Gefion til vægs: Skal bruges til at udvinde kulsort energi
Nye skatteregler for kryptovaluta udskydes: Vil påvirke 300.000 danskere
Se alle »
Computerworld
Teaser billede
Til næste år kommer iPhone 17 – og ifølge rygtestrømmene vil den byde på tre nyheder
Læs mere »
Her er dommen: Region Syddanmark skal betale historisk stor bøde for grove overtrædelser af GDPR
En af verdens største it-distributører dropper samarbejdet med Broadcom: Kunne ikke nå til enighed
Test: Endelig en videodørklokke i smart indpakning og performance, der matcher
Se alle »
CIO
Teaser billede
En af verdens største it-distributører dropper samarbejdet med Broadcom: Kunne ikke nå til enighed
Læs mere »
Vores vidensindsamling og demokratiske samtale påvirkes af helt lukkede beslutninger i en enkelt privat virksomhed
Den danske ungdom ser intet formål i at arbejde med it
Tivoli søger ny CIO: Kenneth Hartvig stopper efter tre år på posten
Se alle »
Job & Karriere
Teaser billede
Microsoft klar med ny direktion for den danske forretning: Her er de nye direktører
Læs mere »
Merete Søby klar med nyt top-job efter pludselig exit fra Schultz: Her er hendes nye job
Linus Torvalds giver russiske Linux-udviklere sparket: Vil ikke have noget med dem at gøre
Dansk headhunter: Dette spørgsmål bliver jeg næsten altid stillet, når jeg forsøger at rekruttere it-folk
Se alle »
White paper
Teaser billede
Beskyt virksomheden mod trusler – og hold ressourceforbruget nede
Læs mere »
Sæt turbo på din cloudperformance og minimér risikoen for DDoS-angreb
Sådan: Én løsning til compliance, sikkerhed og overblik
Sikkerhed uden grænser: Cisco Hypershield
Se alle »

Events
Flere events »
White papers
Flere white papers »
IT-Kurser
Se alle vores it-kurser »