CIO Tech Eksperten IT-JOB IT-Kurser Events Podcast Søg
Cookie ikon
Avatar billede kiss Nybegynder
02. juli 2004 - 14:51 Der er 10 kommentarer

Hvorfor og hvordan bruger man robots.txt

Hvorfor og hvordan bruger man filen robots.txt? Min hjemmeside skal selvfølgelig ligge så højt som muligt på søgesiderne, og jeg har i den forbindelse fået lavet noget søgemaskine-optimering. Jeg har hørt at man bør lave en robots.txt fil som sskal lægges i roden af websitet. Den info jeg kan finde omkring dette siger ikke så meget om hvad man får ud af at bruge filen og så vidt jeg kan se handler de eksempler jeg har set mest om at ekskludere søgerobotterne fra at indexere sitet... Hvis man vil ligge højt er man vel ikke interesseret i ikke at blive indexeret?
Avatar billede erikjacobsen Ekspert
02. juli 2004 - 14:58 #1
Formelt behøver du ikke gøre noget, men lægger du en robots.txt, der giver lov til
alt, fordi du ikke vil udelukke noget, indikerer du at du måske er lidt mere
seriøs end dem, der ikke gør. Det er en faktor som søgemaskiner måske vil lægge
vægt på. Det skader i hvert fald ikke at lægge sådan een ;)

Min ser nu sådan her ud for tiden:

# you're welcome, unless you're MSNbot
User-agent: msnbot
Disallow: /
User-agent: *
Disallow:
Avatar billede keysersoze Guru
02. juli 2004 - 15:09 #2
kigger lige med - hvor kan man evt finde en liste over de forskellige user-agents?
Avatar billede kiss Nybegynder
02. juli 2004 - 15:19 #3
Hej Erikjacobsen - Hvorfor ønsker du ikke MSNbot ?
Avatar billede snowball Novice
02. juli 2004 - 15:26 #4
Du kan evt. prøve at læse http://www.robotstxt.org/wc/robots.html
Avatar billede kiss Nybegynder
02. juli 2004 - 15:36 #5
Hej Snowball. Har kigget på siden, men jeg kan ikke rigtig finde svaret der synes jeg.
Avatar billede erikjacobsen Ekspert
02. juli 2004 - 16:17 #6
msnbot kom væltende en dag, og trak en masse trafik. Derfor. Måske får de lov en dag.
Avatar billede kiss Nybegynder
05. juli 2004 - 10:38 #7
Har skrevet denne...
- - -
User-agent: *
Disallow: /cgi-bin/
Disallow: /_index - jul/
Disallow:
- - -
Denne skulle betyde at jeg accepterer alle crawlere, men at de ikke må kigge i /cgi-bin/ og biblioteket /_index - jul/

Er dette skrevet korrekt?
Avatar billede erikjacobsen Ekspert
05. juli 2004 - 10:42 #8
Den sidste linie er overflødig.
Avatar billede kiss Nybegynder
05. juli 2004 - 11:55 #9
Tak, - jeg fjerner den sidste linie. Send et svar, så du kan få points.
Avatar billede kiss Nybegynder
26. september 2005 - 09:03 #10
Så svarer jeg selv
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Se alle it-kurser fra Computerworld Kurser
IT-kurser om Microsoft 365, sikkerhed, personlig vækst, udvikling, digital markedsføring, grafisk design, SAP og forretningsanalyse.
Se alle it-kurser

Flere spørgsmål fra Andre onlineløsninger kategorien

Titel Indlæg Oprettet Seneste aktivitet
Google maps - afstanden altid i km - pc Af 1Dorte i Andre onlineløsninger 5 11/11/202409:41 11/11/202419:36
Problem med WordPress-installation via One.com's 1-klik installation 🚨 Af tobiasandersen i Andre onlineløsninger 7 09/09/202408:56 18/09/202415:18
Kunstig Enteligents For Synshandicappede Af tobberjas i Andre onlineløsninger 4 25/05/202411:37 26/05/202423:04
Hvor gemmer e-conomic momspercentage? Af Computernørderne i Andre onlineløsninger 2 20/04/202419:04 22/04/202411:06
Mailchimp: placere Image block i midten af teksten Af visto i Andre onlineløsninger 4 10/04/202421:45 14/04/202419:04
Se alle spørgsmål i kategorien Opret spørgsmål

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Opret Log ind

Du kan også logge ind via nedenstående tjenester



Alle kategorier på Eksperten
Seneste spørgsmål Seneste aktivitet
21 min siden Billedoverførsel Af Laurids i iOS, iPhone & iPad
I dag 13:30 Hvordan ændres UniFi Dream Machine UDM til switch mode Af Kasper4450 i Internetforbindelser
I dag 13:01 Film går i stå midt i afspilningen Af ole falsted i Musik & videoafspillere
I dag 11:40 Fjerne mappe i stifinder Af Peter Olsen i Andet software
I dag 11:27 renteberegning Af Pil i Excel
White papers
Flere white papers »


Premium
Teaser billede
Vil købe tele-løsninger til det offentlige for 370 millioner kroner
Læs mere »
Efterspørgslen på AI-regnekraft er enorm - og det smitter af på priserne: "Vi kan sælge næsten alt, hvad vi får ind"
Nyt værtøj fra Microsoft: Snart kan du reparere nedbrudte Windows-enheder på distancen
Politiet skriver kontrakt på 75 millioner kroner med dansk it-firma: Medarbejdere skal flytte ind hos politiet
Se alle »
Computerworld
Teaser billede
Microsofts nye pc er ekstrem billig – men kan blive ekstrem sikker og fleksibel
Læs mere »
Test: Prøv kun disse B&O-hovedtelefoner, hvis du har råd
Kæmpe datalæk på hospital: 750.000 patienters fortrolige data lækket
Telegigant klar med AI-baseret mormor: Holder telefon-svindlere fast i røret med sniksnak og dumme spørgsmål
Se alle »
CIO
Teaser billede
Konsulenthus vil rulle Microsoft 365 Copilot ud til 200.000 ansatte
Læs mere »
Kæmpe-opgave for Danske Bank har banet vej for fuldautomatiseret migrering til cloud: Nu udbredes metoden i hele AWS
Microsofts store årlige event: De tre vigtigste nøglebudskaber fra Satya Nadella om Microsofts fremtid
Tre vigtige erkendelser, som Computerworld tog med hjem fra Gartners store topmøde i Barcelona
Se alle »
Job & Karriere
Teaser billede
Microsoft klar med ny direktion for den danske forretning: Her er de nye direktører
Læs mere »
Efter skelsættende møde med sportscoach: Stor dansk it-arbejdsplads indfører fredags-fri og isbade i arbejdstiden
Linus Torvalds giver russiske Linux-udviklere sparket: Vil ikke have noget med dem at gøre
Topchef Sara Green mener, at der er brug for et radikalt nyt syn på it-ledelse - særligt én ny trend hader hun som pesten
Se alle »
White paper
Teaser billede
Cyberstatus 2024: Her er truslerne – og her forbereder virksomhederne sig
Læs mere »
Sikkerhed uden grænser: Cisco Hypershield
Styrk compliance, sikkerhed og overblik med ét hug
Sæt turbo på din cloudperformance og minimér risikoen for DDoS-angreb
Se alle »

Events
Flere events »
White papers
Flere white papers »
IT-Kurser
Se alle vores it-kurser »