hvordan laver jeg en robot.txt

Du åbner en almindelig text-fil, og gemmer den som 'robots.txt'. Filen skal uploades til roden af dit webhotel/din webserver.

Se mere her: http://www.robotstxt.org/

men hvordan ska indholdet af en sådan fil se ud?

... Stien til robots.txt skal se således ud: http://www.ditsite.dk/robots.txt

robots.txt bruges til at styre robotternes (de, der overholder robots.txt) færden på dit website.

Du kan f.eks. fortælle robotterne (igen de, der overholder robots.txt), at de ikke må besøge dit website ved at lægge følgende i filen:

User-agent: *
Disallow: /

Du kan læse meget mere her: http://www.robotstxt.org/wc/faq.html

du kan også blot efterlade den blank.

ok.. hvis jeg efterlader den blank, får jeg så stadig et udbytte af at have filen liggende?

hvad nu hvis jeg fx vil have en robot.txt-fil liggende på serveren som skal fortælle robotterne at de skal kigge i fire filer.. index.html, side2.html, side3.html og side4.html. Og det kun der dem den skal kigge i

User-agent: *
Allow: /index.html
Allow: /side2.html
Allow: /side3.html
Allow: /side4.html

Du kan også angive specifikke filer eller mapper, du ikke ønsker indekseret af robotterne:

User-agent: *
Disallow: /min_mappe/
Disallow: /minfil.html

Eller angive, at f.eks. Google ikke må indeksere følgende:

User-agent: GoogleBot
Disallow: /min_mappe/
Disallow: /minfil.html

(Du bør dog ikke have hemmelige/følsomme oplysninger liggende i de mapper, du lister som 'disallow' - Hackere og andre kigger som regel der når de undersøger et website for svagheder).

Igen... Du kan læse stort set alt om robots.txt i de links jeg har vist dig :-)

Google har også skrevet lidt om anvendelsen af robots.txt og GoogleBot (Googles søgerobot) i denne FAQ: http://www.google.com/support/webmasters/bin/topic.py?topic=8460

cool nok.. det må være nok til at starte med.. dvs. det ville være fornuftigt at oprette en robot.txt-fil med følgende.
User-agent: *
Allow: /index.html
Allow: /side2.html
Allow: /side3.html
Allow: /side4.html

...for så ser søgemaskinerobotterne kun efter disse filer. Jeg lader desuden være med at lave nogle disallow, for dermed at undgå at give hackere muligheden for at se mapper som ikke skal vises.. Er det ikke ok?

Men du kan også nøjes med:

User-agent: *
Allow: /

Og derved tillade alle robotter at besøge alle sider på dit website - De kan alligevel kun finde de sider, du (eller andre) linker til på en webside.

Søgerobotterne arbejder nemlig ved at følge links fra en side til en anden. Har du et link, som robotten uden besvær kan læse vil den følge det, og formentlig indeksere det.

Derfor skal du passe på med hvad, du linker til. Har du f.eks. en hemmelig mappe kaldet: '/x-files/' er den bedste måde at bevare den hemmelig på ved _aldrig_ nogensinde at linke til mappen - Hverken i robots.txt eller via en webside.

... Og tak for points i øvrigt :-)

takker mange gange for hjælpen :)

Velbekomme. Jeg håber, at du blev lidt klogere på robots.txt :-)