robots.txt og søgemaskiner.

Hvis du laver en robots.txt kan du fortælle søgemaskinerne, hvilke biblioteker på webserveren den ikke skal indexere. Dog er der en hage ved det. Alle kan læse din robots.txt. Så hvis du har noget hemmeligt på din webserver, er det ikke særlig sikkert at lave en robots.txt :)

Du skal have en robots.txt. Alle seriøse søgemaskiner leder efter denne som det første de kikker i på dit sit. Hvis denne ikke findes er det det samme som at sige amatørsite til søgemaskinen. Lav din robots.txt i minimums konfiguration hvis du egentlig ikke har noget søgemaskinerne ikke må se.

For en minimums robots se http://www.bufferzone.dk/robots.txt
For en maximums robots se http://www.webmasterworld.com/robots.txt

Filen må ikke være tom og den skal skrives korrekt.

Generelt bør du ikke have filer på din webserver som andre ikke må se, heller ikke selvom du placere dem i biblioteket som der ikke ligger websider i. Robots text er ikke nok til atbeskytte disse

men hvad så med danske søgemaskiner. jeg er nemlig lige glad med de ulandske maskiner.

Og viser den bare hvad for nogle mapper den skal kigge i og hvem der må kigge dem?

Er det muligt at stoppe for at søgemaskinerne henter ens billeder og laver link til dem, med sådanne en fil? (sådanne at den ikke kan se billederne)

Det vil det være for de bedste og mest seriøse søgemaskinerne der gør en ære ud af at overholde robots.txt. Du kan dog være ude for at nogle søgemaskiner giver dig en dårligere placering da de vil opfatte dine sider som ufærdige hvis de ikke kan hente billederne.
Du skal også være opmærksom på at robots.txt ikke hindre brugerne i at se og gemme dine billeder lokalt

robots.txt viser hvilke mapper den IKKE skal kikke i.

Du kan sagtens udelukke de udenlandske, men det vil sandsyneligvis skade din placering i google en smule, da det vil resultere i færre links fra vigtige sites

Er dette så de mapper den ikke skal kigge i:

User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /Upload/

og denne dem der har adgang til at hente data fra siden:

User-agent: Enterprise_Search
Disallow: /

Kan de ikke bare gå ud få lave et navn og få adgang eller gå det efter domæner?
Er der en liste over sådanne søgemaskiner der søger på denne måde eller er alle på den store liste?

User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /Upload/
Er de mapper ALLE de søgemaskiner der overholder robots.txt undlader at kikke i

User-agent: Enterprise_Search
Disallow: /

Er de mapper (derer ikke naført nogle i eksemplet) den søgemaskine hvis søgerobot hedder Enterprise_Search udnlader at kikke i.

ALLE KAN kikke i alle de mapper du anfører i robotx.tst og faktisk vil du opdage at noget af det første en hacker gør er at gennemse disse mapper. Det kunne jo tenkes at du skjulte oplysninger der kunne bruges til at komme længere ind.

Lad være med at opbevare oplysninger der ikke må ses af andre på en web server

tror bare jeg bruger den gammle måde....meta..

takker for hjælpen