Robots.txt og /disallow

Måske dette kan hjælpe: http://www.html.dk/artikler/00003/

Groenaert.

Jeg tør virkelig ikke stole på en artikel fra HTML.dk - Især kke når det drejer sig om søgemaskineoptimering :o)

Samtidig vil jeg gerne have et udsagn der er 'up to date' i stedet for HTML.dks som er: "Sidst opdateret 26. oktober 2000"

Skal alt crawles, så ser den sådan ud

User-agent: *
Disallow:

Skal alt crawles, men med undtagelser, ser den sådan ud
User-agent: *
Disallow: /Information/Betingelser/
Disallow: /Information/Politik/

madx > Vil index-filen i mappen /Information/ så ikke blive 'disallowed'?

Det er kun index-filen, jeg ønsker tilladt. De resterende undermapper og filer i /Information/ skal være 'disallowed'.

Skrevet på en anden måde:

Følgende fil skal indekseres:

  /Information/Default.asp

Følgende filer skal ikke indekseres:

  /Information/Betingelser/Default.asp
  /Information/Politik/Default.asp

Så er det måske bedre forklaret :o)

madx > Kan du svare på mit spørgsmål (20/08-2006 13:40:45)?

Jeg forstod åbenbart ikke denne korrekt da jeg læste den første gang:

"To exclude all files except one

This is currently a bit awkward, as there is no "Allow" field. The easy way is to put all files to be disallowed into a separate directory, say "docs", and leave the one file in the level above this directory:

User-agent: *
Disallow: /~joe/docs/"

http://www.robotstxt.org/wc/exclusion-admin.html

Ovenstående gør at alle filer i /docs/ ikke indekseres men evt. filer i /~joe/, som ligger over mappen /docs/ men under /~joe/ _bliver_ indekseret.

madx > Du fik ikke svaret helt tydeligt på mit spørgsmål, så jeg kan ikke give points for det da jeg selv fandt svaret. Men tak for forsøget :o)

Jeg lukker her.