robots.txt - ulemper og sikkerhed

Vil gerne lige overvåge denne tråd.

Sider med fortroligt indhold bør aldrig være tilgængelige fra nettet. Det er meget dårligt sikkerhed at basere sikkerheden på at ingen kender URL'erne.

Så derfor bør disallow i robots.txt ikke forringe sikkerheden (medmindre den allerede er helt i bund og så er det vel ligemeget).

Ok, min umiddelbare tanke, da jeg læste om emnet, var blot om man lettere "servere" mapper for spambotter o.l.

Desuden om det er en fordel, ulempe eller ligegyldigt at Disallow fx mapper hvor forbindelsesindstillinger til mysqldatabaser ligger og mapper som kun kan benyttes af bruger (med login).

Beskyt mod spam via login eller captcha.

Hvis der ikke er adgang for bots så er der ingen grund til at bruge disallow.

Jeg benytter login og captcha og oplever ikke problemer, så det skulle være på plads.

Men - hvis det så ikke er nødvendigt at benytte disallow, hvad skulle argumentet så være som taler for at have en robots.txt?

Og som jeg skrev i #3 - "serverer" man mapperne for bots ved at tilføje dem i Disallow?

Jeg bruger en robots.txt på et domæne for ikke at få søgemaskiner til at finde længere med.
Jeg har nogle ikke særlig hemmelige familie billeder liggende i nogle mapper to niveauer under.
Eks: domæne.dk/robots.txt og domæne.dk/mappe/billedmapper.
Så er det vist kun nørder der kan finde billederne.

robots.txt bruges til at forhindre Google, Bing etc. i at indexere noget somd et ikke giver mening at indexere.

Den har ikke noget med sikkerhed at gøre.

arne_v: Du skriver den ikke har noget med sikkerhed at gøre. Det er jeg som sådan med på, men jeg tænker på om spambots mv. overhovedet ikke interesserer sig for indholdet af Disallow?

Jeg ved ikke så meget om hvad spambots gør.

Men jeg tror ikke at de gør. De leder efter blogs, fora, tagwalls etc. hvor de kan skrive. Sådan nogen er normalt nemme at finde, fordi det er meningen at de skal findes. Så beskyttelse drejer sig om at forhindre spam i at poste ikke om at holde eksistensen hemmelig. Omvendt drejer angreb sig om hvorvidt der er huller i beskyttelsen eller ej. Det virker som totalt spild af tid for en spambot at checke robots.txt !

Tak for svar. Smid svar for point.

svar