robots.txt og søgemaskiner.
Jeg fatter ikke så meget af det at lave en robots.txt til sin hjemmeside.Og jeg håber så at der er nogle der vil forklare og hjælpe.
Hvad er det der er så smart ved en robots.txt?
Kan den sikre at ens billeder ikke bliver taget af søgemaskinerne?
Hvordan har den det med sætninger fra databaser, kan den se dem?
Hvad med søge ord, skal de også med?
Hvad betyder:
User-agent
Disallow
og er der flere fine ord?