udelukket fra archive.org
Hej,Jeg sad i dag og kiggede lidt rundt på archive.org og da jeg søgte på et domæne, kom beskeden:
We're sorry, access to http://xxxxxxxx.com has been blocked by the site owner via robots.txt.
Hvordan gør man dét via robots.txt-filen?