En robots.txt er bare en almindelig tekstfil, som skal lægges i den offentlige rodmappe af dit website, altså som regel samme sted som din index-fil.
I den skriver du f.eks. bare
User-agent: *
Disallow: /mappenavn/
User-agent: * betyder at det gælder for alle robotter. Ønsker du f.eks. kun at udelukke Google, kan du i stedet skrive "User-agent: Googlebot"
Du kan også have flere Disallow-sætninger under hinanden, f.eks.
Disallow: /mappe1/
Disallow: /mappe2/
Disallow: /mappe3/
Så forhindrer du indeksering af alle tre mapper. Ønsker du at hele websitet ikke skal indekseres, er det bare Disallow: /
Husk at det ikke forhindrer søgerobotter i at komme ind, det fortæller dem bare, at du helst ikke vil have siden indekseret. De godsindede bots overholder det, men spamrobotter og lignende kan ignorere det.