Robots.txt spørgsmål
Jeg har lidt problemer med at min robots.txt fil ikke ekskludere der sider fra søgemaskinerne som det var meningen..Jeg har en URL struktur der ser således ud.
http://domæne.dk/sidenavn.html
http://domæne.dk/kategori/sidenavn.html
På disse kan der f.eks kommer sortering på så de ser sådan ud.
http://domæne.dk/sidenavn.htmlhttp://domæne.dk/kategori/sidenavn.html
http://domæne.dk/kategori/sidenavn.html?dir=asc&order=price
Disse skulle jeg så ekskludere i robots.txt på denne måde, men jeg kan se at det ikke virker.
Disallow: /*?dir=*
Problemet er at der kan så tusindevis af forskellige ting før ?dir= så derfor brugte jeg denne wildcat.
Men kan I se hvorfor den ikke virker.
Jeg kan se at når jeg kører den igennem test på http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php så siger den at jeg ikke må bruge wildcat på denne måde.