Avatar billede jarret Nybegynder
08. marts 2012 - 20:19 Der er 7 kommentarer og
1 løsning

Hvordan finder web crawlers mine sider???

Hej

Jeg har sitet hvemkommer.dk hvor man kan oprette et event. Når man gør det får man to links, et til eventet og et til en admin side. Begge med unikt id. Problemet er at web crawler nu pludselig er begyndt at gå ind på siderne andre på ting. Ikke så heldigt og jeg fårstår ikke hvordan....

Kan nogen forklare hvordan det kan lade sig gøre og hvad jeg evt kan gøre ved det?

Event site
hvemkommer.dk/9c774d   

Admin site eksempel
www.hvemkommer.dk/admin.php?c=80dbbfbb
Avatar billede keysersoze Guru
08. marts 2012 - 21:04 #1
søgemaskinerne finder links på andre allerede indekserede sider så får nogle, bevidst eller ubevidst, lagt deres links offentligt ud finder søgemaskinerne dem. Må siderne ikke indekseret kan du kigge på noindex enten som meta eller i robots.txt.
Avatar billede jarret Nybegynder
08. marts 2012 - 21:21 #2
nogle af de sider der bliver ændret på er jeg ret sikker på der ikke har været linket til...
kan jeg afvise robotter på særlig sider? det ville være super hvis admin.php eks ikke kunne findes men jeg vil jo gerne have at min index side er tilat finde på google :)
Avatar billede keysersoze Guru
08. marts 2012 - 23:08 #3
ja - som sagt gennem meta eller robots.txt; http://support.google.com/webmasters/bin/topic.py?hl=da&topic=2370588
Avatar billede jarret Nybegynder
09. marts 2012 - 14:01 #4
ahh ok ja med metatag kan jeg vælge sider fra.

har tidligere brugt robots.txt og endte med at min side helt forsvandt fra google...

super jeg prøver med

<meta name="robots" content="noindex">

på de sider jeg ikke vil ha indexeret
Avatar billede keysersoze Guru
09. marts 2012 - 18:16 #5
Hvis siderne allerede er indekseret så kan der gå noget tid før resultatet kan ses - afhænger primært af hyppigheden robotterne kommer forbi.
Avatar billede jarret Nybegynder
10. marts 2012 - 12:13 #6
ok, men vil Malware robotter ikke bare ignorere? eller finder de siden gennem googles indeksering.

de sider der bliver ramt at robotter kan jeg finde ved søgning på google på id'et så det kunne tyde på at det kun er når google har indeseret at de finder siderne... kan det passe?

og derved at meta tag'et måske vil virke

for lige at test meta tag'et poster jeg lige et link her og ser om det kan findes på google i morgen...

http://www.hvemkommer.dk/admin.php?c=38b3a9f6
Avatar billede jarret Nybegynder
10. marts 2012 - 12:17 #7
læg et svar keyser
Avatar billede keysersoze Guru
10. marts 2012 - 13:22 #8
Enhver kan lave en søgemaskine, der ignorerer både robots og meta og links kan jo også lægges ud i fora osv ligesom folk med for meget tid i teorien kan gætte sig til urls - og er dette nogle bekymringer du vil undgå er eneste mulighed at skjule det bag login.
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
IT-kurser om Microsoft 365, sikkerhed, personlig vækst, udvikling, digital markedsføring, grafisk design, SAP og forretningsanalyse.

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester