Avatar billede naquer Nybegynder
10. januar 2012 - 22:42 Der er 11 kommentarer og
1 løsning

Programmering af crawler

Hej,

Er der nogen af jer der ved hvorvidt det er muligt at programmere en crawler der indsamler information om linkedIn profiler? I samme stil som bl.a. hotels.com og momondo.com indsamler information for hhv. hoteller og rejser

Mvh.
Avatar billede arne_v Ekspert
10. januar 2012 - 23:28 #1
Ikke legalt i forhold til deres regler:

http://www.linkedin.com/static?key=user_agreement&trk=hb_ft_userag

Don't undertake the following:

...

Duplicate, license, sublicense, publish, broadcast, transmit, distribute, perform, display, sell, rebrand, or otherwise transfer information found on LinkedIn (excluding content posted by you) except as permitted in this Agreement, LinkedIn's developer terms and policies, or as expressly authorized by LinkedIn;

...

Utilize or copy information, content or any data you view on and/or obtain from LinkedIn to provide any service that is competitive, in LinkedIn's sole discretion, with LinkedIn;

...

Adapt, modify or create derivative works based on LinkedIn or technology underlying the Services, or other Users' content, in whole or part, except as permitted under LinkedIn's developer program;

...

Rent, lease, loan, trade, sell/re-sell access to LinkedIn or any information therein, or the equivalent, in whole or part;

...

Deep-link to the Site for any purpose, (i.e. including a link to a LinkedIn web page other than LinkedIn's home page) unless expressly authorized in writing by LinkedIn or for the purpose of promoting your profile or a Group on LinkedIn as set forth in the Brand Guidelines;
Avatar billede acore Ekspert
11. januar 2012 - 09:36 #2
@arne_v: Ikke desto mindre gør Google det i stor stil. Men måske har de en aftale? Har kun læst dit uddrag, men det ser også ud til at komme an på formålet.

@naquer: Oplysninger, der vises på html-sider, du har adgang til, og som der kan uddrages struktureret information fra, kan crawles. SÅ et korte svar er JA.
Avatar billede olebole Juniormester
11. januar 2012 - 15:57 #3
<ole>

"Ikke desto mindre gør Google det i stor stil."  >> Nej.

"Men måske har de en aftale?" >> Næppe.

"Har kun læst dit uddrag, men det ser også ud til at komme an på formålet." >> Ja og nej.

Tag for eksempel et kik på LinkedIn's robots.txt. Det er ikke så svært at se, at LinkedIn ikke giver adgang til de enkelte profiler. Den slags overholder Google faktisk.

Det, du kan finde p[ Google, er oversigtssider som denne.

/mvh
</bole>
Avatar billede acore Ekspert
11. januar 2012 - 17:25 #4
Ole,

Prøv at google et ikke for almindeligt navn, fx Frank Gade Nielsen. Det første hit er hans public linkedin profil. Hvor får google så den information fra?

Og dette uanset den robots.txt, du henviser til, som indeholder pub.
Avatar billede acore Ekspert
11. januar 2012 - 17:28 #5
Og prøv også at google "peter hansen linkedin" nu du er i gang.
Avatar billede olebole Juniormester
11. januar 2012 - 17:41 #6
Jeg tror, du bør sætte dig ind i, hvordan man læser en robots.txt  *o)

LinkedIn har formodentlig vurderet, at det vil være en fordel for dem selv, at visse store søgemaskiner har adgang til deres offentlige profiltekster. Alle andre er sat til Disallowed.
Avatar billede acore Ekspert
11. januar 2012 - 19:50 #7
Ole,

Vi er vist omsider enige om, at google faktisk læser profiler i stor stil, hvilket var min indledende påstand, og som du imødegik.

Så jeg vil lukke her, og undlade at kommentere på hvem der bør læse på hvad.
Avatar billede olebole Juniormester
11. januar 2012 - 20:47 #8
Fin plan  =)
Avatar billede arne_v Ekspert
14. januar 2012 - 23:45 #9
Der er ikke nogen tekniske problemer.

Men den foreslaaede brug (der refereres til hotels.com og momondo.com) er ulovlig medmindre der foreligger en skriftlig tilladelse fra LinkedIn per deres user agreement.
Avatar billede naquer Nybegynder
15. januar 2012 - 20:25 #10
Mange tak for svarene.

Konkret skal jeg bruge data til at lave noget statistik - altså skal jeg ikke bruge informationer om enkelte brugere, men i stedet udtrække alle der f.eks. har en bachelor fra København. Hvis jeg forstår jer ret, er det udelukkende brugere som google der kan gøre dette?
Avatar billede arne_v Ekspert
31. januar 2012 - 03:58 #11
Du kunne jo proeve at spoerge dem om lov.

Dit formaal lyder ikke som noget der vil genere dem og derfor kunn du maaske faa OK fra dem.
Avatar billede naquer Nybegynder
29. juni 2012 - 09:03 #12
Tak for svarene.

Lukket
Avatar billede Ny bruger Nybegynder

Din løsning...

Tilladte BB-code-tags: [b]fed[/b] [i]kursiv[/i] [u]understreget[/u] Web- og emailadresser omdannes automatisk til links. Der sættes "nofollow" på alle links.

Loading billede Opret Preview
Kategori
Vi tilbyder markedets bedste kurser inden for webudvikling

Log ind eller opret profil

Hov!

For at kunne deltage på Computerworld Eksperten skal du være logget ind.

Det er heldigvis nemt at oprette en bruger: Det tager to minutter og du kan vælge at bruge enten e-mail, Facebook eller Google som login.

Du kan også logge ind via nedenstående tjenester