Webcrawler og dynamisk genererede sider
Jeg funderer lidt over at programmere min egen webcrawler.Det med hele tiden at følge links fra en side til andre sider og igen herfra til andre sider kan jeg godt forstå.
Men hvad med f.eks. en portal med boliger, hvor man ofte skal udfylde en søge formular med dropdowns mv. over geografi, størrelse, pris o.s.v. Når formularen submittes, vil portalen generere et søgeresultat med links til emnerne ud fra opslag i en database.
Hvordan får en webcrawler fat i disse dynamisk genererede links?