Re: Вопросы по работе "Парсер ссылок"
Добавлено: 09 сен 2012, 18:17
первые 1-1,5к запросов парсинг идет нормально (с каждого потока по 100 ссылок), но потом ссылки добавляться перестают..
Продублирую выдержку из новостей от 26 августа 12г.
8. При парсинге Google становится активной галка "антибан", НЕ НАДО ЕЕ СРАЗУ ОТМЕЧАТЬ, если вдруг по каким-то причинам Google начнет выдавать капчи "пачками", и если отметить галку, то капчи не будут отсылаться на сервис или выдаваться для распознания в ручном режиме, а будет идти перебор всех имеющихся в наличии прокси серверов на предмет поиска не находящихся в бане у Google, но при таком режиме работать парсер сможет не долго - от силы соберет 200К ссылок и остановится. Так что включайте этот режим только в крайних случаях и думайте о др. пользователях, которые используют те же прокси;
Вывод - СНИМИТЕ ГАЛКУ "АНТИБАН"
чувство что они забивают канал
Если роутер или модем - бюджетные, то они не могут поддерживать работу большого кол-ва потоков c большим трафиком и или перегружаются или виснут. Данный вопрос уже был освещен в Faq