После длительного времени регистраций на форумах (примерно после 70к ресурсов) появляется ошибка - ОБРЫВ СОЕДИНЕНИЯ.
В программе заложено, если происходит ошибка при получении страницы, то програма пытается загрузить стороннюю заведомо рабочую страницу, и если и она не грузится, то счетчик неудачных загрузок приращается на единицу, и когда число неудач достигнет числа равного кол-ву потоков, то работа останавливается со статусом "Обрыв соединения", если хотя бы одна страница загрузилась, то сетчик обнуляется.
Иногда похожим образом виснет парсер ссылок, но это происходит редко. Просто прекращает свою работу и всё.
Причина может быть из-за бана Гугла, я недавно пользовался при парсинге ссылок платными прокси серверами с авторизацией, так гугл меня через 10 мин. работы забанил, такая-же ситуация и с определением PR. Пришлось использовать паблик прокси. Если Вы работаете без сервиса antigate.com, то при длительной задержке ввода капчи, у потоков, которые ожидают своей очереди на ввод капчи может закончится таймаут и они завершат свою работу.
Не могу понять почему в парсере ссылок начальная скорость работы на порядок выше той, что становится после 15 минут работы.
Это происходит из-за того, что при начале работы, Гугл не часто выводит капчу на распознование, и не так пристально проверяет прокси сервера, со временем число специфических запросов растет и Гугл все чаще выводит капчу и больше банит прокси серверов, а это время.