XseoN.ru

не может обработать большое количество спарсенных ссылок несколько десятков тысяч и больше

В чем это выражается? У меня сегодня уже был подобный вопрос, у пользователя выражалось в том, что после напарса 89 тыс. ссылок все кнопки кроме [импорт] и [экспорт] были не активными, я внес изменения в код, поставил таймер, который срабатывает спустя 2 мин. после вывода сообщения "работа парсера закончена" и принудительно делает активными нужные кнопки для дальнейшей сортировки и сохранения.
Так же я внес изменения в вид тэгов для запросов в Google на тот, который более привычен этой поисковой системы, пр-р, было AllInTitle стало intitle и т.д.

у меня проверяет на валидность по 300К ссылок без труда

Но базу не парсил, а скачал сырую, в паблике миллионные базы лежат

ИМХО пока миллион ссылок напарсишь - седой станешь

Добрый!

В чем вопрос заключается или предложение или доработка?

Удачи,
Xseon Founder