Вопросы по работе "Парсер ссылок"

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 09 сен 2012, 18:17

первые 1-1,5к запросов парсинг идет нормально (с каждого потока по 100 ссылок), но потом ссылки добавляться перестают..

Продублирую выдержку из новостей от 26 августа 12г.
8. При парсинге Google становится активной галка "антибан", НЕ НАДО ЕЕ СРАЗУ ОТМЕЧАТЬ, если вдруг по каким-то причинам Google начнет выдавать капчи "пачками", и если отметить галку, то капчи не будут отсылаться на сервис или выдаваться для распознания в ручном режиме, а будет идти перебор всех имеющихся в наличии прокси серверов на предмет поиска не находящихся в бане у Google, но при таком режиме работать парсер сможет не долго - от силы соберет 200К ссылок и остановится. Так что включайте этот режим только в крайних случаях и думайте о др. пользователях, которые используют те же прокси;

Вывод - СНИМИТЕ ГАЛКУ "АНТИБАН"

чувство что они забивают канал

Если роутер или модем - бюджетные, то они не могут поддерживать работу большого кол-ва потоков c большим трафиком и или перегружаются или виснут. Данный вопрос уже был освещен в Faq
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение wmbases1 17 сен 2012, 11:37

То что вы написали не так, поставил win7 все нормально работает... на xp не работает.
wmbases1
 
Сообщений: 12
Зарегистрирован: 12 янв 2012, 07:50

Re: Вопросы по работе "Парсер ссылок"

Сообщение mutter 01 ноя 2012, 11:03

Будет ли в новой версии подправлена робота парсера , что бы потоки не отмирали ?
mutter
 
Сообщений: 17
Зарегистрирован: 03 авг 2012, 11:12

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 01 ноя 2012, 14:29

Будет ли в новой версии подправлена робота парсера , что бы потоки не отмирали ?

Работа парсера ссылок в сборке 0.5 скорректирована, при тесте за 16 часов работы при парсинге Яндекс при старте было 128 потоков при окончании работы 104.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение vawsan 02 ноя 2012, 03:14

XseoN Founder писал(а):
Будет ли в новой версии подправлена робота парсера , что бы потоки не отмирали ?

Работа парсера ссылок в сборке 0.5 скорректирована, при тесте за 16 часов работы при парсинге Яндекс при старте было 128 потоков при окончании работы 104.

Это на самом деле не очень то хорошо, значит опять помирать будут.
А совсем без этого либо с полным восстановлением не получается?
Просто например мои любимые 89к запросов бы запустить на отпарс, чтобы разом. А с отмиранием получается подходов в 20 только все отпарсить, а это совсем не удобно.
vawsan
 
Сообщений: 49
Зарегистрирован: 11 май 2012, 18:11
Откуда: Москва

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 18 янв 2013, 09:17

Потоки в парсере ссылок всё также умирают. Парсить вообще не возможно :shock: , хотя в предыдущей версии было всё отлично. Количество потоков не влияет на процесс. Потоки умирают как на максимальном количестве, так и на минимальном.Переустановка программы не помогла, очень жаль. :evil:
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение mutter 18 янв 2013, 09:40

GASPAR писал(а):Потоки в парсере ссылок всё также умирают. Парсить вообще не возможно :shock: , хотя в предыдущей версии было всё отлично. Количество потоков не влияет на процесс. Потоки умирают как на максимальном количестве, так и на минимальном.Переустановка программы не помогла, очень жаль. :evil:


Аналогично :( Приходится allsubmitter юзать для парсинга
mutter
 
Сообщений: 17
Зарегистрирован: 03 авг 2012, 11:12

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 18 янв 2013, 13:44

Потоки в парсере ссылок всё также умирают.

Последние 2 релиза в парсере ссылок ВООБЩЕ НИКАКИХ изменений не производилось.
Сейчас парсю на домашнем компьютере в Яндекс. Получил более 8 млн. ссылок, умерло 3 потока. Скрин.
Сегодня запущу парсинг на покупном вдс. Посмотрим на результат.
В очередной раз поясняю, что потоки могут умирать только из-за канала Интернет или оборудования, которое может несправляться с большим трафиком.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Вопросы по работе "Парсер ссылок"

Сообщение GASPAR 18 янв 2013, 15:14

mutter писал(а):В очередной раз поясняю, что потоки могут умирать только из-за канала Интернет или оборудования, которое может несправляться с большим трафиком.

Обрудование не менялось, на предыдущем релизе всё было нормально, парсил без проблем, сейчас вообще не парсит. В Вашем софте нет самого главного - стабильности. Из Ваших ответов по проблемам понятно, что при обновлении windows, или установки нового софта, XSEON перестает нормально работать. нужно искать причину, откатывать систему назад. Но это не выход, может под xseon вообще отдельный комп надо завести? :mrgreen:
GASPAR
 
Сообщений: 64
Зарегистрирован: 13 апр 2012, 19:28
Откуда: Украина

Re: Вопросы по работе "Парсер ссылок"

Сообщение XseoN Founder 18 янв 2013, 15:45

Обрудование не менялось, на предыдущем релизе всё было нормально, парсил без проблем, сейчас вообще не парсит

Я на все претензии отвечаю не голословно, а делаю видео или скрины, где показано как работает актуальный софт. Или Вы считаете, что у меня другая версия?
Из Ваших ответов по проблемам понятно, что при обновлении windows, или установки нового софта, XSEON перестает нормально работать

С чего это Вы решили? Мы всегда подходим к решению проблемы объективно! Я предложил по озвученной проблеме решение - откат на ранее созданную точку ОС, т.к. неизвестно что Вы ставили и неизвестно как это повлияло на работу ОС в целом.
У меня софт работает и на домашнем компьютере и на вдс и потоки в парсере умирают но не более 10 из 100 за все время парсинга.
Как прочитал Ваше сообщение, запустил на ВДС парсинг Google в 70 потоков при паралельно работающем XPCP в 64 потока. Спарсило 240К, НИ ОДНОГО ПОТОКА НЕ УМЕРЛО. ВДС обычный за 500 руб. Скрин
Как еще показать, что софт стабилен я не знаю.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Пред.След.

Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 11

cron