XseoN - плюсы, минусы, ошибки.

[XseoN Founder]

А когда намечается выход нового релиза ?

Пока дата не определена, незадолго до выхода будет сделан анонс.

[svitok]

Знаете вот очень бы хотелось чтобы в Xseon реализовали в заполнении проекта (где заполняется пост) добавили функцию добавления анкорных ссылок (чтобы не вписывать это вручную) а допустим выбрал место (околоссылочного текста) где нужно вставить анкорную ссылку нажал на кнопку (где будет два поля 1 - для ссылки 2 - для анкора) вставил и нажал ок а программа сама сгенерировала именно тот урл который нам нужен. Экономит уйму времени.

[XseoN Founder]

Знаете вот очень бы хотелось чтобы в Xseon реализовали в заполнении проекта (где заполняется пост) добавили функцию добавления анкорных ссылок (чтобы не вписывать это вручную)

Можно создать два txt файла в кодировке UTF-8 без Bom, где в 1-ом файле находятся анкоры, во 2-ом ссылки и вставить в пост конструкцию [url=#from_file...]#from_file...[/url], пример:
Какой-то текст [url=#from_file[1,13]=C:\....\Desktop\Url\url.txt ]#from_file[1,13]=C:\....\Desktop\Anchor\anchor.txt[/url] какой-то текст

[vawsan]

Господа разработчики, нашел таки закономерность в залипании потоков парсера и забивании ими канала.
И оказалось это ничто иное, как стороннее соединение с частой периодичностью.

А теперь подробнее:
запускаем 100 потоков(можно и 20 и 100) на парсинг
при этом через некоторое время подсоединиться через RDP|TeamViewer станет невозможным, если же глянуть на события, происходящие с программой(через VNC) - ксеон пишет ошибку соединения и ни одна из программ(firefox, explorer. xpcp, teamviewer), которые работают с интернтом не будут находить сеть. Если же вырубить принудительно или просто завершить ксеон - сеть сразу появляется.

А теперь берем и просто оставляем teamviewer подключенным на протяжении всей работы парсера(т.е. канал периодически пробивается сторонним соединением обновления содержимого экрана) и вуаля - потоки, даже отваливающиеся, прекрасно восстанавливаются и все работает, ссылки парсятся, потоков 100.

Есть подозрение, что оставив вместо TV какой нибудь клиент аськи(в нем ведь есть периодическая проверка событий в сети), то все также будет работать нормально.

На роутере хостеров сервера ограничений на потоки, соединения, скорость, трафик нету - проверено.
Так что вариантов быстрого устранения проблемы наверное 2 - самим парсером периодически куда-нибудь лезть на сторону да так, чтобы ему отвечали. И второе - пересмотреть, что у вас там с потоками не так пашет.

И еще один баг - теперь напарсенные ссылки бьют по полляма в разные файлы. Так вот если напарсив 750к остановить работу(будет уже 2 файла - parsres_1.txt и parsres_2.txt), а потом снова восстановить с последней позиции - следующие 500к ссылок будут записаны опять в первый файл, еще 500к во второй и в итоге мы получим в каждом уже по 1кк ссылок. Не то, чтобы это напрягало - просто идеалогию нарушает)

[XseoN Founder]

И второе - пересмотреть, что у вас там с потоками не так пашет

Спасибо за проведенный анализ работы парсера.
Вся работа по поддержанию Интернет-соединения в рабочем состоянии возложена на саму ОС и на сетевое оборудование. Если при работе в программе возникают какие-либо ошибки, то ОС незамедлительно закроет программу и по возможности укажет код ошибки. Если этого не происходит, то значит с программой все в порядке. Я уже озвучивал, что даже при отсутствии ограничения на число потоков, сетевое оборудование может резать потоки или вообще зависать или перегружаться, а трафик при работе парсера в 128 потоков - весьма приличный.

И еще один баг - теперь напарсенные ссылки бьют по полляма в разные файлы. Так вот если напарсив 750к остановить работу(будет уже 2 файла - parsres_1.txt и parsres_2.txt), а потом снова восстановить с последней позиции - следующие 500к ссылок будут записаны опять в первый файл, еще 500к во второй и в итоге мы получим в каждом уже по 1кк ссылок

После каждого цикла парсинга необходимо забирать результат.

[vawsan]

Я уже озвучивал, что даже при отсутствии ограничения на число потоков, сетевое оборудование может резать потоки или вообще зависать или перегружаться, а трафик при работе парсера в 128 потоков - весьма приличный.

Это безусловно.
Но как тогда понять закономерность:
сегодня сгенерил 88к запросов для парсинга, засунул их в yahoo.
Парсится все в 100 потоков с подключенным ТВ примерно 2 часа. После этого начинают отмирать потоки и рушится инет соединение.
Это за сегодня повторилось уже 4 раза, как раз на 20к запросов))

Просто есть с чем сравнить - на этом же серваке стоит веб-хостинг под IIS 6, на котором запущен многопоточный пингатор RPC сервисов поисковиков. И ссылок через него я пропускаю очень много(не один десяток), число работающих потоков достигает цифры 400.
Никаких сбоев ни разу еще не было, даже при 100 процентной загрузк IIS-ом сервака.

Также настораживает все таки тот факт, что при закрытии ксеона интернет сразу(!!!)появляется и все веб-приложения сразу корректно функционируют. Ну не совпадение же это!
Да и если как вы говорите, резать потоки сетевым оборудованием, то я точно уж знаю, что ни один фаервол/роутер/хаб/фильтр не будет рубить потоки с задержкой в 2 часа, да еще и пропускать аналогичный траф по первому требованию все лишь после перезагрузки софта.
В чем то другом причина.
И еще одно замечание - до того момента, как вы сильно улучшили парсер и добавили в него еще 2 поисковика, старой версией парсило у меня по трое суток без обрывов на том же оборудовании с той же ОС.

[XseoN Founder]

В чем то другом причина.

Попробуйте увеличить таймауты, как на скринах ниже:
http://clip2net.com/page/m84912/35370401
http://clip2net.com/page/m84912/35370402
На момент делания скринов, соединение с Интернет присутствовало.

[mutter]

Можно как то исправить чтобы при парсинге не висли потоки , а то даже если ставить 10, все равно они отваливаются и идут к нулю?

[vawsan]

Похоже, что действительно загвоздка в таймауте запросов.
Поставил как разработчика показал на скринах выше(30 сек), уже 7 часов парсинга и 4млн ссылок(100 потоков).
Тестирую дальше...

[XseoN Founder]

Тестирую дальше...

Немного доработали парсер ссылок, сейчас тестируем. Необходимо увеличить еще файл подкачки.