Ошибки - Замечания - Пожелание

[norbiq]

тут не просьба, мольба просто, сделайте так, чтобы новые спарсеные ссылки он ДОПИСЫВАЛ в .txt файлы, а не чистил их, а затем вписывал новые

И так, запускаем парсер, чекаем, НО...

Я так понимаю, что речь идет о "Проверка ссылок".
Хорошо, в новой сборке будет реализована при запуске проверки ссылок из нового файла дописка в конец файла каждого движка.

Огромнейшее спасибо.
И еще как дополнение:
Если список большой на проверку ссылок и поставил прилично потоков, то когда список кончился (почти), пишет 100%, хотя ему осталось еще 1-3 ссылки и они никак не чекаются, всегда висит из-за этого. Приходится закрывать через диспетчер задач.

[norbiq]

C "проверка ссылок" заметил такое...
Чем больше в списке ссылок, тем раньше пишет 100%.
Раньше разрыв составлял 2-3 ссылки. Сейчас проверил 60к ссылок на 50 потоках. На 59780 ссылке уже написал 100%. После этого тихонько дошли до 60000. Во время "дохода" число потоков постоянно начало мигать, но не изменялось.
И еще. В таблице сверху, где стоит сама база, в правой графе всегда стоит "не проверялась". Какую бы базу не проверял.
P.S. Ну и обязательно уже просил выше добавить "дозапись" в файлы при смене базы.

[XseoN Founder]

Чем больше в списке ссылок, тем раньше пишет 100%. Раньше разрыв составлял 2-3 ссылки. Сейчас проверил 60к ссылок на 50 потоках.

При парсинге Рамблер, прогессбар показывал неправильно, профиксили. Парсинг многопоточный и потоки могут работать на разных позициях списка, прогрессбар показывает САМУЮ ДАЛЬНЮЮ позицию от начала списка, находящуюся в работе. Поэтому визуально может казаться что прогресс бар показывает неверно.

В таблице сверху, где стоит сама база, в правой графе всегда стоит "не проверялась". Какую бы базу не проверял.

Это ВАЖНО!!!
Для того, чтобы программа запомнила последнюю позицию списка при проверке ссылок, после остановки НЕОБХОДИМО В СОХРАНЕНИЕ С ВЫБОРОМ СОХРАНИТЬ ХОТЯ БЫ ОДИН ДВИЖОК. После сохранения в верхней таблице Проверки ссылок в строке с базой, в поле кол-во после кол-ва ссылок в квадратных скобках будет информация о последней позиции проверки, так же появится информация о дате проверки. Если этого не сделать, то при повторном запуске проверка начнется с начала.

Ну и обязательно уже просил выше добавить "дозапись" в файлы при смене базы.

Уже реализовано в виде вопроса.
norbiq, сообщите email, отправлю сборку для теста.

З.Ы.
Так же мы изменили алгоритм работы парсера при парсинге Яндекс. Напомню пользователи, работающие в Украине, жаловались на падение потоков при парсинге Яндекс. Оказалось что при запуске парсера, Яндекс делает редирект на yandex.ua, а там есть отличия от yandex.ru. Сейчас тестим парсер.

[svitok]

У меня такой вопрос. Бывает (да практически всегда) при проверке ссылок что антивирус ругается на тот или иной ресурс и я думаю что не зря значит что то с этим ресурсом не так. Возможно уместно сделать чтобы такие ресурсы исключались из списка автоматом? Честно говоря не знаю возможно ли это реализовать с технической стороны да и вообще нужно ли и не сыграет ли это негативно на проганяемый сайт?
Кстати заметил ошибку при проверки рейтинга ссылок ксеон не опредиляет ТИЦ (при одиночном запросе)
Да и почему нельзя проверять список ресурсов по ТИЦ? (ведь тиц больше ценится чем PR среди вебмастеров)

И есть еще такая идея по использованию антигейт. Бывает такое что сервис перегружен и в итоге программа не имеет возможности зарегится без сервиса (нужно как то этот вопрос решить типа допрогона по таким вот проблемам со стороны антигейт). Также не мешало бы прикрутить счетчик введенных капч за сессию очень нужная штука.

[XseoN Founder]

У меня такой вопрос. Бывает (да практически всегда) при проверке ссылок что антивирус ругается на тот или иной ресурс и я думаю что не зря значит что то с этим ресурсом не так. Возможно уместно сделать чтобы такие ресурсы исключались из списка автоматом?

Напомню, что программа не поддерживает JavaScript и др. скриптовые языки, используемые в Web, в некоторых движках реализовано преобразование кода JavaScript, находящегося на web-странице, в код языка программирования, на котором написан XseoN. Поэтому заражение ОС через ПК XseoN маловероятно. Если включен антивирус, то он сканирует весь трафик проходящий через сетевой интерфейс. В случае обнаружения вируса, конечно в соответствии с настройками, он, как правило, обрывает соединение с web-ресурсом с вирусом и XseoN не может на нем произвести регистрацию. Так же антивирус съедает много процессорнго времени, т.к. запускает большое кол-во потоков. Т.к. наличие вируса определяет антивирус, а не XseoN, то ресурс с вирусов XseoN не может удалить из списка. После прогона списка в XseoN можно взять из лога антивируса список зараженных ресурсов, и удалить из списка для регистрации.

Да и почему нельзя проверять список ресурсов по ТИЦ?

В очереди на реализацию.

Бывает такое что сервис перегружен и в итоге программа не имеет возможности зарегится без сервиса...

При регистрации черех антигейт и др. сервисы программа делает 10 попыток получить ответ капчи от сервиса, как правило ответ бывает получен, но случается что и нет. Подумаем над решением вопроса.

Также не мешало бы прикрутить счетчик введенных капч за сессию очень нужная штука.

Реализуем.

[norbiq]

Бывает такое что сервис перегружен и в итоге программа не имеет возможности зарегится без сервиса...

Забудь про антигейт! Вообще, все, забудьте про него!
Я около года с ним ипался. Ставки повышать, загрузка системы... Иногда вообще нервов не хватало.
Перешел с месяц назад на http://www.deathbycaptcha.com у меня ни разу не было такого что сервис загружен или какая-то проблема. + денег уходит в 2-3 раза меньше чем с "чудо" ставками антигейта.
Вот статистика за последние сутки:

Код: выделить все

Число решенных капчей:
    6600
Число неверных капчей:
    26

[norbiq]

Раньше не придавал значения, но уже не первый раз.
На функционале не отражается, но смешит

Код: выделить все

https://joxi.ru/8gcHUdg5CbAdWTaZoIQ

[norbiq]

Вот еще ошибка:

Код: выделить все

https://joxi.ru/-BMHUdg5CbDcWPBbaWY

[norbiq]

У меня прога за ночь по кускам начала разваливаться Смотрим скрины в порядке сообщений.

Код: выделить все

https://joxi.ru/k0QHUdg5CbA7dqdDDq8

[XseoN Founder]

У меня прога за ночь по кускам начала разваливаться

Это что-то новенькое, ни разу такого не видел. Дело в том, что компонент кнопки (button) - стандартный компонент и его корректное отображение в интерфейсе программ не зависит от программиста.