Как разместить профили, не имея базы

Здесь обсуждаются технические вопросы работы ПК XseoN

Модератор: XseoN Founder

Как разместить профили, не имея базы

Сообщение XseoN Founder 29 май 2012, 03:14

Получаю много вопросов по ICQ о том как самому сделать базу для работы в ПК XseoN, решил сделать топик со скринами, где можно посмотреть последовательность действий, начиная от парсинга и заканчивая размещением профилей.

Для разнооборазия решил парсить в "Yandex", на вскидку взял несколько десятков слов из русского словаря и добавил к ним через пробел 'powered by PHPBB', пример, 'абрикос powered by PHPBB'. Полученный список сохранил в TXT и указал путь к данному словарю в "Парсере ссылок" (кнопка "Word+search"), и указал, что надо брать все слова, далее выбрал "Yandex" и создал один запрос и нажал "ОК", получил 163 запроса и с антибаном и агтигейтом спарсил . Получил 56К ссылок.
http://clip2net.com/page/m84912/29166191
Далее удалил дубликаты строк, получил 41К:
http://clip2net.com/page/m84912/29166193
Удалил дубликаты доменов, получил 19К:
http://clip2net.com/page/m84912/29166194
Прогнал полученные ссылки в "Проверка ссылок" и сохранил поддерживаемые движки, получил 7К:
http://clip2net.com/page/m84912/29166196
Прогнал регистрацию, получил 1К:
http://clip2net.com/page/m84912/29166197
Прогнал профилирование и получил 0,53К профилей:
http://clip2net.com/page/m84912/29166198
И профили все РУС, т.к. словарь использовался русский.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26

Re: Как разместить профили, не имея базы

Сообщение cerber57 08 июн 2012, 14:33

Если не секрет на каком оборудовании выполнялось данное действие? и сколько времени потребовалось для него?
cerber57
 
Сообщений: 13
Зарегистрирован: 26 май 2012, 09:17

Re: Как разместить профили, не имея базы

Сообщение XseoN Founder 08 июн 2012, 15:00

Если не секрет на каком оборудовании выполнялось данное действие

Ноутбук AMD 2Х1,7; 2гб.
Парсинг ссылок не требователен к "железу", проверка ссылок тоже, но требовательна к каналу, чем шире и скоростнее канал, тем быстрее идет процесс, при удовлетворительном канале и "железе" скорость проверки ссылок ~ 70-90к в час. Регистрация - самый требовательный процесс к "железу", вообще, программа будет работать практически на любом "железе", необходимо будет лишь подобрать число потоков. Для использования по-максимуму возможностей программы, желательно иметь процессор i5 и выше и 2Гб ОЗУ.
Для работы 25 потоков необходим канал 2Mbit/s.
и сколько времени потребовалось для него

При парсинге в Yandex я ставил 32 потока, что не рекомендуется, т.к. при работе с Yandex используются куки, и даже при использовании прокси серверов, Yandex может определить, что работает бот и будет постояннно выдавать капчу или вообще забанит акккаунт. Парсинг - 2 часа. Регистрация - 4 часа. Та же регистрация на i5 идет за 1,5 часа. Профилирование и постинг идут на порядок быстрее.
XseoN Founder
Администратор
 
Сообщений: 803
Зарегистрирован: 08 июл 2010, 14:26


Вернуться в Технические вопросы

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 22

cron