You are here

Описание CheckParams

CheckParams - программа для массовой многопоточной проверки параметров ссылок и доменов через прокси.

Программа подойдёт тем, кто в промышленных масштабах закупает ссылки, домейнерам, оптимизаторам, способным самостоятельно извлечь полезную информацию из результатов работы. Не подойдёт тем, кто хочет мониторить позиции своей единственной домашней странички.

На данный момент реализованы следующие модули, список легко расширить, если в этом будет потребность:

  • проверка Google PageRank у доменов и конкретных страниц
  • проверка на склейку домена в Google (с информацией о зеркалах) для доменов
  • проверка в Yandex на тИЦ, склейку (с информацией о зеркалах), наличие в Яндекс.Каталоге для доменов и конкретных страниц
  • Whois-запросы по домену с полной информацией (простейшим скриптом выдёргивается владелец, дата регистрации и прочее)
  • DNS-запросы на резолв A,MX,CNAME,NS-записей для доменов (позволяет получить информацию о нейм-серверах, хостинге и прочем)
  • любые HTTP-запросы по списку ссылок (с помощью простейших скриптов можно организовать массовую проверку наличия своих ссылок на страницах, поиск сайтов на определённых движках, поиск общего владельца у разных сайтов по скриптам Google Analytics, Google Adsense и так далее)
  • проверка ключевых слов/фраз на количество результатов в поиске Google.
  • встроенный прокси-чекер с http-сервером, который отдаёт только что проверенные и 100% рабочие списки прокси. Соответственно, режим работы в качестве программы, которая сама скачивает прокси-листы из разных источников, проверяет их и рабочие прокси даёт скачать по http-ссылке для своих нужд. Например, её можно запустить в фоне на своём VPS/VDS и забирать оттуда на работу/домой актуальные и всегда 100% рабочие прокси.
  • проверка индексации страниц в Yandex
  • проверка индексации страниц в Google
  • проверка количества проиндексированных страниц в Google
  • проверка количества проиндексированных страниц в Yandex
  • проверка наличия сайта в web.archive.org и даты первой архивации
  • проверка параметров в alexa.com
  • проверка наличия сайта в каталоге dmoz.org
  • проверка всех бесплатных параметров, доступных через SEOmoz Free API (mozRank, Domain Authority, Page Authority, External Links, и так далее)

Каждый модуль отдельно конфигурируется (кол-во повторов, задержки, параметры запросов, списки датацентров, использование прокси и прочее).

Имеется модуль для работы с прокси. Программа работает как напрямую, так и через прокси (кроме DNS-модуля). Поддерживаются SOCKS4, SOCKS5 и HTTPS (HTTP CONNECT) прокси. Имеется возможность автоматически скачивать прокси-листы, как из файлов на диске, так и с веб-серверов. Встроена автоматическая проверка и очистка прокси, сохранение на диск рабочих прокси, защита от ддоса прокси и многое другое.

В программе доступна детальная статистика по работе, логи, есть поддержка макросов. Имеется простейшая поддержка автоматизации (разные файлы с настройками под разные проверки, автозапуск и автозакрытие по окончании работы, положение и заголовки окон).

В программе имеется поддержка скриптов (JavaScript, Perl, PHP и других), с помощью которых можно парсить данные, управлять программой, менять формат файлов результатов, записывать результаты в базы данных и так далее.

Программа имеет встроенный модуль управления посредством HTTP-запросов. Через браузер (или через другие скрипты) можно управлять программой, просматривать статистику, добавлять новые ссылки и прокси, вызывать встроенные скриптовые функции.

Программа забирает список доменов/ссылок для проверки из файла (1 строчка = 1 урл), результаты проверки так же кладёт в файл (*.csv, разделители = точка с запятой). Вся конфигурация находится в XML-файлике, каждый параметр детально описан на русском.

По скорости работы: проверка google pr через директ-коннект без задержек на 200 потоках происходит со скоростью 20000-25000 ссылок в минуту (после минуты работы гугл банит IP одновременно во всех датацентрах), траффик порядка 250-300 килобайт в секунду в каждую сторону (такие скорости недостижимы на adsl-модемах из-за узкого исходящего канала). Проверка google pr и всех параметров в яндексе через 200-300 рабочих прокси на 300 потоках с задержками, предотвращающими бан = около 15-25 ссылок в секунду.

Программа предназначена для массовой проверки десятков и сотен тысяч урлов. Например, в ходе тестов было проверено 2.8 миллиона доменов в зоне .ru на тИЦ.

Скриншоты:

Проверка Google PR через прокси

Проверяются ссылки (домены в данном случае) на Google PR через прокси, средняя скорость порядка 453 ссылок в секунду (1.63 миллиона ссылок в час). Такая маленькая скорость из-за отсутствия должного количества прокси.

Проверка Whois (телефон, email, контактные данные) через прокси

Проверяются домены через хуиз-сервисы, скорость порядка 200 доменов в секунду (720 тысяч доменов в час), маленькая скорость обсусловлена необходимостью делать 2 хуиз-запроса подряд по каждому домену для получения полной информации

Проверка бэклинков доменов, получаемых через Yahoo на Яндекс тИЦ

Проверяется список из 3 миллионов доменов в зоне .ru, для каждого домена через Yahoo определяются все бэклинки и каждый из них проверяется на Яндекс тИЦ. На момент снятия скриншота (3 суток работы) программа проверила 76 миллионов ссылок. Средняя скорость проверки около 256 ссылок в секунду.