True Search Engines Parser — бесплатный парсер поисковых систем

Скачать бесплатно / Free Download — True Search Engines Parser 1.57

True Search Engines Parser предназначен для парсинга ссылок, сниппетов, подсказок поисковых систем Google, Yandex. Первая версия данного парсера вышла в 2012 году и использовался он в узком кругу, 26.06.2016 выложен здесь для всех.

Системные требования

Windows XP, 7, 8, 8.1, 10

Описание параметров

Threads – количество потоков.
SE – выбор поисковой системы и языка.
Save key – Сохранять ли ключ по которому найден результат. В data.txt результат будет http://example.com/[PARAM]: Авто
Level – глубина парсинга. Количество страниц, которое нужно открыть (для Google на каждой странице 100 результатов, и максимум 10 страниц). 0 – парсить до самого конца (для Google 10)
Proxy – брать из файла proxy.txt или подгружать прокси по указанному адресу каждую минуту. Важно!!! Программа без прокси не работает, так как ПС быстро блокируют ip и выдают капчу.
Файл keys.txt – запросы
Файл proxy.txt – прокси-серверы (заполнять если выбрано брать прокси из файла, а не подгружать по URL)
Файлы нужно заполнять перед запуском проги, и обязательно в кодировке utf-8.

Сравнение скорости и цены различных платных сервисов прокси-серверов

Скорость замеряется на первых 5 минутах работы парсера ссылок на 300 потоках, запросы не содержат операторов вроде inurl.
Название Ссылок/минуту Цена $/месяц Сайт
AWM 6400 95 http://awmproxy.com
Proxy List 3500 20 http://proxy-list.org
Best proxies 2800 7 http://best-proxies.ru
Proxymir 2600 3 http://proxymir.com
Worldofproxy 1100 15 http://worldofproxy.com
Proxyhub 800 6 http://proxyhub.ru
Best proxy 800 20 http://best-proxy.com
Good proxies 500 4 http://good-proxies.ru
Kupit-proxy 500 6 http://kupit-proxy.ru

Конкретный пример использования парсера

Допустим стоит задача спарсить сайты на движке Joomla. Признак этого движка – наличие «option=com_content» в URL. Если вбить в Google запрос inurl:»option=com_content» то Google выдаст не более 1 000 результатов, для того чтобы спарсить больше сайтов нужно использовать вариаторы. Это выглядит примерно так:
inurl:»option=com_content» Авто
inurl:»option=com_content» Ремонт
Чтобы автоматически создать большой список нужных вариаторов можно использовать программу Комбинаторика. Программа делает вариации из 2-х списков. К примеру если на входе есть:
1 список:
key1
key2
2 список:
key3
key4
То на выходе получается:
key1 key3
key1 key4
key2 key3
key2 key4
В комплекте есть несколько словарей-вариаторов. Возьмём два любых списка вариаторов, к примеру «вариаторы towns bez stran.txt» и «вариаторы высокочастотные.txt». Кладём эти списки в «1.txt» и «2.txt» соответственно, запускаем прогу, в разделитель вводим пробел вместо двоеточий, нажимаем комбинаторика, закрываем прогу — в data.txt получили 7,5 млн запросов))) осталось добавить признак движка: переименовываем data.txt в 2.txt, а в 1.txt вводим признак к примеру inurl:»option=com_content». Запускаем, разделитель снова пробел, и на выходе получаем что-то типа:
inurl:»option=com_content» Абаза год
inurl:»option=com_content» Абаза человек
inurl:»option=com_content» Абаза время
inurl:»option=com_content» Абаза дело
То что и требовалось. Теперь подсовываем этот список в True Search Engines Parser

Баги | Bugs

— Иногда после закрытия программы процесс продолжает висеть в диспетчере задач, и его нужно завершать вручную

Пожертвовать | Donate

PayPal





WebMoney

Отзывы на англоязычных форумах | Feedback on English forums:

BlackHatWorld.com

DigitalPoint.com

BuilderSociety.com

Отзывы на русскоязычных форумах | Feedback on Russian forums:

SearchEngines.guru

WebMasters.ru

GoFuckBiz.com

 

 

 

 

 

 

Добавить комментарий

Ваш адрес email не будет опубликован.