True Search Engines Parser — бесплатный парсер поисковых систем
Скачать бесплатно / Free Download — True Search Engines Parser 1.57
True Search Engines Parser предназначен для парсинга ссылок, сниппетов, подсказок поисковых систем Google, Yandex. Первая версия данного парсера вышла в 2012 году и использовался он в узком кругу, 26.06.2016 выложен здесь для всех.
Системные требования
Windows XP, 7, 8, 8.1, 10
Microsoft .NET Framework 3.5 или выше
Описание параметров
Threads – количество потоков.
SE – выбор поисковой системы и языка.
Save key – Сохранять ли ключ по которому найден результат. В data.txt результат будет http://example.com/[PARAM]: Авто
Level – глубина парсинга. Количество страниц, которое нужно открыть (для Google на каждой странице 100 результатов, и максимум 10 страниц). 0 – парсить до самого конца (для Google 10)
Proxy – брать из файла proxy.txt или подгружать прокси по указанному адресу каждую минуту. Важно!!! Программа без прокси не работает, так как ПС быстро блокируют ip и выдают капчу.
Файл keys.txt – запросы
Файл proxy.txt – прокси-серверы (заполнять если выбрано брать прокси из файла, а не подгружать по URL)
Файлы нужно заполнять перед запуском проги, и обязательно в кодировке utf-8.
Сравнение скорости и цены различных платных сервисов прокси-серверов
Скорость замеряется на первых 5 минутах работы парсера ссылок на 300 потоках, запросы не содержат операторов вроде inurl.
Название | Ссылок/минуту | Цена $/месяц | Сайт |
---|---|---|---|
AWM | 6400 | 95 | http://awmproxy.com |
Proxy List | 3500 | 20 | http://proxy-list.org |
Best proxies | 2800 | 7 | http://best-proxies.ru |
Proxymir | 2600 | 3 | http://proxymir.com |
Worldofproxy | 1100 | 15 | http://worldofproxy.com |
Proxyhub | 800 | 6 | http://proxyhub.ru |
Best proxy | 800 | 20 | http://best-proxy.com |
Good proxies | 500 | 4 | http://good-proxies.ru |
Kupit-proxy | 500 | 6 | http://kupit-proxy.ru |
Конкретный пример использования парсера
Допустим стоит задача спарсить сайты на движке Joomla. Признак этого движка – наличие «option=com_content» в URL. Если вбить в Google запрос inurl:»option=com_content» то Google выдаст не более 1 000 результатов, для того чтобы спарсить больше сайтов нужно использовать вариаторы. Это выглядит примерно так:
inurl:»option=com_content» Авто
inurl:»option=com_content» Ремонт
Чтобы автоматически создать большой список нужных вариаторов можно использовать программу Комбинаторика. Программа делает вариации из 2-х списков. К примеру если на входе есть:
1 список:
key1
key2
2 список:
key3
key4
То на выходе получается:
key1 key3
key1 key4
key2 key3
key2 key4
В комплекте есть несколько словарей-вариаторов. Возьмём два любых списка вариаторов, к примеру «вариаторы towns bez stran.txt» и «вариаторы высокочастотные.txt». Кладём эти списки в «1.txt» и «2.txt» соответственно, запускаем прогу, в разделитель вводим пробел вместо двоеточий, нажимаем комбинаторика, закрываем прогу — в data.txt получили 7,5 млн запросов))) осталось добавить признак движка: переименовываем data.txt в 2.txt, а в 1.txt вводим признак к примеру inurl:»option=com_content». Запускаем, разделитель снова пробел, и на выходе получаем что-то типа:
inurl:»option=com_content» Абаза год
inurl:»option=com_content» Абаза человек
inurl:»option=com_content» Абаза время
inurl:»option=com_content» Абаза дело
То что и требовалось. Теперь подсовываем этот список в True Search Engines Parser
Баги | Bugs
— Иногда после закрытия программы процесс продолжает висеть в диспетчере задач, и его нужно завершать вручную
Пожертвовать | Donate
PayPal
WebMoney
Отзывы на англоязычных форумах | Feedback on English forums:
BlackHatWorld.com
DigitalPoint.com
BuilderSociety.com
Отзывы на русскоязычных форумах | Feedback on Russian forums:
SearchEngines.guru
WebMasters.ru
GoFuckBiz.com





