PDA

Просмотр полной версии : [Программа] Парсер внешних ссылок с сайта


Dream_Wizard
06.05.2012, 20:07
Были случаи, что кому-то требовалось узнать сайты в л2 топе, на поиски уязвимостей вебдвижков и чтоб облегчить это вот вам инструкция

Ролик с сайта разработчиков,что бы облегчить вашу участь.;)
[Ссылки могут видеть только зарегистрированные и активированные пользователи]

Сбор внешних ссылок с сайта является важным этапом оценки качества донора для покупки ссылок. Критерии оценки на базе этого параметра у каждого сеошника могут несколько отличаться, но вряд ли кто-нибудь поспорить о его важности

Нашей задачей является сбор внешних ссылок с интересующего нас сайта с помощью Datacol. Причем возле каждой внешней ссылки должна быть указана страница, на которой она была найдена.
[Ссылки могут видеть только зарегистрированные и активированные пользователи]

Работу данного профиля настроек вы можете потестировать сразу после установки Datacol. Демонстрационный профиль настроек называется OutgoingLinksParser.
[Ссылки могут видеть только зарегистрированные и активированные пользователи]

Поскольку демо версия Datacol не умеет сохранять результаты в файл, для просмотра результатов после запуска парсера необходимо перейти на вкладку Результаты.

[Ссылки могут видеть только зарегистрированные и активированные пользователи]


Начнем с общих настроек. Установим 20 потоков и ограничимся 1000 страниц с сайта (по этому количеству легко можно будет оценить интенсивность продажи ссылок).
[Ссылки могут видеть только зарегистрированные и активированные пользователи]

В начальных URL вводим адрес интересующего нас сайта и не забываем указать достаточную глубину (300 в текущем случае).
[Ссылки могут видеть только зарегистрированные и активированные пользователи]

На вкладке Сбор данных настраиваем 2 поля. Одно для получения самих ссылок, а другое для сохранения URL страницы, на которой найдена ссылка.
[Ссылки могут видеть только зарегистрированные и активированные пользователи]

В условиях уточняем, что собранные ссылки не должны содержать URL главной страницы сайта (при том что должны иметь вхождение [Ссылки могут видеть только зарегистрированные и активированные пользователи]). Таким образом, мы будем получать только внешние ссылки. Также исключаем ссылки со словом twitter (часто создает много лишних результатов).

[Ссылки могут видеть только зарегистрированные и активированные пользователи]

Обратите внимание на то, что второе поле представляет собой Спец значение.

[Ссылки могут видеть только зарегистрированные и активированные пользователи]

Далее настраиваем блок Навигации.

[Ссылки могут видеть только зарегистрированные и активированные пользователи]

Обратите внимание, что для навигации собираются только внутренние ссылки (ВАЖНО: не путать со сбором внешних ссылок в качестве данных!!!). Также не забываем про увеличение допустимого уровня вложенности (если это нужно).

Далее настраиваем блок Экспорта.

[Ссылки могут видеть только зарегистрированные и активированные пользователи]



Демо версию можно скачать от сюда ([Ссылки могут видеть только зарегистрированные и активированные пользователи])



Вирус тотал ([Ссылки могут видеть только зарегистрированные и активированные пользователи] a805aa5f3e8a91/analysis/)


Копи-паст с сайта разработчиков,но работает везде однако:)