Ваши рефералы :: Турнирная таблица конкурса рефоводов
+ Ответить в теме
Страница 1 из 2 1 2 ПоследняяПоследняя
Показано с 1 по 10 из 16

Тема: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

  1. #1
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Icon2 A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 60 парсеров



    A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
    • SEO-оптимизация сайтов и Web-аналитика
      • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
      • Оценка сайтов и доменов по множеству параметров
      • Мониторинг позиции любых сайтов в поисковых системах
      • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
      • Отслеживание обратных ссылок
      • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
      • Сбор и оценка ключевых слов
      • Сбор списка обратных ссылок
      • И многое другое
    • Web-безопасность
      • Сбор и фильтрация баз ссылок по признакам
      • Определение CMS сайтов
      • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
    • Сетевое администрирование
      • Работа с DNS службой - резолвинг доменов в IP адреса
      • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

    A-Parser обладает следующими преимуществами:
    • Колоссальная производительность
      • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
      • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
      • Множественные оптимизации сложных операций
      • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    • Промышленные масштабы
      • Парсер разрабатывался с учетом работы с неограниченным размером данных
      • Способен обрабатывать сотни миллионов и миллиардов запросов
      • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    • Автономность
      • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
      • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
      • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    • Поддержка более 60 парсеров
      • Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, QIP, Yahoo, YouTube
      • Парсеры подсказок поисковых систем: Google, Yandex, Bing, Yahoo
      • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
      • Регистрация аккаунтов: Yandex
      • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Category, DMOZ, Linkpad, MajesticSEO, OpenSiteExplorer, SEMrush
      • Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex.Direct, AntiGate
      • Парсеры контента: TextExtractor, LinkExtractor, BackLink, HTTP парсер для создания произвольных парсеров
    • Создание собственных парсеров
      • Использование регулярных выражений
      • Поддержка многостраничного парсинга
      • Проверка контента и наличия следующей страницы
    • Мощные инструменты для формирования запросов и результатов
      • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
      • Подстановки для запросов: из файла; перебор слов, символов и цифр
      • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
      • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
      • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
    • Гибкость настроек
      • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
      • Настроить можно все - никаких рамок и ограничений
      • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    • Сетевые возможности
      • Поддержка HTTP/1.1 и HTTPS
      • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
      • Полностью асинхронная работа с сетью, в т.ч. с DNS
    • API
      • Возможность интегрировать и управлять парсером из своих программ и скриптов
      • Полная автоматизация бизнес-процессов
      • Клиенты для PHP, Perl и Python
    • Постоянные улучшения и исправления
      • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
      • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
      • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    • Техническая поддержка
      • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
      • Создана подробная документация по A-Parser'у, открыт форум для пользователей
      • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
      • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

    Более подробно ознакомится с возможностями парсера можно в полноценной документации

    A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



    Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
    Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
    Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

  2. #2
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Icon12 Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    1.1.790 - экспорт множества заданий и JavaScript парсеров




    A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:





    Улучшения
    • Новый экспорт заданий
    • В JavaScript парсерах добавлена возможность указать иконку парсера
    • В JavaScript парсерах добавлен функционал для работы с CAPTCHA
    • Добавлено автоматическое версионирование JavaScript парсеров
    • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
    • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
    • В JavaScript парсерах добавлен функционал управления прокси
    • В парсере Check::BackLink улучшена обработка nofollow

    Исправления в связи с изменениями в выдачи
    • SE::DuckDuckGo, SE::Ask, SE::AOL, Rank::MajesticSEO
    • SE::Bing не парсил при указании региона
    • Парсер SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи

    Исправления
    • В парсере SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
    • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
    • В парсере SE::Bing в серп могли попадать рекламные блоки
    • В парсере Net::Whois собиралась дата для некоторых доменов
    • В JavaScript парсерах исправлен вывод ошибок в коде
    • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики

  3. #3
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах



    В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.

    Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

    Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

    Улучшения
    • Новый парсер Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
    • Новый парсер Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
    • Новый парсер SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
    • Новый парсер SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
    • Добавление ссылок в индекс Бинга - SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
    • Новый парсер Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
    • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
    • В парсере SE::Yandex добавлен сбор времени последнего кэширования страницы

    Исправления в связи с изменениями в выдаче
    • SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
    • SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
    • В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
    • SE::Google::Trends - полностью обновлен парсер и список собираемых значений
    • Rank::LinkPad, Rank::MajesticSEO, SE::Seznam

    Исправления
    • Проблема с прокруткой в Планировщике
    • Проблема с кодировкой в tools.parseJSON
    • Ошибка импорта JavaScript парсеров

  4. #4
    Студент
    Уровень репутации: 16
    Регистрация: 18.04.2011
    Сообщений: 186
    Спасибо: 0
    Поблагодарили 6 раз(а) в 6 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    Много читаю положительных отзывов про парсер на форумах, есть ли демка, чтобы проанализировать работу программы? Бывают ли скидки на покупку?

  5. #5
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    Демка есть на нашем форуме a-parser.com

    Не могу гарантировать что будут скидки

  6. #6
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    1.1.853 - новые парсеры и каталог пресетов



    У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно

    Улучшения
    • Новый парсер HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
    • Новый парсер Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
    • Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
    • Оптимизирована работа при большом числе активных заданий
    • Оптимизирована версия A-Parser для ОС Linux x64
    • Для парсера SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
    • В парсере SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"
    Исправления в связи с изменениями в выдаче
    • SE::DuckDuckGo, SE::IxQuick, SE::Bing::AddURL
    Исправления
    • В парсере SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
    • В парсере Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
    • Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского
    • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры

  7. #7
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    Новый каталог парсеров и пресетов

    Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик



    Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

    На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!

  8. #8
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google

    В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:



    Как следствие скорость парсинга Яндекса сильно выросла:



    Улучшения:
    • Добавлен парсер SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
    • В парсере SE::Google::Translate названия языков теперь указаны на английском
    • В парсер Shop::Amazon добавлена возможность указать домен амазона
    • Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
    • Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера
    Исправления в связи с изменениями в выдаче:
    • SE::Google::Fast, Shop::Amazon
    • SE::Yandex - исправлена обработка каптчи
    • SE::Yandex - исправлен сбор рекламных блоков
    • В парсере SE::Rambler исправлена загрузка каптчи

  9. #9
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    Видео урок по созданию парсера на языке JavaScript

    Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.



    Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов

    Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

  10. #10
    Абитуриент Аватар для A-Parser Support
    Уровень репутации: 10
    Регистрация: 22.03.2017
    Сообщений: 15
    Спасибо: 0
    Поблагодарили 0 раз(а) в 0 сообщениях
    Файловый архив:
    Скачиваний: 0
    Закачек: 0

    Re: A-Parser 1.1 - продвинутый парсер поисковых систем, Suggest, PR, DMOZ, Whois, etc

    1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла



    Улучшения
    • Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик
    • Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст

    Исправления в связи с изменениями в выдачи
    • SE::Dogpile, Rank::MajesticSEO, SE::Google::Images, SE::Yandex

    Исправления
    • Исправлены падения при работе JS парсеров на Windows 10
    • Исправлен баг с "белым экраном", который появился в предыдущей версии
    • Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
    • Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
    • Исправлена работа с каптчей в SE::Google, при работе через IPv6 прокси

+ Ответить в теме
Страница 1 из 2 1 2 ПоследняяПоследняя


Похожие темы

  1. Ответов: 9
    Последнее сообщение: 21.09.2016, 14:59
  2. Service Parser 9.1 - парсер DLE сайтов (купить всего за 12$)
    от servpars в разделе Покупка & Продажа & Оценка доменов и сайтов
    Ответов: 1
    Последнее сообщение: 16.09.2011, 11:29
  3. AddSearch.ru - Добавление сайтов в индекс поисковых систем
    от zuziken в разделе Сервисы для продвижения
    Ответов: 25
    Последнее сообщение: 25.03.2011, 15:41
  4. Продаю: Универсальный парсер контента AI-Parser
    от CyberScript в разделе Куплю / Продам
    Ответов: 5
    Последнее сообщение: 19.12.2009, 00:59
  5. Сравнение механизмов поисковых систем
    от MEW в разделе Поисковые системы
    Ответов: 13
    Последнее сообщение: 28.06.2009, 10:45

Метки этой темы

Ваши права

  • Вы не можете создавать новые темы
  • Вы не можете отвечать в темах
  • Вы не можете прикреплять вложения
  • Вы не можете редактировать свои сообщения
Счетчик цитирования