Лучшие API для веб-скрапинга и парсинга: цены, кредиты и бесплатные тарифы

Какой API для веб-скрапинга выбрать?

Если вам нужен самый большой бесплатный лимит и самая низкая цена за обычную загрузку страниц, начните со Scrape.do: 1 000 бесплатных кредитов в месяц с 5 параллельными запросами и тариф Hobby за $29 с 250 000 кредитов. Если ваша работа в основном связана с выдачей Google, карточками Amazon или другими популярными сайтами и вы предпочли бы получать уже разобранные данные, а не сырой HTML, посмотрите на Scrapingdog: его специализированные эндпоинты покрывают Google, Amazon, Walmart, eBay, YouTube и другие сайты, а эндпоинт Light Google SERP стоит 5 кредитов против 10 за запрос к Google через общий API Scrape.do.

Оба сервиса списывают кредиты только за успешные ответы, оба позволяют начать без банковской карты и тарифицируют одинаково: ежемесячный пакет кредитов, причём более тяжёлые запросы стоят больше кредитов. Последнее важнее, чем цена на витрине, поэтому дальше в этом гайде мы сравниваем сервисы по тому, сколько на самом деле стоят ваши запросы.

Что делает API для скрапинга и когда он нужен

API для веб-скрапинга стоит между вашим кодом и сайтом, который вы хотите прочитать. Вы отправляете ему URL (или поисковый запрос, если это специализированный эндпоинт) вместе с API-ключом, а в ответ получаете HTML страницы или структурированный JSON. За этим одним запросом провайдер держит инфраструктуру, на поддержку которой обычно уходит больше всего времени: пул ротируемых прокси, headless-браузеры для страниц на JavaScript, управление заголовками и отпечатками браузера, повторные попытки и обработку капчи.

Скорее всего, он вам нужен, если:

• вы регулярно собираете публичные цены, данные о товарах или поисковую выдачу и устали поддерживать прокси и браузерные фермы;
• ваш парсер работает на простых сайтах, но страницы на JavaScript возвращаются пустыми;
• вам нужны результаты в том виде, в каком их видят пользователи из конкретной страны.

Скорее всего, он вам не нужен, если у сайта есть официальный API или выгрузка нужных данных, либо если вы загружаете всего несколько страниц с сайта, который отдаёт обычный HTML. В обоих случаях прямой запрос проще и дешевле.

Если вы предпочитаете управлять прокси сами, а не платить за каждый запрос, наши гайды лучшие резидентные прокси и что такое резидентный прокси объясняют этот путь.

Как выбрать API для парсинга: что мы сравнивали

• Цена успешного запроса, а не кредита. Оба сервиса продают кредиты, и запрос может стоить 1 кредит или 25 и больше. Разделите цену тарифа на число кредитов, которое тратит ваш типичный запрос, и получите реальную стоимость тысячи страниц.
• Множители кредитов. Рендеринг JavaScript, премиальные или резидентные IP, выбор страны и некоторые защищённые домены умножают стоимость. Проверьте множитель именно для тех сайтов, которые собираетесь парсить.
• Бесплатный тариф или пробный период. Лучший тест — прогнать свои реальные сайты через API на бесплатных кредитах до оплаты.
• Параллельность. Число одновременных запросов ограничивает скорость обработки списка URL, сколько бы кредитов у вас ни было.
• Готовые эндпоинты. Разобранный JSON для Google, Amazon и похожих сайтов избавляет от написания и поддержки собственных парсеров.
• Что происходит на лимите. Переносятся ли неиспользованные кредиты и останавливаются ли запросы, когда кредиты закончились, или списание продолжается.
• Возвраты и отмена. API для скрапинга оплачиваются заранее, поэтому прочитайте условия возврата, прежде чем брать крупный тариф.

В таблице в начале страницы для каждого сервиса указаны стартовый тариф, бесплатный лимит и главное ограничение в одних и тех же единицах.

Цены API для скрапинга: кредиты — это не страницы

Вот сколько дают стартовые платные тарифы с учётом множителей, по опубликованным ценам кредитов каждого провайдера:

Итак, для обычных страниц Scrape.do на стартовом уровне даёт больше запросов на доллар, а для поиска Google дешевле выходит эндпоинт Light SERP у Scrapingdog: около $1,00 за тысячу запросов на Lite против примерно $1,16 на Scrape.do Hobby.

Ещё две детали о стоимости:

• Scrape.do публикует фиксированную стоимость для защищённых доменов: например, google.* — 10 кредитов, linkedin.com — 30, shopee.* — 100, sainsburys.co.uk — 200. Заголовок Scrape.do-Request-Cost в каждом ответе показывает, сколько с вас списали.
• Scrapingdog тарифицирует по эндпоинтам: 1 кредит за запрос через ротируемый прокси или поиск по Amazon, 5 — за рендеринг JS и большинство эндпоинтов Google, 10 — за премиальные прокси, выбор страны или AI-парсер, 25 — за рендеринг JS с премиальными прокси и до 50 — за парсер профилей. Обратите внимание: один только выбор страны стоит 10 кредитов.

Средние тарифы близки: Scrape.do Pro стоит $99 за 1 250 000 кредитов, Scrapingdog Standard — $90 за 1 000 000. При годовой оплате оба берут деньги за десять месяцев из двенадцати.

Scrape.do: больше бесплатных кредитов и дешевле обычные запросы

Основной продукт Scrape.do — универсальный Web Scraping API: вы передаёте URL и токен, а сервис берёт на себя ротацию прокси, headless-рендеринг по запросу (render=true), резидентные и мобильные IP (super=true), постоянные сессии и геотаргетинг в 160+ странах. Есть и Ready Scraper APIs, которые возвращают разобранный JSON для Google Search, Amazon, YouTube и других сайтов, а также вывод в markdown, чтобы передавать страницы в AI-инструменты.

Выбирайте Scrape.do, если вы парсите много разных сайтов через один универсальный API, хотите, чтобы бесплатного тарифа хватило на настоящий тест (1 000 кредитов и 5 параллельных запросов каждый месяц), или вам нужен геотаргетинг на любом тарифе, включая бесплатный. Согласно странице тарифов, во все планы входят резидентные и мобильные прокси, рендеринг JavaScript и геотаргетинг, а премиальные резидентные и мобильные прокси доступны начиная с Business ($249).

Минус: оплаты сверх лимита по факту нет. Когда месячные кредиты заканчиваются, запросы останавливаются, пока вы не перейдёте на старший тариф или не докупите кредиты. Возврат возможен только за первую подписку, в течение 3 дней и за неиспользованные кредиты. Отменить подписку можно в любой момент в личном кабинете. Подробности — в нашем обзоре Scrape.do.

Scrapingdog: готовые эндпоинты для популярных сайтов

Scrapingdog сочетает универсальный API для скрапинга (ротируемые прокси, headless Chrome, обработка капчи) с длинным списком специализированных эндпоинтов, которые возвращают структурированные данные: Google SERP, Maps, News, Shopping, Scholar, Trends, Jobs и AI Mode; Amazon, Walmart, eBay и Flipkart; YouTube, TikTok и другие; а также API для скриншотов и AI-парсер. На любом тарифе, включая бесплатный, доступны все API.

Выбирайте Scrapingdog, если вы отслеживаете позиции в Google или карточки на маркетплейсах и хотите получать JSON вместо того, чтобы писать парсеры, или если планируете сильно масштабироваться: на его странице тарифов есть планы от Lite за $40 до $30 000 в месяц, а начиная со Standard ($90) неиспользованные кредиты переносятся на следующий месяц.

Минус: бесплатный тариф маленький — 100 кредитов и 1 параллельный запрос, это всего несколько десятков поисковых запросов в Google. По условиям сервиса после оказания услуги деньги не возвращаются, а неиспользованные кредиты сгорают при отмене подписки или переходе на младший тариф. Выбор страны стоит 10 кредитов за запрос и доступен начиная с Lite. Подробнее — в нашем обзоре Scrapingdog.

Бесплатные API для веб-скрапинга: что вы получаете на самом деле

Ни один из бесплатных тарифов не рассчитан на продакшен, но обоих хватает, чтобы ответить на единственный вопрос, который важен до оплаты: возвращает ли этот API нужные данные с ваших целевых сайтов?

• Scrape.do Free: 1 000 успешных кредитов в месяц, 5 параллельных запросов, без банковской карты. Это 1 000 базовых запросов, 200 запросов с рендерингом или 40 запросов с рендерингом через резидентные IP.
• Scrapingdog Free: 100 кредитов, 1 параллельный запрос, без банковской карты, доступ ко всем API. Это 20 поисковых запросов через Google Light SERP или 100 страниц товаров Amazon.

Хороший тест: возьмите десять URL, которые представляют ваши самые сложные цели, прогоните их через оба сервиса и проверьте стоимость каждого ответа (заголовок стоимости у Scrape.do, прайс-лист эндпоинтов у Scrapingdog) и то, пришли ли данные полностью. Неудачные, заблокированные и прерванные по таймауту запросы ни в одном из сервисов не оплачиваются.

Другие API для скрапинга, о которых стоит знать

Рынок не ограничивается этими двумя сервисами. ScraperAPI, ScrapingBee, Zyte и Bright Data — известные альтернативы со своими пробными периодами и системами кредитов; они работают по той же модели «кредиты с множителями», так что описанный выше способ сравнения подходит и для них.

Другие инструменты для онлайн-бизнеса — в нашей категории программы для бизнеса.

Ответственный скрапинг

API для скрапинга меняет то, как запросы попадают на сайт, но не то, что вам разрешено собирать. Прежде чем наращивать объёмы:

• Прочитайте условия использования и robots.txt целевого сайта. Многие сайты прямо указывают, какой автоматический доступ они допускают; соблюдайте эти правила и, если у сайта есть официальный API или фид данных, пользуйтесь им.
• Собирайте только публичные данные. Не парсите контент за авторизацией, к которому у вас нет законного доступа, и осторожно обращайтесь с персональными данными: законы вроде GDPR распространяются на имена, профили и контакты, даже если они видны всем.
• Не перегружайте сайт. Загружайте только то, что нужно, в темпе, который не создаёт нагрузки на сайт, и кешируйте результаты вместо повторного скачивания.
• Знайте правила провайдеров. Условия Scrape.do разрешают использовать сервис только в законных целях и запрещают, например, проверку банковских карт, сканирование уязвимостей и подбор учётных данных. Условия Scrapingdog возлагают на вас ответственность за соблюдение местных законов и запрещают использовать полученные данные для раскрытия частной или чувствительной персональной информации.

Типичные законные сценарии — мониторинг цен и наличия товаров, отслеживание позиций в поиске, маркетинговые исследования и сбор датасетов из публичных страниц. Если проект держится на обходе явного запрета сайта, API для скрапинга для него не подходит.