Die besten Web-Scraping-APIs: Preise, Credits und kostenlose Tarife im Vergleich

Welche Web-Scraping-API sollten Sie wählen?

Wenn Sie das größte Gratis-Kontingent und den niedrigsten Preis für normale Seitenabrufe wollen, starten Sie mit Scrape.do: 1.000 kostenlose Credits pro Monat mit 5 gleichzeitigen Anfragen und ein Hobby-Tarif für 29 $ mit 250.000 Credits. Wenn Sie vor allem Google-Ergebnisse, Amazon-Angebote oder andere populäre Websites auslesen und lieber fertig geparste Daten statt rohem HTML erhalten, schauen Sie sich Scrapingdog an: Seine spezialisierten Endpunkte decken Google, Amazon, Walmart, eBay, YouTube und mehr ab, und der Light-Google-SERP-Endpunkt kostet 5 Credits gegenüber 10 für eine Google-Anfrage über die allgemeine API von Scrape.do.

Beide Dienste berechnen nur erfolgreiche Antworten, bei beiden können Sie ohne Kreditkarte starten, und beide rechnen gleich ab: ein monatliches Credit-Kontingent, wobei aufwendigere Anfragen mehr Credits kosten. Dieser letzte Punkt zählt mehr als der Listenpreis, deshalb zeigt dieser Ratgeber im Folgenden, wie Sie die Dienste danach vergleichen, was Ihre Anfragen tatsächlich kosten.

Was eine Web-Scraping-API macht und wann Sie eine brauchen

Eine Web-Scraping-API sitzt zwischen Ihrem Code und der Website, die Sie auslesen wollen. Sie schicken ihr eine URL (oder bei spezialisierten Endpunkten eine Suchanfrage) zusammen mit Ihrem API-Schlüssel und erhalten das HTML der Seite oder strukturiertes JSON zurück. Hinter dieser einen Anfrage betreibt der Anbieter die Infrastruktur, deren Pflege in Eigenregie meist am meisten Zeit kostet: einen Pool rotierender Proxys, Headless-Browser für JavaScript-lastige Seiten, Header- und Fingerprint-Management, Wiederholungsversuche und CAPTCHA-Behandlung.

Sie brauchen wahrscheinlich eine, wenn:

• Sie regelmäßig öffentliche Preise, Produktdaten oder Suchergebnisse sammeln und es leid sind, Proxys und Browser-Farmen zu pflegen;
• Ihr Scraper bei einfachen Websites funktioniert, mit JavaScript gebaute Seiten aber leer zurückkommen;
• Sie Ergebnisse so brauchen, wie sie in einem bestimmten Land angezeigt werden.

Sie brauchen wahrscheinlich keine, wenn die Website für Ihre Daten eine offizielle API oder einen Datenexport anbietet oder wenn Sie nur eine Handvoll Seiten von einer Website abrufen, die schlichtes HTML ausliefert. In beiden Fällen ist eine direkte Anfrage einfacher und günstiger.

Wenn Sie Proxys lieber selbst verwalten, statt pro Anfrage zu zahlen, erklären unsere Ratgeber zu den besten Residential Proxys und was ein Residential Proxy ist diesen Weg.

So wählen Sie eine Scraping-API: Was wir verglichen haben

• Preis pro erfolgreicher Anfrage, nicht pro Credit. Beide Dienste verkaufen Credits, und eine Anfrage kann 1 Credit oder 25 und mehr kosten. Teilen Sie den Tarifpreis durch die Credits, die Ihre typische Anfrage verbraucht, um die echten Kosten pro tausend Seiten zu erhalten.
• Credit-Multiplikatoren. JavaScript-Rendering, Premium- oder Residential-IPs, Länder-Targeting und manche geschützten Domains vervielfachen die Kosten. Prüfen Sie den Multiplikator für genau die Websites, die Sie auslesen wollen.
• Kostenloser Tarif oder Testphase. Genug Gratis-Credits, um Ihre echten Ziel-Websites vor dem Bezahlen durch die API zu schicken, sind der beste Test, den Sie machen können.
• Parallelität. Die Zahl gleichzeitiger Anfragen begrenzt, wie schnell Sie eine URL-Liste abarbeiten, unabhängig von Ihrem Credit-Guthaben.
• Fertige Endpunkte. Geparstes JSON für Google, Amazon und ähnliche Websites erspart Ihnen das Schreiben und Pflegen eigener Parser.
• Was am Limit passiert. Ob ungenutzte Credits übertragen werden und ob Anfragen stoppen oder weiter abgerechnet werden, wenn das Kontingent aufgebraucht ist.
• Erstattung und Kündigung. Scraping-APIs werden im Voraus bezahlt, lesen Sie also die Erstattungsbedingungen, bevor Sie einen großen Tarif wählen.

Die Tabelle oben auf dieser Seite zeigt für jeden Dienst Einstiegstarif, Gratis-Kontingent und wichtigstes Limit in denselben Einheiten.

Preise von Scraping-APIs: Credits sind keine Seiten

So viel bringen die Einstiegstarife, wenn man die Multiplikatoren einrechnet, basierend auf den veröffentlichten Credit-Kosten der Anbieter:

Für allgemeine Seiten bietet Scrape.do im Einstiegssegment also mehr Anfragen pro Dollar, während bei Google-Suchen der Light-SERP-Endpunkt von Scrapingdog günstiger ist: etwa 1,00 $ pro tausend Suchen bei Lite gegenüber etwa 1,16 $ bei Scrape.do Hobby.

Zwei weitere Kostendetails:

• Scrape.do veröffentlicht feste Kosten pro Domain für geschützte Websites: zum Beispiel google.* mit 10 Credits, linkedin.com mit 30, shopee.* mit 100 und sainsburys.co.uk mit 200. Ein Scrape.do-Request-Cost-Header in jeder Antwort zeigt, was Ihnen berechnet wurde.
• Scrapingdog rechnet pro Endpunkt ab: 1 Credit für eine Anfrage über rotierende Proxys oder eine Amazon-Suche, 5 für JS-Rendering und die meisten Google-Endpunkte, 10 für Premium-Proxys, Länder-Targeting oder den KI-Parser, 25 für JS-Rendering mit Premium-Proxys und bis zu 50 für den Profil-Scraper. Beachten Sie, dass schon Länder-Targeting allein 10 Credits kostet.

Die mittleren Tarife liegen nah beieinander: Scrape.do Pro kostet 99 $ für 1.250.000 Credits, Scrapingdog Standard 90 $ für 1.000.000. Bei jährlicher Zahlung berechnen beide zehn statt zwölf Monate.

Scrape.do: mehr Gratis-Credits und günstigere Standardanfragen

Das Hauptprodukt von Scrape.do ist eine allgemeine Web Scraping API: Sie übergeben eine URL und Ihr Token, und der Dienst kümmert sich um Proxy-Rotation, Headless-Rendering auf Wunsch (render=true), Residential- und Mobile-IPs (super=true), Sticky Sessions und Geo-Targeting in über 160 Ländern. Dazu kommen Ready Scraper APIs, die geparstes JSON für Websites wie Google Search, Amazon und YouTube liefern, sowie eine Markdown-Ausgabe, um Seiten an KI-Tools weiterzugeben.

Wählen Sie Scrape.do, wenn Sie viele verschiedene Websites über eine allgemeine API scrapen, mit dem kostenlosen Tarif einen echten Test fahren wollen (1.000 Credits und 5 gleichzeitige Anfragen jeden Monat) oder Geo-Targeting in jedem Tarif brauchen, auch im kostenlosen. Laut der Preisseite enthalten alle Tarife Residential- und Mobile-Proxys, JavaScript-Rendering und Geo-Targeting; Premium-Residential- und Mobile-Proxys gibt es ab Business (249 $).

Der Nachteil: Es gibt keine nutzungsbasierte Abrechnung über das Kontingent hinaus. Sind die monatlichen Credits aufgebraucht, stoppen die Anfragen, bis Sie upgraden oder Credits nachkaufen. Erstattungen gibt es nur für das erste Abo, innerhalb von 3 Tagen und für ungenutzte Credits. Kündigen können Sie jederzeit im Dashboard. Details in unserem Scrape.do-Test.

Scrapingdog: fertige Endpunkte für populäre Websites

Scrapingdog kombiniert eine allgemeine Scraping-API (rotierende Proxys, Headless Chrome, CAPTCHA-Behandlung) mit einer langen Liste spezialisierter Endpunkte, die strukturierte Daten liefern: Google SERP, Maps, News, Shopping, Scholar, Trends, Jobs und AI Mode; Amazon, Walmart, eBay und Flipkart; YouTube, TikTok und weitere; dazu eine Screenshot-API und einen KI-Parser. Jeder Tarif, auch der kostenlose, kann alle APIs nutzen.

Wählen Sie Scrapingdog, wenn Sie Google-Rankings oder Marktplatz-Angebote verfolgen und JSON wollen, statt Parser zu schreiben, oder wenn Sie stark skalieren wollen: Die Preisseite listet Tarife von Lite für 40 $ bis 30.000 $ pro Monat, und ab Standard (90 $) werden ungenutzte Credits übertragen.

Der Nachteil: Der kostenlose Tarif ist klein, 100 Credits mit 1 gleichzeitigen Anfrage, das reicht nur für ein paar Dutzend Google-Suchen. Laut den Bedingungen gibt es keine Erstattung, sobald die Leistung erbracht wurde, und ungenutzte Credits verfallen bei Kündigung oder Downgrade. Länder-Targeting kostet 10 Credits pro Anfrage und ist ab Lite verfügbar. Mehr in unserem Scrapingdog-Test.

Kostenlose Web-Scraping-APIs: was Sie wirklich bekommen

Keiner der kostenlosen Tarife ist für den Produktivbetrieb gedacht, aber beide reichen, um die einzige Frage zu beantworten, die vor dem Bezahlen zählt: Liefert diese API die Daten, die Sie von Ihren Ziel-Websites brauchen?

• Scrape.do Free: 1.000 erfolgreiche Credits pro Monat, 5 gleichzeitige Anfragen, keine Kreditkarte. Das sind 1.000 einfache Anfragen, 200 gerenderte oder 40 gerenderte Anfragen über Residential-IPs.
• Scrapingdog Free: 100 Credits, 1 gleichzeitige Anfrage, keine Kreditkarte, Zugriff auf alle APIs. Das sind 20 Google-Suchen über Light SERP oder 100 Amazon-Produktseiten.

Ein guter Test: Wählen Sie zehn URLs, die Ihre schwierigsten Ziele repräsentieren, schicken Sie sie durch beide Dienste und prüfen Sie die Kosten jeder Antwort (bei Scrape.do der Kosten-Header, bei Scrapingdog die Preisliste der Endpunkte) und ob die Daten vollständig zurückkamen. Fehlgeschlagene, blockierte und abgelaufene Anfragen werden bei keinem der beiden Dienste berechnet.

Weitere Scraping-APIs, die Sie kennen sollten

Der Markt ist größer als diese beiden. ScraperAPI, ScrapingBee, Zyte und Bright Data sind bekannte Alternativen mit eigenen Testphasen und Credit-Systemen; sie rechnen nach demselben Modell aus Credits mit Multiplikatoren ab, sodass die oben beschriebene Vergleichsmethode auch für sie funktioniert.

Weitere Werkzeuge für Ihr Online-Business finden Sie in unserer Kategorie Business-Software.

Verantwortungsvoll scrapen

Eine Scraping-API ändert, wie Anfragen eine Website erreichen, nicht aber, was Sie sammeln dürfen. Bevor Sie hochskalieren:

• Lesen Sie die Nutzungsbedingungen und die robots.txt der Ziel-Website. Viele Websites geben an, welchen automatisierten Zugriff sie erlauben; halten Sie sich an diese Regeln und nutzen Sie bevorzugt eine offizielle API oder einen Datenfeed, wenn die Website einen anbietet.
• Sammeln Sie nur öffentliche Daten. Scrapen Sie keine Inhalte hinter Logins, auf die Sie keinen Anspruch haben, und gehen Sie sorgsam mit personenbezogenen Daten um: Gesetze wie die DSGVO gelten für Namen, Profile und Kontaktdaten auch dann, wenn sie öffentlich sichtbar sind.
• Halten Sie die Last im Rahmen. Rufen Sie nur ab, was Sie brauchen, in einem Tempo, das die Website nicht belastet, und cachen Sie Ergebnisse, statt sie erneut herunterzuladen.
• Kennen Sie die Regeln der Anbieter. Die Bedingungen von Scrape.do erlauben den Dienst nur für rechtmäßige Zwecke und verbieten Nutzungen wie Kartentests, Schwachstellen-Scans und das Knacken von Zugangsdaten. Die Bedingungen von Scrapingdog machen Sie für die Einhaltung lokaler Gesetze verantwortlich und untersagen, die Daten zur Offenlegung privater oder sensibler personenbezogener Informationen zu nutzen.

Typische legitime Anwendungen sind Preis- und Verfügbarkeitsmonitoring, SEO-Rank-Tracking, Marktforschung und der Aufbau von Datensätzen aus öffentlichen Seiten. Wenn ein Projekt davon abhängt, die ausdrückliche Ablehnung einer Website zu umgehen, ist es das falsche Projekt für eine Scraping-API.