En iyi web scraping API'leri: fiyatlar, krediler ve ücretsiz planlar karşılaştırması

Hangi web scraping API'sini seçmelisiniz?

Sıradan sayfalar için en geniş ücretsiz kotayı ve en düşük fiyatı istiyorsanız Scrape.do ile başlayın: ayda 1.000 ücretsiz kredi ve 5 eşzamanlı istek, ayrıca 250.000 kredilik 29 $'lık Hobby planı. İşinizin çoğu Google sonuçları, Amazon ürünleri veya diğer popüler sitelerse ve ham HTML yerine hazır yapılandırılmış veri almak istiyorsanız Scrapingdog'a bakın: özel uç noktaları Google, Amazon, Walmart, eBay, YouTube ve daha fazlasını kapsar; Light Google SERP uç noktası 5 kredi tutarken Scrape.do'nun genel API'si üzerinden bir Google isteği 10 kredidir.

İkisi de yalnızca başarılı yanıtları ücretlendirir, ikisinde de kredi kartı olmadan başlayabilirsiniz ve ikisi de aynı şekilde faturalandırır: aylık bir kredi havuzu, ağır istekler daha fazla kredi harcar. Bu son nokta vitrindeki fiyattan daha önemlidir; bu yüzden rehberin geri kalanı, istekleriniz gerçekte ne kadar tutuyorsa ona göre nasıl karşılaştıracağınızı gösteriyor.

Web scraping API'si ne yapar ve ne zaman gerekir?

Bir scraping API'si, kodunuz ile okumak istediğiniz site arasında durur. API anahtarınızla birlikte bir URL (özel uç noktalarda bir arama sorgusu) gönderirsiniz; size sayfanın HTML'ini veya yapılandırılmış JSON döndürür. Bu tek isteğin arkasında sağlayıcı, kendi başınıza sürdürmesi en çok zaman alan altyapıyı çalıştırır: dönen proxy havuzu, JavaScript ağırlıklı sayfalar için headless tarayıcılar, başlık ve parmak izi yönetimi, yeniden denemeler ve CAPTCHA işleme.

Muhtemelen ihtiyacınız var, eğer:

• kamuya açık fiyatları, ürün verilerini veya arama sonuçlarını düzenli olarak topluyor ve proxy ile tarayıcı çiftliği bakımından yorulduysanız;
• scraper'ınız basit sitelerde çalışıyor ama JavaScript ile yapılmış sayfalar boş dönüyorsa;
• sonuçları belirli bir ülkeden görüldüğü haliyle almanız gerekiyorsa.

Muhtemelen ihtiyacınız yok, eğer site istediğiniz veri için resmi bir API veya veri dışa aktarımı sunuyorsa ya da düz HTML sunan bir siteden yalnızca birkaç sayfa çekiyorsanız. Bu durumlarda doğrudan istek daha basit ve daha ucuzdur.

İstek başına ödemek yerine proxy'leri kendiniz yönetmek isterseniz, en iyi residential proxy'ler ve residential proxy nedir rehberlerimiz bu yolu anlatıyor.

Scraping API'si nasıl seçilir: neyi karşılaştırdık

• Kredi başına değil, başarılı istek başına fiyat. İki hizmet de kredi satar ve bir istek 1 krediye de 25'ten fazlasına da mal olabilir. Gerçek bin sayfa maliyetini bulmak için plan fiyatını tipik isteğinizin harcadığı krediye bölün.
• Kredi çarpanları. JavaScript işleme, premium veya residential IP'ler, ülke hedefleme ve bazı korumalı alan adları maliyeti katlar. Okuyacağınız sitelerin çarpanını kontrol edin.
• Ücretsiz plan veya deneme. Ödemeden önce gerçek hedeflerinizi API'den geçirecek kadar ücretsiz kredi, yapabileceğiniz en iyi testtir.
• Eşzamanlılık. Aynı anda gönderilebilen istek sayısı, kredi bakiyeniz ne olursa olsun bir URL listesini ne kadar hızlı işleyeceğinizi sınırlar.
• Hazır uç noktalar. Google, Amazon ve benzeri siteler için ayrıştırılmış JSON, parser yazma ve bakım yükünü ortadan kaldırır.
• Limit dolunca ne olur. Kullanılmayan krediler devrediliyor mu, krediler bitince istekler duruyor mu yoksa ücretlendirilmeye devam mı ediyor.
• İade ve iptal. Scraping API'leri ön ödemelidir; büyük bir plan seçmeden önce iade koşullarını okuyun.

Bu sayfanın üstündeki tablo, her hizmetin giriş planını, ücretsiz kotasını ve ana sınırını aynı birimlerle gösteriyor.

Scraping API fiyatları: kredi sayfa demek değildir

Çarpanlar uygulandığında giriş seviyesi ücretli planların ne sağladığı, her sağlayıcının yayımladığı kredi maliyetlerine göre şöyle:

Yani genel sayfalarda Scrape.do giriş seviyesinde dolar başına daha fazla istek verirken, Google aramalarında Scrapingdog'un Light SERP uç noktası daha ucuza gelir: Lite'ta bin arama başına yaklaşık 1,00 $, Scrape.do Hobby'de yaklaşık 1,16 $.

İki maliyet ayrıntısı daha:

• Scrape.do, korumalı siteler için alan adı başına sabit maliyetler yayımlar: örneğin google.* 10 kredi, linkedin.com 30, shopee.* 100 ve sainsburys.co.uk 200. Her yanıttaki Scrape.do-Request-Cost başlığı ne kadar ücretlendirildiğinizi gösterir.
• Scrapingdog uç noktaya göre ücretlendirir: dönen proxy isteği veya Amazon araması 1 kredi, JS işleme ve çoğu Google uç noktası 5, premium proxy, ülke hedefleme veya yapay zekâ parser'ı 10, premium proxy ile JS işleme 25, profile scraper ise 50 krediye kadar. Dikkat: yalnızca ülke hedefleme bile 10 kredidir.

Orta seviye planlar birbirine yakın: Scrape.do Pro 1.250.000 kredi için 99 $, Scrapingdog Standard 1.000.000 kredi için 90 $. İkisi de yıllık faturalandırmada on iki ay için on ay ücret alır.

Scrape.do: daha büyük ücretsiz kota ve daha ucuz genel istekler

Scrape.do'nun ana ürünü genel bir Web Scraping API'sidir: URL'yi ve token'ınızı gönderirsiniz; proxy rotasyonu, istenirse headless işleme (render=true), residential ve mobil IP'ler (super=true), sabit oturumlar ve 160'tan fazla ülkede coğrafi hedeflemeyi o halleder. Ayrıca Google Search, Amazon ve YouTube gibi siteler için ayrıştırılmış JSON döndüren Ready Scraper API'leri ve yapay zekâ araçlarına veri vermek için markdown çıktısı sunar.

Scrape.do'yu seçin, eğer tek bir genel API ile birçok farklı siteden veri topluyorsanız, ücretsiz planın gerçek bir teste yetmesini istiyorsanız (her ay 1.000 kredi ve 5 eşzamanlı istek) ya da ücretsiz dahil her planda coğrafi hedefleme istiyorsanız. Fiyatlandırma sayfasına göre tüm planlarda residential ve mobil proxy'ler, JavaScript işleme ve coğrafi hedefleme var; premium residential ve mobil proxy'ler Business'tan (249 $) itibaren geliyor.

Dezavantajı: kullandıkça öde aşım yok. Aylık krediler bitince, plan yükseltene veya ek kredi alana kadar istekler durur. İadeler yalnızca ilk abonelik için, 3 gün içinde ve kullanılmamış krediler için geçerli. Panelden istediğiniz zaman iptal edebilirsiniz. Ayrıntılar Scrape.do incelememizde.

Scrapingdog: popüler siteler için hazır uç noktalar

Scrapingdog, genel bir scraping API'sini (dönen proxy'ler, headless Chrome, CAPTCHA işleme) yapılandırılmış veri döndüren uzun bir özel uç nokta listesiyle birleştirir: Google SERP, Maps, News, Shopping, Scholar, Trends, Jobs ve AI Mode; Amazon, Walmart, eBay ve Flipkart; YouTube, TikTok ve diğerleri; ayrıca ekran görüntüsü API'si ve yapay zekâ parser'ı. Ücretsiz dahil her plan tüm API'leri çağırabilir.

Scrapingdog'u seçin, eğer Google sıralamalarını veya pazaryeri ürünlerini takip ediyor ve parser yazmak yerine JSON istiyorsanız ya da çok büyümeyi bekliyorsanız: fiyatlandırma sayfası 40 $'lık Lite'tan ayda 30.000 $'a kadar planlar listeliyor ve kullanılmayan krediler Standard'dan (90 $) itibaren devrediliyor.

Dezavantajı: ücretsiz plan küçük, 1 eşzamanlı istekle 100 kredi; bu da birkaç düzine Google aramasına denk gelir. Koşullara göre hizmet sağlandıktan sonra iade yok ve iptal ettiğinizde veya plan düşürdüğünüzde kullanılmayan krediler sona erer. Ülke hedefleme istek başına 10 kredi ve Lite'tan itibaren mevcut. Daha fazlası Scrapingdog incelememizde.

Ücretsiz web scraping API'leri: gerçekte ne alırsınız

İki ücretsiz kota da üretim için tasarlanmadı, ama ikisi de ödeme öncesi tek önemli soruyu yanıtlamaya yeter: bu API hedef sitelerinizden ihtiyacınız olan veriyi döndürüyor mu?

• Scrape.do Free: ayda 1.000 başarılı kredi, 5 eşzamanlı istek, kart gerekmez. Bu, 1.000 temel istek, 200 işlenmiş istek veya residential IP'lerle 40 işlenmiş istek demek.
• Scrapingdog Free: 100 kredi, 1 eşzamanlı istek, kart gerekmez, tüm API'lere erişim. Bu, 20 Google Light SERP araması veya 100 Amazon ürün sayfası demek.

İyi bir test: en zor hedeflerinizi temsil eden on URL seçin, ikisinden de geçirin ve her yanıtın maliyetini (Scrape.do'nun maliyet başlığı, Scrapingdog'un uç nokta fiyat listesi) ve verinin eksiksiz gelip gelmediğini kontrol edin. Başarısız, engellenen ve zaman aşımına uğrayan istekler ikisinde de ücretlendirilmez.

Bilmeye değer diğer scraping API'leri

Pazar bu iki hizmetten büyük. ScraperAPI, ScrapingBee, Zyte ve Bright Data, kendi ücretsiz denemeleri ve kredi sistemleri olan bilinen alternatiflerdir; aynı çarpanlı kredi modeliyle ücretlendirdikleri için yukarıdaki karşılaştırma yöntemi onlar için de geçerli.

Çevrimiçi bir işi yürütmek için diğer araçlar için iş yazılımları kategorimize göz atın.

Sorumlu scraping

Bir scraping API'si isteklerin siteye nasıl ulaştığını değiştirir, neyi toplamaya izinli olduğunuzu değil. Ölçeklendirmeden önce:

• Hedef sitenin koşullarını ve robots.txt dosyasını okuyun. Pek çok site hangi otomatik erişime izin verdiğini belirtir; bu kurallara uyun ve site sunuyorsa resmi API'yi veya veri akışını tercih edin.
• Yalnızca kamuya açık veri toplayın. Hakkınız olmayan oturum açma ekranlarının arkasındaki içerikleri çekmeyin ve kişisel verilere dikkat edin: KVKK ve GDPR gibi yasalar, herkese açık görünseler bile isimler, profiller ve iletişim bilgileri için geçerlidir.
• Yükü makul tutun. Yalnızca ihtiyacınız olanı, siteyi zorlamayacak bir hızda çekin ve sonuçları tekrar indirmek yerine önbelleğe alın.
• Sağlayıcıların kurallarını bilin. Scrape.do'nun koşulları hizmeti yalnızca yasal amaçlarla kullanmaya izin verir ve kart testi, güvenlik açığı taraması ve kimlik bilgisi kırma gibi kullanımları yasaklar. Scrapingdog'un koşulları yerel yasalara uyumu sizin sorumluluğunuza bırakır ve verilerinin özel veya hassas kişisel bilgileri ifşa etmek için kullanılmasını yasaklar.

Tipik meşru kullanımlar fiyat ve stok takibi, SEO sıralama takibi, pazar araştırması ve kamuya açık sayfalardan veri setleri oluşturmaktır. Bir proje, bir sitenin açık reddini aşmaya dayanıyorsa scraping API'si için doğru proje değildir.