403, 429 ve CAPTCHA Hataları: Proxy Engellerini Nasıl Teşhis Edersiniz

Tarayıcınız bir zamanlar sorunsuz çalışıyordu. Şimdi 403, 429 ve sonsuz CAPTCHA'larla karşı karşıyasınız. Her engellenen istek maliyetleri artırır, zaman çizelgelerini uzatır ve KPI'ları bozar. Bu kılavuz, proxy engellerini gidermenin pratik bir yol haritasıdır, böylece veri akışını ve kalitesini hızlı bir şekilde geri kazanabilirsiniz.

Alacağınız şey: hataları teşhis etmek, kök nedenleri haritalamak, doğru IP ayak izini seçmek ve sonuçları üretim sinyalleri ile izlemek için net bir oyun kitabı.

Eğer 403, 429 veya CAPTCHA yanıtları alıyorsanız, öncelikle engelin IP, davranış veya parmak izi ile ilgili olup olmadığını doğrulayın. İstek oranını ve patlayıcılığı ölçün, temiz bir oturum test edin, başlıkları gerçek tarayıcılara uyacak şekilde ayarlayın ve alternatif IP türlerini (konut vs veri merkezi) deneyin. Eşzamanlılığı azaltın, jitter ekleyin, agresif bir şekilde önbelleğe alın ve oturumları sürdürün. Düzeltmeleri blok oranı ve temiz geçiş başarı oranı ile doğrulayın.

Sinyalleri Anlayın: 403 vs 429 vs CAPTCHA

• 403 Yasaklı, sunucunun erişimi reddettiği anlamına gelir. Yaygın nedenler arasında yasaklı IP aralıkları, kısıtlı coğrafyalar, giriş engelleri veya bot parmak izleri bulunur.
• 429 Çok Fazla İstek, bir oran sınırı uyarısıdır. Patlamalarınız veya eşzamanlılığınız IP veya oturum başına eşik değerlerini aştı.
• CAPTCHA, insan doğrulama zorluğudur. Genellikle davranış kalıpları veya parmak izleri otomasyonu işaret ettiğinde tetiklenir.

Bu neden önemlidir: her sinyal farklı bir düzeltme yoluna işaret eder. Çözümleri karıştırmak zaman kaybıdır. Hata ailesini olası nedenle eşleştirirseniz daha hızlı toparlanırsınız ve düzeltmeleri küçük, kontrollü pilotlarda test edersiniz.

Engelleri Kullanım Durumunuza Haritalayın

Siteler herkesin aynı şekilde engellenmediğini gösterir. Bir fiyat izleme botu, bir seyahat SERP alıcısı ve giriş yapmış bir sepet kontrolörü farklı korumaları aşar. Hedef akışlarınızı ve içerik türlerinizi haritalayın, böylece düzeltmeleriniz gerçek kullanıcı kalıplarıyla uyumlu hale gelir.

Ekiplerin hedefe göre scraping akışlarını nasıl yapılandırdığına dair daha geniş bir bakış açısı için, yaygın proxy kullanım durumlarını gözden geçirin; bunlar IP stratejisini, hızı ve oturum tasarımını iş sonuçlarıyla hizalamaya yardımcı olur. Yaygın proxy kullanım durumları örneklerine göz atın.

Proxy Engeli Giderme: Bir Üretim Oyun Kitabı

Basit başlayın, yalnızca kararları değiştirdiğinde daha derine inin.

1. Yeniden üretin ve izole edin:

• Hedef yolu, HTTP yöntemini ve sorgunun normal bir tarayıcıdan doğru olduğunu doğrulayın.
• Engelin IP ile ilgili olduğunu doğrulamak için aynı isteği proxy ile ve proxiesiz test edin.

2. Doğru sinyalleri kaydedin:

• Durum kodlarını, yanıt sürelerini, sunucu başlıklarını ve set-cookie olaylarını yakalayın.
• İstek kalıbını kaydedin: saniye başına istek, patlayıcılık ve alan başına eşzamanlılık.

3. Kimlikten önce davranışı kontrol edin:

• Eşzamanlılığı sınırlayın ve 429/yumuşak CAPTCHA'ların düşüp düşmediğini görmek için rastgele gecikmeler (jitter) ekleyin.
• Tekrar eden vuruşları azaltmak için önbellekleme (ETag/If-None-Match, If-Modified-Since) uygulayın.

4. İstemci parmak izinizi normalize edin:

• Tutarlı başlıklar ve kabul edilen kodlamalar ile gerçek bir tarayıcı veya başsız-gizli profil kullanın.
• Her oturum için çerezleri ve yerel depolamayı koruyun. Kullanıcı ajanlarını daha az sık döndürün; dönüşüm şüpheli görünebilir.

5. IP ve coğrafi varsayımları doğrulayın:

• Farklı bir ASN veya IP türü ile küçük bir grubu test edin.
• Site kişiselleştiriyorsa veya bölgeye göre kısıtlıysa coğrafi doğruluğu doğrulayın.

6. Küçük pilotlarla yineleyin:

• Her seferinde bir değişkeni değiştirin ve 100-500 istek çalıştırın.
• İki temel metriği takip edin: blok oranı ve temiz geçiş başarı oranı (CPSR). CPSR = (sorunsuz sayfalar) / (tüm denemeler). Basit terimlerle: engeller olmadan istediğiniz sayfayı alma sıklığınız.

Pilot bir testte doğrulamak için örnek hedefler:

• Katalog sayfalarında blok oranı %5-10 altında.
• Kamu içeriğinde CPSR %85 üzerinde.
• Giriş akışları için oturum istikrarı 30 dakikadan fazla.

7. Düzeltmeyi kodlayın:

• Hız sınırlarını, oturum sürekliliğini ve yeniden deneme/geri alma işlemlerini istemcinize entegre edin.
• Daha değerli yollar için bilinen sıcak IP'leri ve oturum çerezlerini saklayın.

Doğru IP Ayak İzini Seçin (konut vs veri merkezi)

Eğer 403 veya CAPTCHA hataları düşük hızlarda bile artıyorsa, IP itibarınız veya ASN sorunu olabilir. IP ayak izi, IP'lerin nereden geldiğini ve internette nasıl göründüğünü ifade eder. Bu genellikle zor hedefler için belirleyici bir faktördür.

• Konut IP'leri, tüketici internet servis sağlayıcılarından (ISP) gelir. Normal kullanıcı trafiğine karışır ve genellikle katı WAF'ları ve coğrafi kontrolleri aşar. Daha pahalıdırlar ve daha yavaş olabilirler, ancak tüketici odaklı sitelerde sert engelleri azaltırlar.
• Mobil IP'ler, hücresel ağ trafiği gibi davranır ve konut IP'lerinin yeterli olmadığı durumlarda yardımcı olabilir. Ayrıca daha pahalıdırlar ve kontrol edilmesi daha zordur.
• Veri merkezi IP'leri hızlı ve maliyet etkinidir. Daha az korunan içeriklerde iyi çalışır, ancak parmak izi alma ve yasaklama açısından daha kolaydırlar.

Eğer agresif WAF kurallarından veya sıkı coğrafi kişiselleştirmeden şüpheleniyorsanız, konut proxy'leri aracılığıyla küçük bir parti test etmeyi düşünün, ardından scraper'ınızı yeniden yapılandırın. Kalite ve erişimin ham verimden daha önemli olduğu yerlerde kullanın.

429'ları azaltmak için hız ve eşzamanlılığı doğru ayarlayın

429'lar baskı ile ilgilidir, kimlik ile değil. Çözüm, trafiğinizi sitenin algıladığı koruma sınırları içinde kalacak şekilde şekillendirmektir.

• Her IP için eşzamanlılık sınırları belirleyin. Her alan adı için 1-3 eşzamanlı istek ile başlayın ve dikkatlice artırın.
• 429 veya yumuşak CAPTCHA'dan sonra uyarlamalı geri çekilme ekleyin (örneğin, 30-120 saniye) ve rastgele jitter ekleyin.
• Yükü zaman dilimlerine yayarak çerezlerle sıcak oturumları önceliklendirin.
• Agresif bir şekilde önbellekleyin ve gürültülü yeniden isteklerden kaçınmak için URL'leri dedupe edin.

Hedef toleranslı olduğunda ve darboğazınız verimse, veri merkezi IP'leri ölçekli hız sunabilir. Ağır statik varlıkların veya hassas olmayan sayfaların veri merkezi proxy'leri aracılığıyla çalıştığı, kırılgan uç noktaların ise daha güçlü IP'ler kullandığı karma bir yaklaşımı pilot olarak deneyin.

Güvenebileceğiniz enstrümantasyon ve izleme

Göremediğinizi düzeltemezsiniz. Temel telemetri ekleyin, düşük yük ile ve her alan adı başına takip edin.

• Temel metrikler: kod ailesine göre engelleme oranı (403/429/CAPTCHA), CPSR, ilk bayta kadar ortalama bekleme süresi, oturum süresi ve coğrafi doğruluk.
• Günlükleme gereklilikleri: örnekler için tam istek/yanıt başlıkları, CAPTCHA zorluk türü ve mevcut olduğunda hata izleme kimlikleri.
• Uyarı: engelleme oranı > X% veya CPSR < Y% Z dakikadan fazla olduğunda tetikleyin.

Dil spesifik örnekler ve bağlantı desenleri için proxy entegrasyonu için geliştirici belgeleri ile danışın ve yığınınıza (istekler, Playwright, Puppeteer, curl veya özel HTTP istemcileri) uyarlayın.

Belirtilere göre kök nedenler ve pratik çözümler

403 Yasak: kimlik veya politika engelleri

Yaygın tetikleyiciler:

• IP itibarı veya ASN yasakları.
• Coğrafi kısıtlamalar veya eksik yerelleştirilmiş başlıklar.
• Uygun oturum yönetimi olmadan giriş gerektiren içerikler.
• Bot parmak izleri: garip başlık sırası, TLS ipuçları veya eşleşmeyen kabul başlıkları.

Test edilecek çözümler:

• IP türünü/ASN'yi değiştirin ve coğrafi hedefle eşleştirin.
• Oturumları sürdürün ve çerezleri yeniden oynatın; kapalı sayfalarda durumsuz scraping'den kaçının.
• Başlıkları normalize edin ve modern, tutarlı bir kullanıcı aracını kullanın.
• İçerik JS'e bağlı olduğunda sayfaları başsız bir tarayıcı ile render edin.

429 Çok Fazla İstek: oran ve patlama kontrolleri

Yaygın tetikleyiciler:

• Bir IP veya oturumdan yüksek eşzamanlılık.
• 1 saniyede 20 istek gibi patlayıcı desenler ve ardından sessizlik.

Test edilecek çözümler:

• Her IP için eşzamanlılık sınırları ve alan adı başına token bucket'lar.
• Limit yanıtları ve CAPTCHA'lar sonrasında rastgele geri çekilme.
• Gereksiz vuruşları azaltmak için önbellekleme ve If-None-Match/If-Modified-Since kullanın.

CAPTCHA: davranış artı parmak izi

Yaygın tetikleyiciler:

• Hızlı gezinme, form gönderimleri veya giriş denemeleri.
• Değişen kullanıcı ajanları ve eksik çerezler.
• Başsız veya otomasyon parmak izleri.

Test edilecek çözümler:

• Stabil oturumlar ve insan benzeri gezinme yolları koruyun.
• Tıklama/scroll hızını azaltın ve düşünme süresi ekleyin.
• Güvenli olduğunda gizli tarayıcı modları ve gerçek fontlar/eklentiler kullanın.
• Kalıcı sert CAPTCHA'lar için, IP kalitesini artırın veya eşzamanlılığı daha da daraltın.

Buna dikkat edin

• Tek seferlik çözümler peşinde koşmak: 100 kez kullanıcı ajanı değiştirmek 429'u çözmez.
• IP'leri aşırı döndürmek: her istekte yeni IP'ler, oturum açılmış akışlarda anormal görünür.
• Coğrafyayı göz ardı etmek: yalnızca ABD'ye ait bir site, yanlış bölgeden gelen trafiği 403 ile engeller.
• Önbellek başlıklarını atlamak: istek hacminizi iki katına çıkarmak, fayda sağlamadan sınırlara davet eder.
• Mobil ve masaüstü desenlerini karıştırmak: oturum ortasında cihaz değişiklikleri şüpheli görünür.

Hızlı bir triage matrisi

Gerçek dünya senaryoları

Senaryo 1: Bir seyahat toplayıcısı, düşük hızda bile tarifeler sayfalarında 403 alıyor. Yerel eşleşen bir konut IP havuzuna geçmek 403'leri düşürüyor, ancak CAPTCHA'lar devam ediyor. Her rota için çerezleri sürdürmek ve başlıkları normalleştirmek zorlukları daha da azaltıyor. CPSR, ekibin %85 pilot hedefinin üzerine çıkıyor.

Senaryo 2: Bir e-ticaret kontrolörü, IP başına 20 eşzamanlı istekle ürün sayfalarına saldırıyor ve 429'larla boğuluyor. Ekip, IP başına 2 ile sınırlıyor, 100–400 ms jitter ekliyor ve ETag önbelleğini etkinleştiriyor. Engelleme oranı %8'in altına düşüyor, verimlilik daha fazla IP üzerinden yük dağıtarak yeterli kalıyor.

Sıkça Sorulan Sorular

S1: Bir engelin IP ile ilgili mi yoksa davranış ile ilgili olduğunu nasıl anlarım? C: Aynı isteği proxy ile ve proxiesiz karşılaştırın. Proxy olmadan çalışıyorsa ama proxy ile başarısız oluyorsa, muhtemelen IP veya coğrafya ile ilgilidir. Her iki durumda da birkaç hızlı istektan sonra başarısız oluyorsa, muhtemelen davranış veya parmak izidir. Küçük pilotlar kullanın ve her seferinde bir değişkeni değiştirin.

S2: Korunan siteler için konut mu yoksa veri merkezi IP'leri mi kullanmalıyım? C: Sıkı WAF'lar, oturum açma akışları veya yerelleştirilmiş içerik için, konut IP'leri genellikle daha düşük hızlarda daha fazla kontrolü geçer. Kamuya açık, statik veya daha az hassas yollar için, veri merkezi IP'leri daha hızlı ve daha ucuzdur. Birçok ekip, uç nokta hassasiyetine göre her iki türü birleştirir.

S3: 429'ları önlemek için IP başına makul bir eşzamanlılık nedir? C: Bu, siteye bağlıdır. Başlangıç noktası olarak, her alan adı için IP başına 1–3 eşzamanlı isteği test edin ve jitter ekleyin. Engelleme oranını ve CPSR'yi izleyerek yavaşça artırın. Ölçeklenmeden önce bir pilot testte limitleri doğrulayın.

S4: CAPTCHA'ları ölçekle çözmeden nasıl azaltabilirim? C: Oturumunuzu stabilize edin (çerezler, depolama), insan benzeri zamanlamaya yavaş gezinme yapın ve gizli bir tarayıcı profili kullanın. CAPTCHA'lar düşük hızda devam ederse, daha iyi bir IP ayak izi test edin ve doğru coğrafyayı doğrulayın. Daha zor çözümleri yalnızca kritik uç noktalar için ayırın.

S5: Sürekli izleme için hangi metrikler en önemlidir? C: 403/429/CAPTCHA'ya göre engelleme oranını, CPSR'yi, oturum süresini ve coğrafi doğruluğu takip edin. Sürekli dönemler için eşiklerin üzerindeki artışlar için uyarılar ekleyin. Tanılamayı hızlandırmak için tam başlıklar ve zorluk sayfalarının örnek günlüklerini saklayın.

S6: Erişimi geliştirirken maliyetleri nasıl kontrol altında tutabilirim? C: Toplam istekleri azaltmak için önbellekleme ve tekrarları önleme uygulayın. Toleranslı uç noktalar için veri merkezi IP'leri kullanın ve yüksek sürtünmeli yollar için konut veya mobil IP'leri ayırın. Daha fazla IP ile zorlamaktansa eşzamanlılığı doğru boyutlandırın.

S7: Proxy arkasında veri kazımanın uyum riskleri var mı? C: Riskler, hedef terimlere, veri türüne ve yargı yetkisine bağlıdır. Hukuk danışmanları ile çalışın, hassas verileri kısıtlayın ve niyet edilen kullanımı belgeleyin. Hız sınırlamaları uygulayın ve robotlar ve kimlik doğrulama sınırlarına saygı gösterin; bunlar kuruluşunuz için politika kararlarıdır.

Sonraki adımlar

Temel içgörü basit: çözümünüzü sinyale eşleştirin. 403'ler kimlik ve politikayı gösterir. 429'lar baskıyı gösterir. CAPTCHA'lar davranış ve parmak izi arasında yer alır. Hız ile gizlilik arasındaki dengeyi sağlamak—yanlış ayarlarsanız maliyetler artar ve daha iyi erişim sağlanmaz.

Küçük bir proxy engelleme sorun giderme pilotu çalıştırın. IP ayak izinizi, coğrafi konumunuzu ve oturum tasarımınızı doğrulayın, ardından eşzamanlılık ve jitter'ı ayarlayın. Kazançlarınızı kanıtlayabilmeniz için CPSR, engelleme oranı ve oturum istikrarını ölçün. Daha derin desenler ve uygulama detayları için ilgili SquidProxies kılavuzlarını ve teknik kaynakları keşfedin.