Web Siteleri Proxy Trafiğini Nasıl Tespit Eder: Sinyaller, Testler ve Pratik Savunmalar

Proxy trafiği tek bir sinyal ile tespit edilmez. Bir web sitesi, bir isteği yalnızca bir proxy üzerinden geldiği için nadiren engeller. Daha sık olarak, ağ kimliğini, tarayıcı davranışını, istek zamanlamasını, cihaz sinyallerini, oturum geçmişini ve konum tutarlılığını karşılaştırır. Bu sinyaller uyumlu olmadığında, sürtünme artar: CAPTCHA'lar görünür, sayfalar boş veri döner, oturumlar sıfırlanır veya istekler hız sınırlamasına tabi tutulur.

Web scraping proxy'leri kullanan ekipler için, proxy tespitini anlamak esastır. Bu, ekiplerin doğru proxy türünü seçmelerine, trafiği sorumlu bir şekilde şekillendirmelerine, veri kalitesini doğrulamalarına ve tahmine dayalı engellemeleri azaltmalarına yardımcı olur.

Web siteleri, IP itibarı, ASN sınıflandırması, TLS ve HTTP parmak izleri, tarayıcı parmak izleri, DNS ve WebRTC sinyalleri, coğrafi tutarlılık, çerez davranışı ve trafik desenlerini birleştirerek proxy trafiğini tespit eder. En güçlü sistemler bu sinyalleri bir araya getirir, ardından hız sınırlamaları, ara sayfalar, CAPTCHA'lar, yumuşak engellemeler veya tam engeller gibi sürtünme uygular.

Proxy Tespitinin Anlamı

Proxy tespiti, web sitelerinin trafiğin normal bir kullanıcıdan, bir iş sisteminden, bir arama tarayıcısından, bir bot, bir scraper, bir otomasyon aracından veya bir proxy ağından gelip gelmediğine karar vermek için kullandığı süreçtir.

Bir proxy otomatik olarak şüpheli değildir. Birçok meşru sistem, yönlendirme, güvenlik, test, lokalizasyon, araştırma, izleme ve iş operasyonları için proxy'ler kullanır.

Sorun, sinyal tutarlılığıdır.

Bir oturum daha şüpheli görünürken:

• IP konumu tarayıcı saat dilimi ile çelişiyorsa
• User-Agent Chrome olduğunu iddia ediyorsa ancak TLS davranışı Chrome ile eşleşmiyorsa
• her istekte çerezler sıfırlanıyorsa
• binlerce sayfa aynı zamanlama ile çekiliyorsa
• aynı tarayıcı parmak izi birçok IP üzerinde görünüyorsa
• WebRTC farklı bir ağ yolu açıyorsa
• IP bir barındırma ASN'sine ait ancak oturum bir tüketici kullanıcısı gibi davranıyorsa
• lokalize edilmiş içerik istenen pazarla eşleşmiyorsa

Tespit sistemleri bu uyumsuzlukları ve desenleri arar.

Web Siteleri Neden Proxy Trafiğini Tespit Eder

Web siteleri, proxy tespitini birkaç nedenle kullanır:

• suistimali ve dolandırıcılığı azaltmak
• hesap sistemlerini korumak
• sunucu yükünü yönetmek
• envanter suistimalini önlemek
• yetkisiz scraping'i sınırlamak
• spam ve kimlik bilgisi saldırılarını azaltmak
• fiyatlandırma veya pazar verilerini korumak
• bölgesel lisanslama veya erişim kurallarını uygulamak
• analiz kalitesini korumak
• güvenlik politikalarına uymak

Veri ekipleri için bu, proxy stratejisinin sorumlu, ölçülebilir ve iş akışı ile uyumlu olması gerektiği anlamına gelir. Bir site resmi bir API, ortak besleme veya kullanım durumuna uygun lisanslı bir veri yolu sunuyorsa, bu yol öncelikle düşünülmelidir.

Web Sitelerinin Kullandığı Temel Sinyaller

Proxy tespiti genellikle birkaç katmandan gelen sinyalleri birleştirir.

En önemli katmanlar şunlardır:

• ağ ve IP itibarı
• ASN ve barındırma sınıflandırması
• TLS ve HTTP parmak izleme
• tarayıcı ve cihaz parmak izleme
• DNS ve WebRTC davranışı
• coğrafi ve yerel tutarlılık
• çerez ve depolama davranışı
• istek zamanlaması ve gezinme desenleri
• aktif zorluklar ve tuzaklar

Her sinyal tek başına kusurludur. Birlikte, bir risk skoru oluştururlar.

Ağ ve IP İtibarı Sinyalları

İlk katman IP'nin kendisidir.

Web siteleri şunları değerlendirebilir:

• IP itibarı
• suistimal geçmişi
• ASN türü
• barındırma sağlayıcı aralıkları
• bilinen proxy ağları
• açık proxy veritabanları
• kara listeler
• yakınlardaki IP'lerden gelen istek hacmi
• alt ağ davranışı
• ters DNS desenleri
• ülke veya şehir meta verileri

Datacenter proxy'leri hızlı ve maliyet etkin olsa da, bazı web siteleri barındırma veya bulut ASN'lerine daha dikkatli yaklaşır. Bu, datacenter proxy'lerinin kullanılamaz olduğu anlamına gelmez. Kamu sayfaları, API'ler, site haritaları, izleme ve daha düşük sürtünme iş akışları için çok iyi çalışabilirler.

Konut proxy'leri tüketici ISP ağları üzerinden yönlendirilir ve genellikle coğrafi hassasiyet veya tüketici odaklı iş akışları için daha iyidir. Bazı IP düzeyindeki şüpheleri azaltabilirler, ancak kötü tarayıcı parmak izlerini, agresif istek zamanlamasını veya zayıf oturum tasarımını düzeltmezler.

Daha geniş bir yönlendirme karşılaştırması için Veri Merkezi vs Konut vs ISP Proxy'leri Açıklandı'ya bakın.

ASN ve Barındırma Kontrolleri

ASN, Otonom Sistem Numarası'nın kısaltmasıdır. Bir IP adresi bloğunu sahiplenen veya duyuran ağı tanımlar.

Web siteleri, trafiği şu şekilde sınıflandırmak için ASN verilerini kullanabilir:

• bulut sağlayıcısı
• barındırma sağlayıcısı
• veri merkezi
• ISP
• mobil operatör
• kurumsal ağ
• konut geniş bant

Bir oturum, normal bir hane kullanıcısı gibi davranmayı iddia ediyorsa ancak bilinen bir veri merkezi ASN'sinden geliyorsa, risk puanı artabilir. Bu, özellikle tüketici odaklı sitelerde, e-ticaret platformlarında, seyahat sitelerinde, sosyal platformlarda ve hesap tabanlı hizmetlerde geçerlidir.

İyi bir proxy stratejisi, proxy türünü iş yükü ile eşleştirir. Uygun olduğu yerlerde daha ucuz veri merkezi yönlendirmelerini kullanın. Oturum güveni, coğrafi doğruluk veya tüketici benzeri ağ kimliğinin önemli olduğu yerlerde konut veya ISP yönlendirmelerini kullanın.

TLS ve HTTP Parmak İzleme

Web siteleri, sayfa yüklenmeden önce bir istemcinin nasıl bağlandığını inceleyebilir.

TLS parmak izleme, şu ayrıntılara bakar:

• TLS sürümü
• şifreleme setleri
• uzantı sırası
• desteklenen gruplar
• ALPN davranışı
• HTTP/2 ayarları
• bağlantı yeniden kullanım davranışı

Normal bir Chrome tarayıcısı, bir Python HTTP istemcisi, bir başsız tarayıcı ve eski bir scraping kütüphanesi farklı bağlantı parmak izleri üretebilir.

Eğer Kullanıcı-Ajan “Chrome” diyorsa ama TLS davranışı Chrome'a benzemiyorsa, oturum sentetik görünebilir.

Bu nedenle, yalnızca tarayıcı başlıklarını kopyalamak yeterli değildir. Tam istemci yığını tutarlı olmalıdır.

Yüksek sürtünmeli hedefler için, tarayıcı tabanlı toplama, manuel olarak oluşturulmuş başlıklarla hafif bir HTTP istemcisinden daha tutarlı davranabilir. Düşük sürtünmeli hedefler için, HTTP istemcileri hala daha verimli ve tamamen yeterli olabilir.

Başlık Tutarlılığı

Başlıklar, başka bir tespit katmanıdır.

Web siteleri şunları değerlendirebilir:

• başlık sırası
• eksik tarayıcı başlıkları
• alışılmadık büyük/küçük harf kullanımı
• Accept-Language
• Accept-Encoding
• sec-ch-ua değerleri
• Kullanıcı-Ajan tutarlılığı
• yönlendiren davranışı
• çerez yönetimi
• sıkıştırma desteği

Yaygın hatalar şunları içerir:

• eşleşmeyen tarayıcı başlıkları ile modern bir Chrome Kullanıcı-Ajanı kullanmak
• proxy bölgesi ile çelişen Accept-Language ayarlamak
• başlıkları tarayıcı sırasına uymayan bir şekilde göndermek
• her oturumda aynı başlıkları yeniden kullanmak
• mobil olduğunu iddia etmek ama masaüstü görünüm davranışını kullanmak
• tekrar eden tarama adımlarında hiç çerez göndermemek

Başlıklar, istemci ve hedef pazar ile eşleşmelidir. Fransa'dan gelen bir oturum, kasıtlı bir neden yoksa yanlışlıkla yalnızca ABD'ye ait bir yerel ayar taşımamalıdır.

Tarayıcı ve Cihaz Parmak İzleme

Tarayıcı parmak izleme, tarayıcı tabanlı iş akışlarındaki en önemli katmanlardan biridir.

Web siteleri şunları inceleyebilir:

• Kullanıcı-Ajan
• ekran boyutu
• cihaz belleği
• donanım eşzamanlılığı
• saat dilimi
• dil
• yüklü yazı tipleri
• canvas davranışı
• WebGL işleyici
• ses API'leri
• medya cihazları
• tarayıcı eklentileri
• otomasyon bayrakları
• çerezler ve yerel depolama
• WebRTC davranışı

Bir proxy, ağ yönünü değiştirir. Otomatik olarak tarayıcı parmak izini değiştirmez.

Örneğin, bir oturum Almanya'dan bir konut IP'si kullanabilir ancak şunları açığa çıkarabilir:

• ABD saat dilimi
• yalnızca İngilizce dil ayarları
• Linux benzeri yazı tipleri
• alışılmadık WebGL çıktısı
• eksik medya cihazları
• otomasyon bayrakları

Bu kombinasyon tutarsız görünebilir.

Daha derin bir rehberlik için Web Scraping için Tarayıcı Parmak İzleme'ye bakın.

DNS, WebRTC ve Çevresel Sızıntılar

Bazı proxy ayarları, tarayıcı veya çalışma zamanı proxy yolunun dışındaki ağ ayrıntılarını açığa çıkardığı için başarısız olur.

Yaygın sızıntı noktaları şunlardır:

• DNS çözümleyici konumu
• WebRTC ağ bilgisi
• yerel IP açığa çıkması
• tarayıcı uzantıları
• sistem saat dilimi
• proxy atlama kuralları
• tutarsız coğrafi konum izinleri

Eğer HTTP trafiği bir ülkeden çıkıyorsa ama DNS veya WebRTC sinyalleri başka bir ağ yolunu işaret ediyorsa, oturum daha az tutarlı hale gelir.

Bu, özellikle tarayıcı otomasyonu ve anti-tespit ayarları için önemlidir. Basit bir IP kontrolü yeterli değildir. Ekipler DNS davranışını, WebRTC davranışını, saat dilimini, dili ve dönen içeriği doğrulamalıdır.

Daha fazla ayrıntı için WebRTC Sızıntıları: Neden Anti-Tespit Ayarlarını Bozar.

Coğrafi ve Yerel Uyuşmazlık

Coğrafi uyuşmazlık hem bir tespit sorunu hem de bir veri kalitesi sorunudur.

Bir oturum şüpheli görünebilirken:

• IP ülkesi ve tarayıcı saat dilimi çelişiyorsa
• dil bölgeyle uyuşmuyorsa
• para birimi mağaza ile uyuşmuyorsa
• çerezler başka bir ülkeyi işaret ediyorsa
• gönderim bölgesi oturum ortasında değişiyorsa
• şehir düzeyindeki içerik proxy yoluyla uyuşmuyorsa

SEO, fiyatlandırma, seyahat ve reklam doğrulama için coğrafi uyuşmazlık verilerin yanlış olmasına da neden olabilir. Yanlış bir konumdan toplanan bir sonuç hala geçerli bir sayfa olabilir, ancak hedef pazar için geçerli değildir.

Coğrafi doğruluğu dönen içerikle doğrulayın, sadece IP etiketleriyle değil.

Kontrol edin:

• para birimi
• dil
• yerel paket sonuçları
• mağaza seçici
• gönderim bölgesi
• sayfa URL'si
• bölgesel afişler
• yerelleştirilmiş snippet'ler
• ülkeye özgü kullanılabilirlik

Davranışsal Sinyaller

Web siteleri ayrıca trafiğin nasıl davrandığını değerlendirir.

Bot benzeri kalıplar şunları içerir:

• mükemmel zamanlanmış istekler
• bir IP veya alt ağdan yüksek eşzamanlılık
• kaydırma veya etkileşim yok
• birçok derin ürün sayfasına doğrudan erişim
• varlık yüklemesi yok
• bekleme süresi yok
• aynı gezinme yolları
• başarısızlıktan sonra aşırı tekrar denemeleri
• aynı şablona tekrar erişim
• büyük ölçekli tek sayfa oturumları

Normal kullanıcılar tutarsızdır. Duraklar, kaydırır, varlık yükler, sayfa türleri arasında geçiş yapar ve oturumlar arasında farklı davranır.

Bu, ekiplerin insan davranışını dikkatsizce taklit etmesi gerektiği anlamına gelmez. Trafiğin sorumlu bir şekilde şekillendirilmesi gerektiği anlamına gelir: daha düşük eşzamanlılık, kuyruk tabanlı programlama, geri çekilme, tekrar deneme sınırları ve iş yükü segmentasyonu.

Aktif Zorluklar ve Tuzaklar

Bazı web siteleri trafiği sınıflandırmak için aktif mekanizmalar kullanır.

Bunlar şunları içerebilir:

• CAPTCHA istemleri
• JavaScript zorlukları
• iş kanıtı görevleri
• bal peteği bağlantıları
• gizli form alanları
• gecikmeli render
• bot tespit SDK'ları
• ara sayfalar
• yumuşak blok şablonları

Yumuşak blok özellikle önemlidir. Sayfa HTTP 200 dönebilir, ancak içerik eksik, bayat, genel veya gerekli verileri içermiyor olabilir.

Yumuşak blok örnekleri şunlardır:

• boş ürün fiyatı
• eksik organik sonuçlar
• genel arama sayfası
• tekrarlanan aynı içerik
• HTML'de gizli CAPTCHA
• eksik envanter
• yanlış bölgesel içerik
• yer tutucu veriler

Sisteminiz içerikleri, yalnızca durum kodlarını değil, doğrulamalıdır.

Tespit Sinyalleri ve Doğrulamanız Gerekenler

Farklı Proxy Türlerinin Nasıl İşaretlendiği

Veri Merkezi Proxileri

Veri merkezi proxileri, hedefin barındırma ASN'lerine veya bulut IP aralıklarına güçlü bir şekilde güvensizlik duyduğu durumlarda işaretlenebilir. Yine de, düşük sürtünmeli kamu sayfalarında ve yüksek hacimli iş yüklerinde iyi performans gösterebilirler.

Konut Proxileri

Konut proxileri, bazı ağ düzeyindeki şüpheleri azaltır ancak yine de tarayıcı parmak izleri, oturum davranışı veya coğrafi uyumsuzluk yoluyla tespit edilebilir.

ISP Proxileri

ISP proxileri, standart veri merkezi IP'lerine göre daha güçlü bir üne ve stabil oturumlara sahip olabilir. Sürekliliğin önemli olduğu durumlarda faydalıdırlar.

Mobil Proxiler

Mobil proxiler, mobil öncelikli iş akışları için iyi çalışabilir, ancak maliyetli ve daha öngörülemez olabilirler. Genel web taraması için her zaman gerekli değildirler.

En iyi yaklaşım genellikle hibrittir. Kolay sayfaları maliyet etkin proxiler aracılığıyla yönlendirin ve hassas iş akışları için daha güçlü yolları ayırın.

Dönüşümlü vs Yapışkan Oturumlar

Proxy döngü stratejisi, tespit riskini etkiler.

Dönüşümlü proxiler, aşağıdakiler için faydalıdır:

• durumsuz kamu taraması
• geniş URL toplama
• bağımsız SERP kontrolleri
• piyasa araştırması
• yüksek hacimli kamu sayfaları

Yapışkan veya statik oturumlar, aşağıdakiler için daha iyidir:

• girişler
• sepetler
• ödeme akışları
• hesap panelleri
• sayfalama
• yerel SEO partileri
• bölgeye özgü iş akışları
• tarayıcı otomasyonu

Daha fazla bağlam için, Dönüşümlü vs Statik Proxiler'e bakın.

Aşırı dönüşüm, yetersiz dönüşüm kadar sorunlu olabilir. IP çok sık değişirse ve çerezler ile tarayıcı kimliği aynı kalırsa, oturum tutarsız görünebilir.

Ne Ölçülmeli

Proxy tespiti, ölçüldüğünde yönetilmesi daha kolay hale gelir.

Takip edin:

CPSR, başarılı istek başına maliyet anlamına gelir.

Sade bir ifadeyle: CPSR, proxy harcaması, hesaplama, yeniden denemeler, tarayıcı render'ı ve hatalar sonrasında her kullanılabilir sonucun ne kadara mal olduğunu size söyler.

Sürtünmeyi Azaltan Pratik Savunmalar

Amaç kontrolleri aşmak değil. Amaç, gereksiz sürtünmeyi azaltan tutarlı, sorumlu iş akışları oluşturmaktır.

Bu uygulamaları kullanın:

• İş yüküne uygun proxy türü seçin.
• Zaman dilimi, dil ve bölgeyi hizalayın.
• Çok adımlı akışlar için yapışkan oturumlar kullanın.
• Durumsuz toplama için döngü kullanın.
• Tarayıcı parmak izlerini oturum başına tutarlı tutun.
• Aşırı eşzamanlılıktan kaçının.
• Yeniden deneme sınırları ve geri çekilme ekleyin.
• Yumuşak engelleri doğrulayın.
• Hata örneklerini hata ayıklama için saklayın.
• Coğrafi doğruluğu izleyin.
• Site şartlarına ve iç politikalarına saygı gösterin.
• Mümkünse API'leri veya lisanslı veri akışlarını tercih edin.

Uygulama yardımı için SquidProxies proxy eğitimlerine göz atın.

Gerçek Dünya Senaryosu: E-Ticaret İzleme

Bir fiyatlandırma ekibi, birkaç ülkedeki perakendeci ürün sayfalarını izliyor.

Orijinal kurulum, her istekte IP'leri döndürür, genel başlıklar kullanır ve HTTP 200'ü başarı olarak kabul eder. Raporlar, eksik fiyatlar ve tutarsız para birimleri gösteriyor.

Geliştirilmiş kurulum, bölgeye özgü ürün sayfaları için konut proxy'leri, düşük riskli kategori sayfaları için veri merkezi proxy'leri, vitrin kontrolleri için yapışkan oturumlar ve fiyat, para birimi, kullanılabilirlik ve bölge için doğrulama kuralları kullanıyor.

Ekip, yumuşak engelleri azaltıyor ve veri kalitesini artırıyor, her isteği en pahalı rotaya taşımadan.

Gerçek Dünya Senaryosu: Yerel SEO Takibi

Bir SEO ekibi, birden fazla şehirdeki sıralamaları takip ediyor.

Orijinal iş akışı, bir genel proxy rotası ve tutarsız dil ayarları kullanıyor. Bazı SERP'ler yanlış şehirden geliyor.

Geliştirilmiş iş akışı, şehir hedefli konut proxy'leri kullanıyor, dil ve arama parametrelerini hizalıyor ve dönen sonuçlardan yerel paket adreslerini doğruluyor.

Bu, coğrafi doğruluğu artırıyor ve sıralama raporlarını daha güvenilir hale getiriyor.

Kaçınılması Gereken Yaygın Hatalar

Proxy'leri Tek Başına Tespit Katmanı Olarak Ele Alma

Proxy'ler ağ kimliğini etkiler, ancak tarayıcı davranışı, TLS, başlıklar, oturumlar ve zamanlama da önemlidir.

Yumuşak Engelleri Görmezden Gelme

Başarılı bir durum kodu, geçerli veri garantisi vermez.

Çok Sık Döndürme

Aşırı döndürme, oturum güvenini bozabilir.

Her Yerde Tek Proxy Türü Kullanma

Farklı sayfalar, farklı yönlendirme stratejilerine ihtiyaç duyar.

Yerel ve IP'yi Eşleştirmeme

Zaman dilimi, dil, para birimi ve proxy konumu hizalanmalıdır.

Başarısız İstekleri Aşırı Yeniden Deneme

Derin yeniden denemeler maliyeti artırır ve engel desenlerini kötüleştirebilir.

Sıkça Sorulan Sorular

Web siteleri proxy trafiğini nasıl tespit eder?

Web siteleri, IP itibarı, ASN sınıflandırması, TLS parmak izleri, tarayıcı parmak izleri, DNS ve WebRTC davranışı, coğrafi tutarlılık, çerezler ve trafik desenlerini birleştirerek proxy trafiğini tespit eder.

Konut proxy'leri tespit edilebilir mi?

Evet. Konut proxy'leri bazı IP düzeyindeki şüpheleri azaltabilir, ancak web siteleri hala tutarsız tarayıcı parmak izlerini, agresif davranışları, coğrafi uyumsuzlukları veya oturum anormalliklerini tespit edebilir.

Veri merkezi proxy'leri kazıma için kötü mü?

Hayır. Veri merkezi proxy'leri, kamuya açık sayfalar, düşük sürtünme hedefleri, API'ler, site haritaları ve yüksek hacimli iş akışları için iyi çalışabilir. Güçlü bir şekilde barındırma ASN'lerine güvenmeyen hedefler için daha az uygundur.

Yumuşak engel nedir?

Yumuşak engel, bir sayfanın yüklenmesi ancak kullanılabilir veya eksik içerik döndürmesi durumudur; örneğin, eksik fiyatlar, genel şablonlar, CAPTCHA sayfaları veya yanlış bölge sonuçları.

Proxy engellerini nasıl azaltabilirim?

Doğru proxy türünü kullanın, eşzamanlılığı azaltın, tarayıcı ve coğrafi sinyalleri hizalayın, oturumları doğrulayın, geri çekilme kullanın, yeniden denemeleri sınırlayın ve yumuşak engelleri erken tespit edin.

Tarayıcı parmak izleme önemli mi?

Evet, özellikle tarayıcı otomasyonu için. İyi bir proxy rotası, tarayıcı sinyalleri tutarsız veya açıkça otomatikse başarısız olabilir.

Her istekte IP'leri döndürmeli miyim?

Sadece her isteğin bağımsız olduğu durumsuz iş akışları için. Girişler, sepetler, sayfalama, yerel kontroller veya tarayıcı oturumları için yapışkan oturumlar kullanın.

Ne izlemeliyim?

Başarı oranını, engelleme oranını, yumuşak engelleme oranını, yeniden deneme derinliğini, CPSR'yi, oturum hayatta kalmasını, coğrafi doğruluğu, gecikmeyi, ayrıştırıcı hata oranını ve CAPTCHA oranını takip edin.

Son Düşünceler

Web siteleri, tutarsızlıkları arayarak proxy trafiğini tespit eder. IP, ASN, TLS davranışı, başlıklar, tarayıcı parmak izi, DNS rotası, WebRTC davranışı, yerel ayar, çerezler ve istek zamanlaması birlikte anlamlı olmalıdır.

En güçlü proxy sistemleri, tek bir proxy türü veya tek bir hile etrafında inşa edilmez. Bunlar, tutarlılık, ölçüm ve sorumlu yönlendirme etrafında inşa edilir.

Hız ve maliyetin önemli olduğu yerlerde veri merkezi proxy'lerini kullanın. Coğrafi doğruluk ve tüketici benzeri ağ kimliğinin önemli olduğu yerlerde konut proxy'lerini kullanın. İş akışlarının sürekliliği gerektiğinde yapışkan oturumları kullanın. Başarıyı saymadan önce dönen içeriği doğrulayın.

Küçük bir pilot ile başlayın, doğru metrikleri ölçün ve yalnızca öngörülebilir maliyetle geçerli veri üreten rotaları ölçeklendirin.