LLM Eğitimi için Kamu Web Verilerini Toplama: Pratik Bir Oyun Kitabı

Büyük dil modelleri, arkasındaki verilere bağlı olarak yalnızca o kadar faydalıdır. Eğer kaynak veriler güncel değilse, kopyalanmışsa, bölgesel önyargılar içeriyorsa, kötü lisanslanmışsa veya düşük kaliteli sayfalarla doluysa, model bu zayıflıkları yansıtacaktır. Sonuç genellikle daha kötü yanıtlar, daha fazla hayal gücü, daha yüksek inceleme maliyetleri ve gerçek ürün iş akışlarında daha zayıf performans olur.

LLM eğitimi için kamu web verilerini toplamak yalnızca bir tarama problemi değildir. Bu, veri yönetimi, altyapı, uyum ve kalite kontrolü ile ilgili bir sorundur. Ekiplerin, izin verilen kaynakları keşfedebilen, içeriği sorumlu bir şekilde toplayabilen, dönen verileri doğrulayabilen, meta verileri koruyabilen, güvensiz veya gereksiz bilgileri kaldırabilen ve zor iş yüklerini doğru altyapı üzerinden yönlendirebilen bir pipeline'a ihtiyacı vardır.

Kamu web verilerini ölçekli olarak toplayan ekipler için, AI için veri iş akışları genellikle kaynak planlaması, tarama kontrolü, proxy yönlendirmesi, veri doğrulama ve sürekli izleme kombinasyonunu gerektirir. Amaç sadece daha fazla metin toplamak değildir. Amaç, model performansını artıran, gereksiz yasal, operasyonel veya itibar riski oluşturmayan temiz, izlenebilir, savunulabilir bir veri seti oluşturmaktır.

Kamu Web Verilerini LLM Eğitimi İçin Toplamak Ne Anlama Geliyor

Kamu web verilerini LLM eğitimi için toplamak, model eğitimi, ince ayar, değerlendirme, geri alma veya zenginleştirme için kullanılabilecek açıkça erişilebilir içeriği keşfetmek, almak, işlemek ve depolamak anlamına gelir.

Sorumlu bir pipeline, toplama başlamadan önce bu soruları yanıtlamalıdır:

• Kaynak, giriş, ödeme duvarı veya dolandırıcılık olmadan kamuya açık mı?
• Site şartları, robot direktifleri veya lisans koşulları, amaçlanan kullanım ile uyumlu mu?
• Hangi veri alanlarına ihtiyaç var?
• Hangi veriler hariç tutulmalı?
• Kopyalar, standart içerik ve güvensiz içerik nasıl kaldırılacak?
• Kaynak meta verileri ve kökeni nasıl korunacak?
• Toplama kalitesi nasıl ölçülecek?

Bu önemlidir çünkü LLM eğitim verileri yalnızca hacimle değil, fayda, kapsama, yenilik, haklar ve izlenebilirlik ile de değerlendirilir.

Kamu Web Verileri Olarak Ne Sayılır?

Kamu web verileri genellikle kimlik doğrulama, ödeme veya teknik dolandırıcılık olmadan erişilebilen içeriği ifade eder. Örnekler arasında kamu belgeleri, hükümet bilgileri, açık kaynak proje sayfaları, kamu ürün katalogları, bloglar, RSS beslemeleri, kamu haritaları ve açık lisanslı veri setleri yer alabilir.

Ancak, "kamuya açık" olmak otomatik olarak "model eğitimi için ücretsiz kullanıma açık" anlamına gelmez. Toplama ekipleri hala değerlendirme yapmalıdır:

• site şartları
• robots.txt talimatları
• telif hakkı veya lisans durumu
• gizlilik yükümlülükleri
• veri hassasiyeti
• yargı alanına özgü gereklilikler
• iç uyum politikaları

Haklar belirsizse, daha güvenli yol kaynağı hariç tutmak, izin istemek, resmi bir API kullanmak veya lisanslı bir veri akışını takip etmektir.

Kamu Web Verisi Kalitesinin LLM'ler İçin Önemi

Kötü eğitim verileri pahalı aşağı akış sorunlarına neden olabilir.

Kötü girdiler şunlara neden olabilir:

• hayal gücüyle oluşturulmuş veya güncel olmayan yanıtlar
• önyargılı model davranışı
• zayıf bölgesel anlayış
• alakasız geri alma sonuçları
• tekrar eden standart yanıtlar
• kopyalanmış eğitim örnekleri
• güvensiz veya toksik çıktılar
• niş alanlarda zayıf performans

Yüksek kaliteli kamu web verileri şunları iyileştirir:

• gerçek kapsama
• yanıt tutarlılığı
• alan spesifik kelime dağarcığı
• çok dilli veya bölgesel temsil
• değerlendirme kalitesi
• geri alma alaka düzeyi
• ince ayar verimliliği

İş ekipleri için daha iyi veriler, inceleme maliyetlerini azaltabilir ve ürün sonuçlarını iyileştirebilir. Mühendislik ekipleri için daha temiz veriler, pipeline yeniden çalışma, hata ayıklama süresi ve yeniden eğitim israfını azaltır.

Tarama Değil, Kaynak Stratejisi ile Başlayın

Güçlü bir LLM veri pipeline'ı, kaynak seçimi ile başlar.

Herhangi bir şey almadan önce, tanımlayın:

• model kullanım durumu
• hedef diller
• hedef bölgeler
• alan kategorileri
• kabul edilebilir kaynak türleri
• hariç tutulan kaynak türleri
• hak gereksinimleri
• güncelleme sıklığı
• kalite eşikleri

Örneğin, bir destek asistanı resmi belgeler, yardım merkezi sayfaları ve ürün sürüm notlarına ihtiyaç duyabilir. Bir pazar istihbaratı modeli, kamuya açık ürün katalogları, fiyat sayfaları, izin verilen yerlerde kamuya açık incelemeler ve bölgesel içeriklere ihtiyaç duyabilir. Çok dilli bir asistan, dikkatlice dengelenmiş dil kapsamına ihtiyaç duyabilir.

Bir kaynak stratejisi olmadan, boru hattı kolay sayfaları aşırı toplayabilirken önemli bölgeleri, formatları veya alanları kaçırabilir.

Toplama Yolları: Hangisini Kullanmalısınız?

Farklı toplama yöntemlerinin farklı maliyet, risk ve kalite profilleri vardır.

En iyi kural basittir: mevcut en güvenilir, izin dostu ve maliyet etkin toplama yöntemini kullanın. Tarayıcı renderleme ve karmaşık altyapıyı yalnızca daha basit yöntemler tam, geçerli veri sağlayamadığında kullanın.

Proxy Altyapısının Yeri

Proxy altyapısı, toplama katmanının kontrol edilen ağ yönlendirmesi, coğrafi kapsama veya dağıtılmış erişim desenlerine ihtiyaç duyduğunda yardımcı olur. Kamu verisi toplama sürecini, bölgeler arasında güvenilirliği artırarak, tek bir rotadan aşırı yoğunlaşmayı azaltarak ve ekiplerin yerelleştirilmiş içeriği doğrulamasına yardımcı olarak destekleyebilir.

Basit kamu sayfaları için, datacenter proxies yeterli olabilir. Genellikle hızlı, öngörülebilir ve düşük sürtünmeli kaynaklardan büyük ölçekli toplama için maliyet etkinlerdir.

Coğrafi olarak hassas, tüketiciye yönelik veya bölgeye özgü sayfalar için, residential proxies daha uygun olabilir. Belirli ülkelerden veya şehirlerden hangi içeriğin gösterildiğini ekiplerin doğrulamasına yardımcı olabilirler.

Daha geniş uygulama planlaması için, web scraping proxies veri toplama katmanının bir parçası olarak ele alınmalıdır - uyum, kaynak doğrulama veya veri temizleme için bir ikame olarak değil.

Pratik Bir Boru Hattı Mimarisi

Ölçeklenebilir bir kamu web veri boru hattı genellikle aşağıdaki bileşenleri içerir:

1. Kaynak kaydı Onaylı alanları, kaynak türlerini, toplama kurallarını, lisans notlarını ve sahipleri saklar.

2. Keşif katmanı Site haritaları, beslemeler, API'ler, başlangıç URL'leri ve onaylı alan listeleri kullanarak aday sayfaları bulur.

3. Alma katmanı Kaynak karmaşıklığına bağlı olarak HTTP istemcileri veya tarayıcı otomasyonu kullanır.

4. Yönlendirme katmanı Politika temelinde doğrudan erişim, datacenter proxies, residential proxies veya bölgeye özgü rotalar seçer.

5. Ayrıştırma katmanı Metin, başlıklar, bağlantılar, tablolar, meta veriler ve yapılandırılmış alanları çıkarır.

6. Normalizasyon katmanı HTML'yi temizler, gereksiz içerikleri kaldırır, dili tespit eder, kodlamayı standartlaştırır ve metni segmentlere ayırır.

7. Çiftleme katmanı URL normalizasyonu, hash'ler ve benzerlik kontrolleri kullanarak tam ve yakın çift içerikleri kaldırır.

8. Güvenlik ve uyum filtreleri Kişisel verileri, güvensiz içerikleri, kısıtlı kaynakları ve lisans riski taşıyan materyalleri kaldırır veya işaretler.

9. Depolama ve soy Ham verileri, temizlenmiş metinleri, meta verileri, hash'leri, ayrıştırıcı sürümlerini, zaman damgalarını ve hak notlarını kaydeder.

10. Eğitim için hazır dışa aktarma İnce ayar, değerlendirme, RAG indeksleme veya zenginleştirme için sürümlü veri setleri oluşturur.

Basit bir akış şöyle görünür:

Approved Sources
   ↓
Discovery
   ↓
Fetcher / Browser Worker
   ↓
Proxy and Routing Policy
   ↓
Parser
   ↓
Normalization
   ↓
Deduplication
   ↓
Safety and Rights Filters
   ↓
Versioned Dataset
   ↓
LLM Training / RAG / Evaluation

Her aşama gözlemlenebilir olmalıdır. Eğer bir model çıktısı daha sonra sorgulanabilir hale gelirse, ekip hangi kaynağın, sürümün, ayrıştırıcının ve filtrenin eğitim örneğini ürettiğini izleyebilmelidir.

LLM Veri İş Yükleri için Proxy Seçimi

Proxy seçimi, kaynak türüne ve veri hassasiyetine bağlı olmalıdır.

Varsayılan olarak her yerde premium proxy yollarını kullanmayın. Tam, geçerli ve onaylı içerik döndüren en düşük maliyetli sorumlu yolu kullanın.

Tarayıcı Render'ı: Seçici Olarak Kullanın

Tarayıcı otomasyonu, içerik JavaScript ile render edildiğinde veya istemci tarafı etkileşimlerinin arkasında gizlendiğinde faydalı olabilir. Ancak, tarayıcılar HTTP istemcilerinden daha pahalıdır.

Tarayıcı render'ını kullanın:

• statik HTML boş veya eksik olduğunda
• önemli metin JavaScript yürütülmesinden sonra yükleniyorsa
• sayfa yapısı etkileşime bağlıysa
• içerik filtreler veya sayfa numaralandırmasından sonra görünüyorsa
• doğrulama için render edilmiş bir anlık görüntü gerekiyorsa

Tarayıcı render'ından kaçının:

• resmi bir API mevcutsa
• RSS veya site haritaları yeterli içerik sağlıyorsa
• statik HTML gerekli metni içeriyorsa
• tarayıcı maliyeti veri kalitesini artırmıyorsa

Playwright, Puppeteer ve Selenium gibi araçlar render iş akışlarını destekleyebilir, ancak yalnızca ek maliyeti haklı çıkaran sayfalara yönlendirilmelidir.

LLM Eğitimi için Veri Kalitesi Kontrolleri

Kamuya açık bir web veri boru hattı, kötü içerikleri erken aşamada reddetmelidir.

Önemli kalite kontrolleri şunları içerir:

• dil tespiti
• içerik uzunluğu sınırları
• standart metin kaldırma
• çiftleme tespiti
• yakın çiftleme tespiti
• sayfa başlığı çıkarımı
• başlık hiyerarşisinin korunması
• ana içerik çıkarımı
• bozuk kodlama tespiti
• güvensiz içerik filtreleri
• PII tespiti ve kaldırma
• lisans veya hak etiketleme
• kaynak itibarı incelemesi

LLM kullanımı için bağlam önemlidir. Başlıkları, sayfa başlıklarını, kaynak URL'lerini, yayın tarihlerini ve bölüm yapısını mümkün olduğunca saklayın. Kaynak bağlamı olmayan bir paragraf, başlık, başlık, dil, tarih ve kaynak meta verileri eklenmiş aynı paragraftan daha az faydalı olabilir.

Korumanız Gereken Meta Veriler

En azından şunları saklayın:

• URL
• kanonik URL
• kaynak alanı
• tarama zaman damgası
• içerik hash'i
• dil
• bölge veya GEO
• kaynak türü
• lisans veya hak etiketi
• ayrıştırıcı sürümü
• çıkarım yöntemi
• HTTP durumu
• yönlendirme zinciri
• robotlar veya politika durumu
• dedupe durumu
• güvenlik filtresi durumu

Bu meta veriler, denetim, hata ayıklama, deduplikasyon, yeniden eğitim, kaldırmalar ve değerlendirme için değerlidir.

Boru Hattının İşlediğini Kanıtlayan Ölçümler

Kaynak, alan, rota, dil ve bölge genelinde ölçümleri takip edin.

CPSR, başarılı istek başına maliyet anlamına gelir. Basit terimlerle, her kullanılabilir sayfanın maliyetini, altyapı, proxy, tarayıcı, yeniden deneme ve başarısızlık maliyetleri dahil edildikten sonra ne kadar olduğunu söyler.

Uyum ve Yönetim

LLM eğitimi için kamu web verisi toplama süreci baştan itibaren yönetilmelidir.

Sorumlu bir süreç şunları içermelidir:

• geçerli yasalara saygı göstermek
• geçerli olduğunda site şartlarını ve robot direktiflerini takip etmek
• giriş duvarlarından, ödeme duvarlarından veya erişim kontrolü aşma girişimlerinden kaçınmak
• mevcut olduğunda API'leri ve lisanslı akışları tercih etmek
• kişisel veri toplamayı en aza indirmek
• hassas alanları erken filtrelemek
• kökeni korumak
• kaldırma ve çıkış süreçlerini desteklemek
• toplama amacını belgelemek
• her kaynak kategorisi için gözden geçiren sahipliğini sürdürmek

Bir alan politikası kaydı özellikle faydalıdır. Ne tür verilerin toplanabileceğini, ne sıklıkla, hangi rota üzerinden, hangi lisans veya politika notu altında ve hangi amaçla toplanabileceğini tanımlamalıdır.

Daha geniş bir planlama için, onaylı iş akışlarını net proxy kullanım durumları ile eşleştirerek altyapı kararlarının iş ve uyum gereksinimleriyle bağlantılı kalmasını sağlayın.

Yaygın Hata Modları

Çok Geniş Toplama

Daha fazla veri her zaman daha iyi değildir. Filtrelenmemiş toplama, gürültü, yinelenme ve yasal belirsizlik getirebilir.

Haklar Meta Verilerini Görmezden Gelme

Eğer lisans durumu veya kaynak izinlerini izleyemezseniz, veri seti savunulması ve yeniden kullanılması daha zor hale gelir.

Yinelenen İçerikle Eğitim

Yinelenen sayfalar belirli ifadeleri, markaları, formatları veya görüşleri aşırı temsil edebilir.

Bölgesel Sinyallerin Eksikliği

Eğer bölgesel sayfalar yanlış bir yerden toplanırsa, model yanlış fiyatlandırma, mevcudiyet veya politika bilgisi öğrenebilir.

Ayrıştırıcı Kayması

Site yeniden tasarımları, çıkarımı sessizce bozabilir. Null oranlarını, içerik uzunluğu değişikliklerini ve şema hatalarını izleyin.

Eğitim/Test Kontaminasyonu

Eğer değerlendirme verileri eğitim verileriyle örtüşüyorsa, model performansı gerçekte olduğundan daha iyi görünebilir.

30 Günlük Pilot Plan

Ölçeklenmeden önce kontrollü bir pilot kullanın.

1. Hafta: Kapsam ve Kaynak İncelemesi

5–10 onaylı alan seçin. Hedef dilleri, kaynak kategorilerini, alanları, hariç tutmaları ve hak notlarını tanımlayın.

2. Hafta: Toplama ve Yönlendirme Testi

Düşük maliyetli sorumlu bir rota kullanarak sınırlı bir tarama yapın. Yalnızca konum, erişim güvenilirliği veya kontrollü dağıtım gerektiğinde proxy ekleyin.

3. Hafta: Kalite ve Güvenlik Filtreleme

Çoğaltmayı kaldırma, dil kontrolleri, standart metin kaldırma, PII filtreleme ve lisans etiketleme uygulayın. Bir örneği manuel olarak gözden geçirin.

4. Hafta: Veri Seti Değerlendirmesi

Küçük bir eğitim veya geri alma veri seti dışa aktarın. Ürün spesifik değerlendirme görevlerini kullanarak bir temel karşısında iyileşmeyi ölçün.

Takip edin:

• başarı oranı
• engelleme oranı
• CPSR
• çoğaltma kaldırma oranı
• reddetme oranı
• şema geçiş oranı
• tazelik gecikmesi
• değerlendirme artışı

Sadece ölçülebilir değer üreten kaynakları ve yönlendirme politikalarını ölçeklendirin.

Gerçek Dünya Senaryosu: Ürün Bilgi Asistanı

Bir şirket, bir ürün destek asistanını geliştirmek istiyor.

Ekip, resmi ürün belgelerini, kamuya açık SSS'leri, sürüm notlarını ve yardım merkezi sayfalarını toplar. Site haritaları ve API'ler çoğu kaynağı kapsar. Bazı sayfaların içerik dinamik olarak yüklendiği için işlenmesi gerekir.

Hattı, sayfa başlıklarını, bölüm başlıklarını, güncelleme tarihlerini, kaynak URL'lerini ve lisans etiketlerini korur. Çoğaltma, tekrar eden navigasyonu ve standart metni kaldırır.

Asistan, veri seti odaklı, güncel, izlenebilir ve ürün alanıyla uyumlu olduğu için gelişir.

Gerçek Dünya Senaryosu: Bölgesel Pazar İstihbaratı

Bir ekip, bölgesel pazar analizi için LLM destekli bir araştırma asistanı oluşturuyor.

Sistem, kamuya açık fiyat sayfalarına, mağaza mevcudiyetine, ürün açıklamalarına ve ülkeye özgü politika sayfalarına ihtiyaç duyar. Ekip, konuma göre değişen sayfalar için bölgeye özgü yönlendirme kullanır ve içeriği saklamadan önce para birimini, dili ve gönderim bölgesini doğrular.

Bu, modelin genel veya yanlış bölge bilgilerini öğrenmesini engeller.

Sıkça Sorulan Sorular

Kamu web verilerini LLM eğitimi için toplamak nedir?

İzin verilen kamuya açık içeriği kaynaklandırma, bunu sorumlu bir şekilde toplama, temizleme, meta verileri ekleme ve modeli eğitmek, değerlendirmek, geri almak veya zenginleştirmek için hazırlama sürecidir.

Kamu web verileri her zaman LLM eğitimi için güvenli midir?

Hayır. Kamuya açık görünürlük, otomatik olarak eğitim hakları vermez. Ekipler, şartları, lisans durumunu, robot direktiflerini, gizlilik kurallarını ve iç uyum gereksinimlerini gözden geçirmelidir.

LLM veri toplama için proxy'lere ihtiyacım var mı?

Her zaman değil. Çalıştıkları yerlerde resmi API'leri, veri akışlarını, açık veri setlerini ve doğrudan erişimi kullanın. Proxy'ler, toplama coğrafi kontrol, dağıtılmış yönlendirme veya kamu kaynakları arasında daha iyi güvenilirlik gerektiğinde faydalıdır.

Kamu web verilerini toplamak için hangi proxy türü en iyisidir?

Veri merkezi proxy'leri genellikle kamuya açık statik içerik için etkilidir. Konumun dönen içeriği etkilediği coğrafi hassas veya tüketiciye yönelik sayfalar için konut proxy'leri daha iyidir.

Tarayıcı otomasyonu kullanmalı mıyım?

Sadece gerektiğinde. Tarayıcı otomasyonu, JavaScript yoğun sayfalar için faydalıdır ancak maliyet ve karmaşıklık ekler. Öncelikle HTTP istemcileri, API'ler, veri akışları ve site haritalarını kullanın.

Hangi meta verileri saklamalıyım?

URL, kanonik URL, tarama zamanı, dil, bölge, kaynak türü, lisans etiketi, içerik hash'i, ayrıştırıcı sürümü, çıkarım yöntemi ve güvenlik filtre durumu saklayın.

Çoğaltılmış veriyi nasıl azaltabilirim?

Kanonik URL'ler, normalize edilmiş URL'ler, içerik hash'leri, yakın çoğaltma tespiti ve kaynak düzeyinde çoğaltma kaldırma kullanarak eğitim parçalarını dışa aktarmadan önce bunu yapın.

Verinin modeli geliştirdiğini nasıl anlarım?

Kontrollü bir değerlendirme yapın. Yeni veri setini ürün spesifik görevler kullanarak temel performansla karşılaştırın, örneğin cevap doğruluğu, temellilik, yardımcı olma, geri alma kalitesi veya azaltılmış yükseltme oranı.

Son Düşünceler

Kamu web verilerini LLM eğitimi için toplamak, büyük ölçekli bir tarama egzersizi değil, disiplinli bir veri hattı olarak ele alınmalıdır. En iyi sistemler, büyük ölçekli bir toplama başlamadan önce kaynak stratejisi, haklar incelemesi ve kalite gereksinimleri ile başlar.

Resmi kaynakları ve mümkünse açık lisanslı veri setlerini kullanın. Boşlukları doldurmak için site haritaları, beslemeler ve saygılı tarama ekleyin. Proxy altyapısını yalnızca kapsama, güvenilirlik veya coğrafi doğruluğu artırdığı durumlarda kullanın. Meta verileri koruyun, güvensiz veya gereksiz içeriği kaldırın ve boru hattını kullanılabilir çıktı ile ölçün - ham sayfa sayısı ile değil.

Daha büyük AI veri operasyonları planlayan ekipler için, SquidProxies proxy eğitimleri ve proxy planları ve fiyatlandırma yönlendirme stratejisini, ölçeği ve maliyeti veri boru hattınızın ihtiyaçlarıyla uyumlu hale getirmeye yardımcı olabilir.