Ko te whakaiti i te tono he tikanga e whakaarohia ana hei whakaiti i te tere e tukuna ana e te scraper nga tono, e taapiri ana i nga whakaroa i waenga i a raatau, hei karo i te paanga ki nga tūmau o te paetukutuku e teitei rawa.
Ka whakamahia hoki te kupu i te taha tūmau. E ai ki a Microsoft, ko te whakaiti he tikanga e whakamahia ana e nga API kapua hei whakaiti i te maha o nga tono ka taea te tuku i roto i tetahi wā, kia noho tonu te API ki nga kaiwhakamahi katoa. Ahakoa ko te kaupapa he rite: tiakina te rerenga i te tere ka taea e te tūmau te whakahaere.
Te Whakaiti vs. Te Whakawhāiti Tono
| Whakaiti | Whakawhāiti tono | |
|---|---|---|
| Te whakaaro matua | Whakahaerehia te tere o nga tono | Whakaritehia te maha o nga tono i roto i tetahi wā |
| Nga tono nui | Ka whakaroa, ka tohaina | Ka whakakorehia te nuinga |
| Ko wai e whakamahi ana | Te kiritaki, te tūmau, te mea e rua | Ko te tūmau te nuinga |
| Te tohu tikanga | Nga whakautu pātea, kāore 429 me Retry-After | 429 Too Many Requests |
Ka pā te rua o nga kupu i te mahi. Hei tauira, e ai ki a AWS, ko nga tono e whakaitihia ana i runga i te rohe ka whakakorehia me te hapa 429 Too Many Requests. Tirohia te whakawhāiti tono mo te pehea e kaute ai nga tūmau i nga tono.
Pehea e Whakaiti ai nga Tūmau
- Pūtea tohu: E tūtohu ana a AWS i tenei algorithma, e whakamahi ana ia tono i tetahi tohu, ka whakahouhia nga tohu i te tere kua whakaritea i te sekunde.
- Waehere āhua: ko te tohu tino noa ko
429 Too Many Requests. E kii ana a Microsoft, kāore e whakamahi ana ia API: ka taea e GitHub te whakahoki ki403. - Nga wa whakaroa: ka taapirihia e etahi API he Upoko Tautuhi-Whai e kii ana ko tehea te roa ki te tatari i mua i te tono e whai ake nei.
Pehea e Whakaiti ai nga Scrapers i a Rātou
- Whakaroa tuturu: he whakaroa kua whakaritea i waenga i nga tono ki te paetukutuku kotahi.
- Whakaroa rerekē: Ko te whakatakotoranga
DOWNLOAD_DELAY_JITTERo Scrapy e taapiri ana i te rerekētanga ki ia whakaroa, kia kaua e tae mai nga tono i runga i te pātea tika. - Whakaroa urutau: Ko te toronga AutoThrottle o Scrapy e urutau ana ki nga whakautu o te paetukutuku. Ka whakaritea e ia te whakaroa e hiahiatia ana ki te pātea o te tūmau i tohatohahia e te pātea e hiahiatia ana, kāore e tere ake i nga whakautu hapa.
- Nga kapu urutau: he iti ake nga hono urutau ki tetahi paetukutuku ka whakaiti i te tere tono hoki.
Ka taea e nga Whakatūpato te Whakaoti i te Whakaiti
Ka taea e te scraper te whakaiti i ana tono tuatahi pai, ā, ka taea tonu te tuku i te paetukutuku ki nga whakatūpato. E whakatūpato ana he tuhinga i te Pukapuka Kaihanga Amazon, mēnā he nui te pātea, ka taea e nga whakatūpato te whakakoi i te pātea, kāore e pai ake. Ka tuku he tauira e whakaatu ana ko nga paparahi e whakatūpato ana i tetahi atu ka piki te uta i runga i te pākete 243 nga wa.
Ka rārangi te tuhinga kotahi i nga whakatikatika:
- Whakaitihia te painga: piki te tatari i muri i ia whakamātautau hapa.
- Taapirihia te rerekētanga: taapirihia te rerekētanga ki ia tatari, kia whakatūpato i waenganui i te wā, kāore e tae mai i te wā kotahi.
- Whakaritehia: whakaritea he tatari teitei me te maha o nga whakatūpato.
He aha te tikanga mo te Web Scraping
- Whakaiti i ia paetukutuku, kāore i ia mahi: ka pā te whakaritenga ki ia whāinga, nō reira whakaiti i nga tono ki ia rohe motuhake.
- Tirohia te 429 hei whakaroa: tatari mo te wā Retry-After, kāore e piki i te rerekētanga mēnā kāore he wā.
- Kaore nga IP hou e whakakapi i te whakaiti: ko te huri i nga IP i muri i te 429 kāore e awhina mēnā ka kaute te paetukutuku i runga i te kuki, kaute, kāore i runga i te fingerprint.