Ko te whakaiti i te tono he tikanga e whakaarohia ana hei whakaiti i te tere e tukuna ana e te scraper nga tono, e taapiri ana i nga whakaroa i waenga i a raatau, hei karo i te paanga ki nga tūmau o te paetukutuku e teitei rawa.

Ka whakamahia hoki te kupu i te taha tūmau. E ai ki a Microsoft, ko te whakaiti he tikanga e whakamahia ana e nga API kapua hei whakaiti i te maha o nga tono ka taea te tuku i roto i tetahi wā, kia noho tonu te API ki nga kaiwhakamahi katoa. Ahakoa ko te kaupapa he rite: tiakina te rerenga i te tere ka taea e te tūmau te whakahaere.

Te Whakaiti vs. Te Whakawhāiti Tono

WhakaitiWhakawhāiti tono
Te whakaaro matuaWhakahaerehia te tere o nga tonoWhakaritehia te maha o nga tono i roto i tetahi wā
Nga tono nuiKa whakaroa, ka tohainaKa whakakorehia te nuinga
Ko wai e whakamahi anaTe kiritaki, te tūmau, te mea e ruaKo te tūmau te nuinga
Te tohu tikangaNga whakautu pātea, kāore 429 me Retry-After429 Too Many Requests

Ka pā te rua o nga kupu i te mahi. Hei tauira, e ai ki a AWS, ko nga tono e whakaitihia ana i runga i te rohe ka whakakorehia me te hapa 429 Too Many Requests. Tirohia te whakawhāiti tono mo te pehea e kaute ai nga tūmau i nga tono.

Pehea e Whakaiti ai nga Tūmau

  • Pūtea tohu: E tūtohu ana a AWS i tenei algorithma, e whakamahi ana ia tono i tetahi tohu, ka whakahouhia nga tohu i te tere kua whakaritea i te sekunde.
  • Waehere āhua: ko te tohu tino noa ko 429 Too Many Requests. E kii ana a Microsoft, kāore e whakamahi ana ia API: ka taea e GitHub te whakahoki ki 403.
  • Nga wa whakaroa: ka taapirihia e etahi API he Upoko Tautuhi-Whai e kii ana ko tehea te roa ki te tatari i mua i te tono e whai ake nei.

Pehea e Whakaiti ai nga Scrapers i a Rātou

  • Whakaroa tuturu: he whakaroa kua whakaritea i waenga i nga tono ki te paetukutuku kotahi.
  • Whakaroa rerekē: Ko te whakatakotoranga DOWNLOAD_DELAY_JITTER o Scrapy e taapiri ana i te rerekētanga ki ia whakaroa, kia kaua e tae mai nga tono i runga i te pātea tika.
  • Whakaroa urutau: Ko te toronga AutoThrottle o Scrapy e urutau ana ki nga whakautu o te paetukutuku. Ka whakaritea e ia te whakaroa e hiahiatia ana ki te pātea o te tūmau i tohatohahia e te pātea e hiahiatia ana, kāore e tere ake i nga whakautu hapa.
  • Nga kapu urutau: he iti ake nga hono urutau ki tetahi paetukutuku ka whakaiti i te tere tono hoki.

Ka taea e nga Whakatūpato te Whakaoti i te Whakaiti

Ka taea e te scraper te whakaiti i ana tono tuatahi pai, ā, ka taea tonu te tuku i te paetukutuku ki nga whakatūpato. E whakatūpato ana he tuhinga i te Pukapuka Kaihanga Amazon, mēnā he nui te pātea, ka taea e nga whakatūpato te whakakoi i te pātea, kāore e pai ake. Ka tuku he tauira e whakaatu ana ko nga paparahi e whakatūpato ana i tetahi atu ka piki te uta i runga i te pākete 243 nga wa.

Ka rārangi te tuhinga kotahi i nga whakatikatika:

  1. Whakaitihia te painga: piki te tatari i muri i ia whakamātautau hapa.
  2. Taapirihia te rerekētanga: taapirihia te rerekētanga ki ia tatari, kia whakatūpato i waenganui i te wā, kāore e tae mai i te wā kotahi.
  3. Whakaritehia: whakaritea he tatari teitei me te maha o nga whakatūpato.

He aha te tikanga mo te Web Scraping

  • Whakaiti i ia paetukutuku, kāore i ia mahi: ka pā te whakaritenga ki ia whāinga, nō reira whakaiti i nga tono ki ia rohe motuhake.
  • Tirohia te 429 hei whakaroa: tatari mo te wā Retry-After, kāore e piki i te rerekētanga mēnā kāore he wā.
  • Kaore nga IP hou e whakakapi i te whakaiti: ko te huri i nga IP i muri i te 429 kāore e awhina mēnā ka kaute te paetukutuku i runga i te kuki, kaute, kāore i runga i te fingerprint.

Nga Kupu Pānga