API(응용 프로그램 프로그래밍 인터페이스)는 소프트웨어의 한 부분이 다른 소프트웨어와 통신할 수 있도록 정의된 규칙 집합으로, 애플리케이션이 구조화된 형식으로 데이터를 요청하고 교환할 수 있게 해줍니다. 이를 통해 원시 HTML을 파싱할 필요 없이 JSON과 같은 형식으로 데이터를 처리할 수 있습니다. 사이트가 API에서 데이터를 로드할 때, Scrapy의 문서에서는 이러한 요청을 재현하는 것이 선호되는 접근 방식이라고 언급합니다. 이는 최소한의 파싱 시간으로 구조화되고 완전한 데이터를 제공합니다.
웹에서 "API"는 일반적으로 웹 API를 의미합니다. 이는 HTTP 요청을 수락하고 페이지 대신 데이터를 반환하는 URL 집합, 즉 엔드포인트를 말합니다.
API 요청 작동 방식
- 클라이언트가 엔드포인트를 호출합니다: 특정 URL에
GET과 같은 HTTP 요청을 보냅니다. - API의 스키마를 따릅니다: 요청은 API가 기대하는 매개변수와 형식을 사용해야 하며, 그렇지 않으면 서버가 유용한 응답을 반환할 수 없습니다.
- 자신을 증명합니다: 많은 API는 OAuth에서 API 키 또는 액세스 토큰을 요구합니다.
- 서버가 응답합니다: 데이터, 종종 JSON 형식으로, 그리고 성공 시
200또는 너무 많은 요청이 전송되었을 때429와 같은 상태 코드를 반환합니다.
일반적인 API 유형
- REST: 웹 서비스에 대한 아키텍처 스타일입니다. Cloudflare는 오늘날 대부분의 API가 REST API라고 언급합니다.
- SOAP: REST와 같은 스타일이 아닌 메시징 프로토콜입니다.
- GraphQL: API를 위한 쿼리 언어입니다. 공식 사이트에 따르면 클라이언트는 필요한 필드를 정확히 요청하고 관련 데이터를 단일 요청으로 받을 수 있습니다.
- 웹훅: 이벤트가 발생할 때 서버가 귀하의 URL을 호출합니다. 요청하는 것이 아닙니다. 웹훅을 참조하십시오.
API와 웹 스크래핑
| 공식 API | 웹 스크래핑 | |
|---|---|---|
| 얻는 것 | 구조화된 데이터, 종종 JSON | 사람을 위해 만들어진 HTML |
| 제한 | 문서화됨, 예: GitHub의 비인증 사용자 60회 또는 인증 사용자 5,000회 요청/시간 | 공개되지 않음, 그러나 사이트는 여전히 속도 제한을 할 수 있음 |
| 형식 | API의 스키마에 의해 설정됨 | 페이지의 HTML 형식 |
| 범위 | 소유자가 노출하기로 선택한 데이터만 | 공개 페이지에 표시된 모든 것 |
일부 프록시 및 데이터 추출 제공업체는 프록시 인프라와 내장 파싱을 결합한 "스크래퍼 API"를 제공하여 비구조화된 웹사이트를 고객을 대신하여 구조화된 API 응답으로 변환합니다.
많은 사이트에 숨겨진 API가 있습니다
JavaScript로 콘텐츠를 로드하는 페이지는 종종 사이트의 자체 API에서 데이터를 가져옵니다. Scrapy의 문서는 브라우저의 네트워크 도구에서 해당 요청을 찾아 재현할 것을 권장합니다. 때로는 동일한 HTTP 메서드와 URL만으로 충분합니다. 다른 경우에는 헤더, 본문 또는 양식 매개변수도 필요할 수 있습니다. 응답이 JSON인 경우 HTML을 파싱하는 대신 직접 로드할 수 있습니다.
안전하게 반복할 수 있는 요청만 재시도하십시오
HTTP 메서드는 요청이 두 번 전송될 경우 발생하는 일에서 차이가 있습니다. MDN은 여러 동일한 요청이 하나와 동일한 의도된 효과를 가질 때 메서드를 항등적이라고 정의합니다:
- 반복해도 안전함:
GET,HEAD,OPTIONS,PUT및DELETE은 항등적입니다. - 보장되지 않음:
POST및PATCH은 보장되지 않으므로 실패한POST을 재시도하면 중복 주문, 메시지 또는 레코드가 생성될 수 있습니다. - 진행 중인 수정: IETF 초안은 서버가 동일한
POST의 재시도를 인식할 수 있도록 하는Idempotency-Key헤더를 정의합니다. Stripe, Adyen 등은 이미 유사한 헤더를 사용하고 있습니다.
웹 스크래핑에 대한 의미
- 먼저 API를 확인하십시오: 공식 또는 숨겨진 API는 일반적으로 HTML보다 더 깨끗한 데이터를 제공합니다.
- 문서화된 제한을 존중하십시오: GitHub의 더 높은 제한은 인증된 사용자에게 적용되므로 계정에 따라 달라지며 IP가 아닙니다.
- 읽기 요청을 재시도하고 쓰기 요청은 재시도하지 마십시오: 자동 재시도는
GET요청에서 가장 안전합니다.