AI 웹 스크래핑은 웹사이트 콘텐츠를 구조화된 정보로 변환하는 데 도움을 주는 모델을 사용합니다. 페이지 레이아웃이나 문구가 다를 때 유용할 수 있지만, 깔끔하게 포맷된 결과가 추출된 사실이 정확하다는 증거는 아닙니다. 필요한 필드, 사용할 수 있는 소스 자료 및 잘못된 값의 결과를 고려하여 방법을 선택하세요.
많은 소규모 팀에게 가장 강력한 접근 방식은 간단한 규칙과 선택적인 AI 추출 및 명시적 검증을 결합하는 것입니다. 목표는 사람이 출처를 추적할 수 있는 신뢰할 수 있는 기록을 만드는 것이며, 그보다는 그럴듯하게 보이는 답변의 대량 수집이 아닙니다.
TL;DR
- 필요한 데이터를 이미 제공하는 승인된 API 또는 내보내기를 사용하세요.
- 규칙은 안정적이고 명확하게 레이블이 붙은 필드에 대해 효율적일 수 있으며, AI는 가변적인 문구와 레이아웃을 해석하는 데 도움을 줄 수 있습니다.
- 페이지를 검색하는 것과 그 내용에서 의미를 추출하는 것을 분리하세요.
- 출력이 유효한 JSON인지 여부와 관계없이 신원, 숫자, 단위, 날짜 및 누락된 값을 독립적으로 검증하세요.
- 처리된 페이지 수나 모델 신뢰도뿐만 아니라 수용된 기록과 수정 노력을 비교하세요.
AI가 변화시키는 것과 변화시키지 않는 것
전통적인 추출은 종종 페이지의 알려진 부분을 가리키고 그 내용을 읽습니다. 모델 기반 추출기는 대신 콘텐츠를 해석하고 요청된 필드에 매핑할 수 있습니다. 이는 여러 소스가 동일한 사실을 다르게 설명할 때 도움이 될 수 있습니다.
예를 들어, 한 페이지는 제품을 "지금 구매 가능"이라고 표시하고, 다른 페이지는 "이틀 이내 배송"이라고 하며, 또 다른 페이지는 "재고 없음"이라고 할 수 있습니다. 모델은 문구를 분류하는 데 도움을 줄 수 있지만, 팀은 이러한 문구가 동일한 가용성 범주에 속하는지 정의해야 합니다. 해석이 비즈니스 정의의 필요성을 제거하지는 않습니다.
AI는 또한 접근 권한을 생성하거나 검색을 보장하지 않습니다. 누락된 페이지, 불완전한 렌더링 또는 사용할 수 없는 문서는 추출 방법이 작업할 수 있는 증거를 줄입니다. 모델을 비난하거나 칭찬하기 전에 필요한 콘텐츠가 실제로 캡처되었는지 확인하세요.
Zyte의 자동 추출 문서는 지원되는 콘텐츠 유형에 대한 구조적 추출을 설명합니다. 사용자 정의 속성 문서는 추가 필드를 요청하는 별도의 경로를 보여줍니다. 이는 사용 가능한 방법의 예일 뿐이며, 모든 웹사이트의 모든 필드를 검토 없이 정확하게 추출할 수 있다는 증거는 아닙니다.
규칙, 모델 및 하이브리드 접근 방식 비교
| 방법 | 좋은 시작 조건 | 주요 위험 | 유지할 증거 |
|---|---|---|---|
| 규칙 기반 추출 | 안정적인 레이아웃과 명확하게 레이블이 붙은 값 | 변경된 페이지 구조가 잘못된 콘텐츠를 선택함 | 선택된 요소 또는 소스 조각 |
| 모델 기반 추출 | 해석이 필요한 가변 설명 | 그럴듯하지만 지원되지 않는 값 또는 잘못된 의미 | 소스 텍스트 및 필드 수준의 정당화 |
| 하이브리드 추출 | 안정적인 식별자와 가변 설명 필드 | 복잡성이 오류를 도입한 단계를 모호하게 만듦 | 각 단계의 출력 및 출처 |
| API 또는 내보내기 | 승인된 구조화된 소스가 이미 존재함 | 필드 정의 또는 신선도를 잘못 이해함 | 응답 버전, 타임스탬프, 문서 |
어떤 방법도 단순히 최신이라는 이유로 자동 정확성 이점을 받아서는 안 됩니다. 직접 규칙은 명확하게 레이블이 붙은 항목 번호에 대해 훌륭할 수 있습니다. 모델은 여러 배송 조건을 설명하는 단락을 해석하는 데 더 유용할 수 있습니다.
하이브리드 접근 방식은 규칙을 통해 정확한 식별자와 숫자 값을 유지하면서 제한된 분류 작업에 모델을 사용할 수 있습니다. 이렇게 하면 각 필드의 방법이 명확하므로 실패를 조사하기가 더 쉬워집니다.
추출기를 선택하기 전에 기록 정의하기
각 필드에 대한 간단한 사양을 작성하세요: 그것이 의미하는 바, 허용되는 형식, 누락될 수 있는지 여부, 그리고 소스의 어떤 부분이 이를 지원할 수 있는지. "중요한 정보를 추출하세요"와 같은 광범위한 프롬프트는 피하세요. 서로 다른 사람과 모델은 무엇이 중요한지에 대해 의견이 다를 수 있습니다.
제품 기록의 경우, 현재 판매 가격을 취소선이 그어진 목록 가격, 회원 전용 가격 또는 다른 수량에 대한 가격과 구별하세요. 통화 및 패키지 크기를 별도로 저장하세요. 이러한 한정자가 없는 숫자 값은 비교에 부적합할 수 있습니다. 심지어 정확하게 복사되었더라도 말입니다.
회사 기록의 경우, 회사의 자체 진술과 제3자의 설명을 구별하세요. 구인 목록의 경우, 게시 날짜와 시스템이 페이지를 관찰한 날짜를 구별하세요. 이러한 정의는 데이터 계약에 포함되어야 하며, 누군가의 기억 속에 있어서는 안 됩니다.
명시적인 누락 또는 불확실한 상태를 허용하세요. 페이지가 배송 날짜를 명시하지 않는 경우, 추출기는 일반적인 산업 행동에 따라 이를 발명해서는 안 됩니다. 유용한 불완전한 기록이 지원되지 않는 사실이 포함된 완전해 보이는 기록보다 낫습니다.
필드 검증의 작업 예시
이 방법을 설명하기 위해 만들어진 허구의 소스 설명을 고려해 보세요: 제품 페이지는 파란색 노트북, 표준 가격 12달러, 회원 가격 10달러, 패키지 크기 2개를 보여줍니다. 페이지는 통화를 USD로 명시적으로 식별합니다. 배송 날짜는 명시하지 않습니다. 이는 실시간 추출이나 벤치마크 결과가 아닙니다.
필요한 기록이 표준 패키지 가격, 통화, 패키지 수량, 회원 요건 및 배송 날짜를 요청한다고 가정해 보겠습니다. 예상 해석은 표준 12달러 패키지 가격을 보존하고, USD를 식별하며, 두 개의 항목을 기록하고, 별도의 회원 제안을 구별하고, 배송 날짜는 알 수 없도록 남기는 것입니다.
| 제안된 출력 | 검토가 필요한 이유 | 이 예제에 대한 올바른 처리 |
|---|---|---|
| 가격: 10 | 회원 제안을 선택했습니다 | 표준 가격 필드의 정의를 사용하세요 |
| 단가: 12 | 패키지 가격과 개별 가격을 혼동했습니다 | 패키지 수량을 보존하고 필요 시 별도로 계산하세요 |
| 배송: 이틀 | 배송 약속이 나타나지 않았습니다 | 알 수 없음으로 기록, 추론된 약속이 아님 |
| 수량: 2 | 허구의 소스에 의해 지원됨 | 소스 참조와 함께 수용 |
이 연습은 왜 추출 정확성이 필드 수준의 질문인지 보여줍니다. 기록은 하나의 올바른 필드와 여러 개의 잘못된 해석을 포함할 수 있으며, 여전히 기본 형식 검사를 통과할 수 있습니다.
패키지 가격에서 개별 항목 값을 계산하는 경우, 이를 유도된 값으로 레이블을 붙이세요. 원래 가격과 수량을 유지하여 검토자가 계산을 재현할 수 있도록 하세요. 계산된 값을 페이지에 명시적으로 광고된 것처럼 제시하지 마세요.
유효한 구조는 첫 번째 검사일 뿐
스키마는 필드를 요구하고 그 유형을 제한할 수 있습니다. JSON 스키마의 객체 문서는 속성과 필수 필드 동작을 설명합니다. 이는 잘못된 형식의 기록을 거부하는 데 도움이 되지만, 유효한 숫자가 여전히 잘못된 가격일 수 있고 유효한 날짜가 여전히 잘못된 이벤트를 참조할 수 있습니다.
여러 층의 검증을 사용하세요. 먼저 구조를 확인하세요. 그런 다음 단위, 허용되는 범주 및 필드 간의 관계를 확인하세요. 마지막으로 중요한 값을 소스 증거나 검토된 참조 세트와 비교하세요.
예를 들어, 통화가 없으면 숫자에 소수점이 포함되어 있다고 해서 조용히 달러라고 가정하지 마세요. 페이지에 여러 변형이 포함되어 있는 경우, 기록이 어떤 변형을 설명하는지 확인하세요. 소스가 캡처 후 변경된 경우, 캡처 시간을 유지하여 불일치를 공정하게 조사할 수 있도록 하세요.
모델 신뢰도는 이러한 검사를 대체할 수 없습니다. 유창한 설명이 잘못될 수 있으며, 모델의 자가 보고된 확신은 귀하의 데이터 세트에 대한 측정된 오류 비율이 아닙니다.
대표 페이지에서 공정한 파일럿 실행
팀이 실제로 접하는 사례를 포함하는 작은 검토 샘플을 만드세요. 간단한 페이지, 누락된 필드, 여러 제안, 변경되는 레이아웃 및 익숙하지 않은 문구를 포함하세요. 깨끗한 페이지만 포함된 샘플은 수정 작업을 과소평가할 것입니다.
- 승인된 소스와 고정 필드 사양을 선택하세요. 방법 간에 작업을 동일하게 유지하세요.
- 소스 및 관찰 시간을 캡처하세요. 불필요한 민감한 정보를 보존하지 않고 검토를 위한 충분한 증거를 보존하세요.
- 참조 답변을 만드세요. 사람이 중요한 필드를 확인하고 진정으로 모호한 사례를 표시하게 하세요.
- 후보 방법을 실행하세요. 모델 또는 규칙 버전과 관련 설정을 기록하세요.
- 필드 수준 결과를 비교하세요. 잘못된 값, 누락된 값 및 지원되지 않는 추론을 분리하세요.
- 검토 노력을 측정하세요. 예외를 해결하는 데 걸리는 시간을 기록하고 증거가 충분한지 확인하세요.
- 정상적인 변경 후 반복하세요. 방법은 첫 번째 시연뿐만 아니라 생산에서 예상되는 변화를 견뎌야 합니다.
이는 제안된 평가 절차입니다. 특정 공급업체에 대한 테스트된 정확도 비율이나 비용 이점을 주장하지 않습니다.
수용된 기록의 비용 측정
저렴한 요청이 대부분의 출력이 수정이 필요할 때 비쌀 수 있습니다. 검색, 렌더링(필요한 경우), 추출 호출, 저장, 재시도 및 인간 검토를 비교에 포함하세요.
유용한 계획 측정은 총 처리 및 검토 비용을 귀하의 품질 규칙에 따라 수용된 기록 수로 나눈 것입니다. 결과를 계산하기 전에 수용을 정의하세요. 그렇지 않으면 한 방법이 조용히 불완전하거나 잘못된 데이터를 수용하기 때문에 더 저렴해 보일 수 있습니다.
지연 시간도 중요합니다. 일일 연구 요약은 신뢰할 수 있는 기록을 생성하는 느린 프로세스를 견딜 수 있습니다. 사용자 대면 응용 프로그램은 더 엄격한 응답 시간 요구 사항이 있을 수 있습니다. 실제 시간 요구 사항에 맞는 방법을 선택하고, 가장 빠른 단독 모델 응답을 추구하지 마세요.
제한된 필드 세트로 시작하세요. 해석된 필드가 추가될 때마다 모호함의 기회가 하나 더 추가되고 검증할 항목이 하나 더 추가됩니다. 새로운 정보가 실제 결정을 지원할 때만 확장하세요.
수집 프로세스를 해석과 분리하세요
허용된 콘텐츠가 상호 작용이나 렌더링에 따라 달라지는 경우, 브라우저가 필요합니다. 이는 모든 페이지에 대해 자동으로 필요하지 않습니다. Playwright 배포 가이드는 브라우저 런타임 컨텍스트를 다루고, Playwright 애플리케이션 페이지는 관련 인프라 시작점을 제공합니다.
서버는 실행 리소스를 제공합니다. 추출된 사실을 검증하지 않습니다. 자가 관리 파이프라인의 경우, Cloud VPS가 실제 작업량에 맞게 저장 및 유지 관리되는 런타임을 제공할 수 있습니다.
별도의 프록시는 작업에 필요할 때 허용된 네트워크 경로를 제공할 수 있습니다. 회전하는 주거 프록시는 네트워크 서비스이며, 정확성 기능이나 사이트의 접근 규칙을 무시할 수 있는 권한이 아닙니다. 잘못된 가격은 출구 주소를 변경한 후에도 여전히 잘못된 가격입니다.
사용 가능한 경우 지원되는 API, 피드 또는 내보내기를 사용하고, 접근 조건 및 합리적인 요청 속도를 준수하며, 작업에 필요하지 않은 개인 데이터를 수집하지 마세요. 소스가 접근을 차단하거나 승인을 요구하는 경우, 추출 프로젝트를 우회 작업으로 전환하지 말고 그 요구 사항을 해결하세요.
검토를 정상적인 워크플로의 일부로 만드세요
어떤 필드가 자동으로 통과할 수 있고 어떤 필드가 승인이 필요한지 결정하세요. 낮은 위험 범주 레이블은 가격을 게시하거나 고객 약속을 만드는 데 사용되는 값과 다른 검토 정책을 용인할 수 있습니다.
검토자에게 원본 소스, 제안된 값, 플래그가 지정된 이유 및 수정 사항을 기록할 수 있는 쉬운 방법을 제공하세요. 설명되지 않은 "신뢰도가 낮음" 메시지의 대기열은 운영하기 어렵습니다. "두 개의 상충되는 가격 발견"과 같은 특정 예외는 더 실행 가능성이 높습니다.
수정을 유지하여 방법을 개선할 수 있도록 하세요. 대부분의 실패가 패키지 수량과 관련된 경우, 해당 필드 정의와 평가에 사용된 예제를 정제하세요. 실제 문제가 모호한 사양일 때 전체 모델을 교체할 필요는 없을 수 있습니다.
모델, 프롬프트, 규칙 또는 소스 변경 후 샘플을 재검토하세요. 지난 달에 측정된 품질이 오늘 버전에는 자동으로 적용되지 않습니다.
자주 묻는 질문
AI 웹 스크래핑이 일반 스크래핑 규칙을 대체하나요?
보편적으로는 아닙니다. 규칙은 안정적이고 정확한 필드에 여전히 유용합니다. AI는 가변 언어와 해석에 도움을 줄 수 있습니다. 하이브리드 방법은 각 필드의 출처를 이해하고 검증하는 데 더 쉽게 만들 수 있습니다.
AI가 페이지를 다운로드하지 않고 데이터를 추출할 수 있나요?
시스템은 관련 소스 자료에 접근할 수 있는 일부 검색 메커니즘이 필요합니다. 모델은 주변 서비스가 실제로 해당 콘텐츠를 얻지 않는 한 URL만으로 현재 페이지 사실을 신뢰성 있게 복구할 수 없습니다.
유효한 JSON이 추출이 작동했음을 증명하나요?
아니요. 유효한 JSON은 출력이 형식을 따르고 있음을 증명합니다. 가격, 날짜, 신원 또는 분류가 소스 및 귀하의 필드 정의와 일치한다는 것을 증명하지 않습니다.
필드가 누락되면 어떻게 해야 하나요?
데이터 계약에 따라 누락되거나 알 수 없는 것으로 표시하세요. 기록을 완전해 보이게 하기 위해 그럴듯한 값을 발명하지 마세요. 중요한 누락된 필드는 검토 또는 거부를 촉발할 수 있습니다.
브라우저 에이전트를 하루 종일 실행해야 하나요?
작업이 해당 운영 모델을 요구하는 경우에만 그렇습니다. 많은 추출 작업은 일정에 따라 실행되거나 기존 API를 사용할 수 있습니다. 허용된 증거를 검색하고 검증된 기록을 생성하는 가장 간단한 방법을 선택하세요.
소규모 팀은 어떻게 시작해야 하나요?
하나의 유용한 기록 유형을 선택하고, 몇 개의 필드를 정확하게 정의하며, 검토된 샘플에서 방법을 비교하세요. 증거가 수용 가능한 품질과 관리 가능한 수정 작업을 보여줄 때 AI 웹 스크래핑을 확장하세요. 단순히 첫 번째 출력이 그럴듯하게 보인다고 해서 확장하지 마세요.