웹 리서치 차단 해결 — Sovereign이 웹사이트에 도달하지 못할 때

Sovereign이 웹 검색, 페이지 스크래핑, 웹사이트 데이터 추출에 문제를 겪고 있다면 Sovereign Brain의 공인 IP 주소가 안티봇 시스템에 플래그되었기 때문일 수 있어요. 이런 현상은 웹 리서치를 많이 수행하는 어플라이언스에서 자주 발생해요. 이 문서는 문제를 인식하고 리서치를 다시 작동시키는 방법을 설명해요.

증상

다음 중 여러 가지가 동시에 나타난다면 이 문제일 가능성이 있어요:

• Google, Bing 같은 검색 엔진이 결과를 반환하지 않거나 차단됨
• SEC EDGAR 같은 사이트가 403 오류 반환
• LinkedIn, Cloudflare 보호 사이트, 많은 기업 웹사이트가 로드되지 않음
• Brave Search가 손상되거나 쓸 수 없는 결과 반환
• 대부분의 웹 추출 시도가 실패

원인

Sovereign Brain의 외부 발신 IP 주소가 보안 시스템에 의해 의심스럽거나 봇 관련 트래픽으로 플래그될 때 발생해요. IP가 플래그되면 Sovereign이 실제로 무엇을 하려는지와 무관하게 많은 주요 웹사이트와 서비스가 그 IP의 접근을 차단하거나 제한하기 시작해요.

해결 방법: Firecrawl Cloud API 사용

IP 차단의 영향을 받는다면 가장 효과적인 즉시 해결책은 직접 브라우저나 검색 도구에 의존하는 대신 리서치에 Firecrawl Cloud API를 사용하게 하는 것이에요. Firecrawl은 자체 인프라에서 연결을 처리하므로 플래그된 IP가 더 이상 문제가 되지 않아요.

1단계: Firecrawl 계정 만들기

1. firecrawl.dev 방문
2. 계정 가입 — 무료 티어가 있어요.
3. 이메일 주소 인증.

2단계: API 키 생성

1. Firecrawl 대시보드에 로그인.
2. API Keys로 이동(보통 Settings 아래).
3. Create API Key 클릭.
4. 키를 즉시 복사하세요 — 한 번만 표시돼요.

3단계: Sovereign Brain에 키 추가

Sovereign과 대화를 시작해 아래와 같은 지시를 주거나, 제공된다면 Brain의 관리자 화면에서 키를 추가하세요:

From now on, use the Firecrawl Cloud API for all web research and scraping tasks.
Use this API key: [INSERT YOUR API KEY HERE]
Please switch to Firecrawl's scrape_url or crawl_url functions instead of the
direct browser tools or search engines.

4단계: 테스트

이전에 차단되었던 사이트(투자자 관계 페이지나 SEC 서류가 좋아요)에서 테스트 스크래핑을 실행하도록 Sovereign에게 요청하고, 깨끗하고 유용한 데이터를 반환하는지 확인하세요.

작동 확인

설정이 끝나면 Sovereign은 이전에 차단되었던 리서치 작업을 완료할 수 있어야 해요. 연락처 정보 수집과 보호된 웹사이트 탐색도 포함이에요. 작업이 여전히 실패하면 Firecrawl을 통해 명시적으로 재시도하라고 요청하세요. 아직 직접 도구를 기본값으로 사용하고 있을 수 있거든요.

대안 해결책

Firecrawl이 가장 빠른 해결책이지만 상황에 따라 다른 방법도 도움이 될 수 있어요.

권장 사항

• 정기적으로 리서치를 수행하는 Sovereign에는 Firecrawl을 기본 웹 도구로 사용하세요.
• 리서치 성공률을 주시하고, 차단 증상이 다시 나타나면 이 문서를 다시 확인하세요.
• 리서치가 많은 인스턴스라면 장기적으로 전용 출구 노드나 프록시를 고려하세요.