當 Sovereign 無法連上網站時,排除被封鎖的網路研究
如何解決 IP 封鎖,讓 Sovereign 恢復搜尋網路、抓取網頁與擷取資料的能力——使用 Firecrawl Cloud API。
如果你的 Sovereign 在執行網路搜尋、抓取網頁或從網站擷取資料時遇到困難,可能是因為你的 Sovereign brain 的公開 IP 位址被反機器人系統標記了。這通常發生在執行大量網路研究的裝置上。本文說明如何辨識問題,並讓研究功能恢復運作。
症狀
如果你同時注意到以下幾種情況,可能就遇到了這個問題:
- Google 與 Bing 等搜尋引擎沒有回傳結果或遭到封鎖
- SEC EDGAR 等網站回傳 403 錯誤
- LinkedIn、受 Cloudflare 保護的網站,以及許多公司網站無法載入
- Brave Search 回傳損壞或無法使用的結果
- 大多數網頁擷取嘗試失敗

Note
某些直接的網站連線偶爾仍可運作,但你的 Sovereign 整體的研究能力會明顯下降。
原因是什麼
當你的 Sovereign brain 的對外 IP 位址被安全系統標記為可疑或機器人相關流量時,就會發生這種情況。一旦 IP 被標記,許多大型網站與服務就會開始封鎖或限制來自該位址的存取——無論你的 Sovereign 實際上想做什麼。
解決方法:使用 Firecrawl Cloud API
如果你的 Sovereign 受到 IP 封鎖影響,最有效的立即修復方式是讓它使用 Firecrawl Cloud API 進行研究,而不是依賴直接瀏覽器或搜尋工具。Firecrawl 會從自己的基礎設施處理連線,因此被標記的 IP 不再擋路。
步驟 1:建立 Firecrawl 帳號
- 前往 firecrawl.dev。
- 註冊帳號——有免費方案可用。
- 驗證你的電子郵件地址。
步驟 2:產生你的 API 金鑰
- 登入 Firecrawl 儀表板。
- 前往 API Keys(通常位於 Settings 下)。
- 點 Create API Key。
- 立即複製金鑰——它只會顯示一次。

Warning
請把你的 API 金鑰當作密碼。不要貼到共享文件或公開聊天中;如果你認為金鑰已外洩,請產生新的。
步驟 3:在 Sovereign brain 上新增金鑰
與你的 Sovereign 開啟對話,並給它類似下面的指示;如果 brain 提供管理畫面,也可以透過管理畫面新增金鑰:
From now on, use the Firecrawl Cloud API for all web research and scraping tasks.
Use this API key: [INSERT YOUR API KEY HERE]
Please switch to Firecrawl's scrape_url or crawl_url functions instead of the
direct browser tools or search engines.
步驟 4:測試
請你的 Sovereign 對先前被封鎖的網站執行一次測試抓取——投資人關係頁面或 SEC 申報文件都很適合——並確認它現在能回傳乾淨、可用的資料。
確認是否成功
設定完成後,你的 Sovereign 應該能完成先前被封鎖的研究任務,包括取得聯絡資訊與瀏覽受保護的網站。如果某個任務仍然失敗,請明確要求你的 Sovereign 透過 Firecrawl 重試,因為它可能仍在使用直接工具。
其他解決方案
Firecrawl 是最快的修復方式,但視你的情況,還有幾種其他做法可能有幫助。
| 解決方案 | 最適合 | 備註 |
|---|---|---|
| 住宅代理服務 | 研究量大 | 需要額外設定 |
| 自行代管 Firecrawl | 你偏好完全掌控 | 維護較複雜 |
| 多個 Sovereign brain | 執行多個 Centurion | 有助於分散研究負載 |
建議
- 對於任何定期執行研究的 Sovereign,將 Firecrawl 設為主要的網路工具。
- 留意研究成功率;如果封鎖症狀再次出現,請重新查看本文。
- 對於研究量大的實例,可以考慮長期使用專用的出口節點或代理。
Tip
如果網路研究只是偶爾失敗,可能是暫時性的網路問題,而不是 IP 封鎖。在設定 Firecrawl 之前,請先檢查〈連線逾時〉。
這篇文章對你有幫助嗎?