修复 Sovereign 无法访问网站时的网页研究受阻问题

如何解决导致你的 Sovereign 无法搜索网页、抓取页面和提取数据的 IP 屏蔽问题——使用 Firecrawl Cloud API。

更新于 2026年7月13日1分钟阅读

如果你的 Sovereign 在执行网页搜索、抓取页面或从网站提取数据时遇到困难,可能是因为你的 Sovereign Brain 的公共 IP 地址被反机器人系统标记了。这种情况往往发生在执行大量网页研究的设备上。本文介绍如何识别问题并让研究功能恢复正常。

症状

如果你同时注意到以下几种情况,就可能遇到了这个问题:

  • Google 和 Bing 等搜索引擎不返回结果或被屏蔽
  • SEC EDGAR 等网站返回 403 错误
  • LinkedIn、受 Cloudflare 保护的网站以及许多公司网站无法加载
  • Brave Search 返回损坏或不可用的结果
  • 大多数网页提取尝试失败
Diagram showing a Sovereign brain IP address being blocked by multiple websites with 403 errors
当一个 IP 被标记时,许多网站会返回 403 错误,研究能力会急剧下降。

Note

某些直接的网站连接可能偶尔仍然可用,但你的 Sovereign 的整体研究能力会明显下降。

原因

这是因为你的 Sovereign Brain 的出站 IP 地址被安全系统标记为可疑或机器人相关流量。一旦 IP 被标记,许多主要网站和服务就会开始屏蔽或限制来自该地址的访问——无论你的 Sovereign 实际在做什么。

解决方案:使用 Firecrawl Cloud API

如果你的 Sovereign 受到 IP 屏蔽影响,最有效的即时修复是让它使用 Firecrawl Cloud API 进行研究,而不是依赖直接的浏览器或搜索工具。Firecrawl 从自己的基础设施发起连接,因此被标记的 IP 不再成为障碍。

步骤 1:创建 Firecrawl 账户

  1. 访问 firecrawl.dev。
  2. 注册一个账户——提供免费套餐。
  3. 验证你的电子邮件地址。

步骤 2:生成你的 API 密钥

  1. 登录 Firecrawl 仪表板。
  2. 进入 API Keys(通常在 Settings 下)。
  3. 点按 Create API Key。
  4. 立即复制密钥——它只显示一次。
Firecrawl dashboard panel with a masked API key and a Create API Key button
在 Firecrawl 仪表板中生成密钥并立即复制——它只显示一次。

Warning

请像对待密码一样对待你的 API 密钥。不要把它粘贴到共享文档或公共聊天中;如果你认为它已经泄露,请生成一个新密钥。

步骤 3:在你的 Sovereign Brain 上添加密钥

与你的 Sovereign 开始对话并给出如下指令,或者如果你的大脑提供了管理界面,也可以通过它添加密钥:

From now on, use the Firecrawl Cloud API for all web research and scraping tasks.
Use this API key: [INSERT YOUR API KEY HERE]
Please switch to Firecrawl's scrape_url or crawl_url functions instead of the
direct browser tools or search engines.

步骤 4:测试

请你的 Sovereign 在之前被屏蔽的网站上运行一次测试抓取——投资者关系页面或 SEC 文件就很合适——并确认它现在可以返回干净、可用的数据。

确认生效

配置完成后,你的 Sovereign 应该能够完成之前被屏蔽的研究任务,包括提取联系信息和浏览受保护的网站。如果某个任务仍然失败,请明确要求你的 Sovereign 通过 Firecrawl 重试,因为它可能仍在默认使用直接工具。

其他解决方案

Firecrawl 是最快的修复方式,但根据你的情况,还有几种其他方法可能有帮助。

解决方案最适合的情况说明
住宅代理服务研究量大需要额外设置
自托管 Firecrawl你希望完全掌控维护更复杂
多台 Sovereign Brain运行多台 Centurion有助于分散研究负载

建议

  • 对于任何经常执行研究的 Sovereign,将 Firecrawl 作为主要的网页工具。
  • 留意研究成功率,如果屏蔽症状再次出现,请重新阅读本文。
  • 对于研究量大的实例,可以考虑逐步采用专用出口节点或代理。

Tip

如果网页研究只是偶尔失败,那可能是临时网络问题,而不是 IP 屏蔽。在设置 Firecrawl 之前,先检查 Connection timed out。

这篇文章对你有帮助吗?