Corrigir a pesquisa web bloqueada quando o seu Sovereign não consegue aceder a sites

Se o seu Sovereign tem dificuldades em fazer pesquisas web, extrair páginas ou recolher dados de sites, pode ser porque o endereço IP público do seu Sovereign Brain foi sinalizado por sistemas anti-bot. Isto tende a acontecer em aparelhos que fazem um volume elevado de pesquisa web. Este artigo explica como reconhecer o problema e voltar a pôr a pesquisa a funcionar.

Sintomas

Pode estar a enfrentar este problema se notar várias das seguintes situações ao mesmo tempo:

• Motores de pesquisa como o Google e o Bing não devolvem resultados ou estão bloqueados
• Sites como o SEC EDGAR devolvem erros 403
• O LinkedIn, sites protegidos por Cloudflare e muitos sites de empresas não carregam
• O Brave Search devolve resultados corrompidos ou inutilizáveis
• A maioria das tentativas de extração web falha

O que causa isto

Isto acontece quando o endereço IP de saída do seu Sovereign Brain é sinalizado pelos sistemas de segurança como tráfego suspeito ou de bot. Uma vez sinalizado um IP, muitos sites e serviços importantes começam a bloquear ou restringir o acesso a partir dele — independentemente do que o seu Sovereign está realmente a tentar fazer.

Solução: usar a Firecrawl Cloud API

Se o seu Sovereign é afetado pelo bloqueio de IP, a correção imediata mais eficaz é fazê-lo usar a Firecrawl Cloud API para pesquisa em vez de depender do browser direto ou das ferramentas de pesquisa. A Firecrawl trata da ligação a partir da sua própria infraestrutura, pelo que o IP sinalizado deixa de estar no caminho.

Passo 1: criar uma conta Firecrawl

1. Visite firecrawl.dev.
2. Registe uma conta — existe um nível gratuito.
3. Verifique o seu endereço de email.

Passo 2: gerar a sua chave de API

1. Inicie sessão no painel da Firecrawl.
2. Vá a API Keys (normalmente em Settings).
3. Clique em Create API Key.
4. Copie a chave de imediato — só é mostrada uma vez.

Passo 3: adicionar a chave no seu Sovereign Brain

Comece uma conversa com o seu Sovereign e dê-lhe uma instrução como esta, ou adicione a chave através do ecrã de administração do seu Brain, se houver um:

From now on, use the Firecrawl Cloud API for all web research and scraping tasks.
Use this API key: [INSERT YOUR API KEY HERE]
Please switch to Firecrawl's scrape_url or crawl_url functions instead of the
direct browser tools or search engines.

Passo 4: testar

Peça ao seu Sovereign para fazer um scrape de teste num site que estava bloqueado — uma página de relações com investidores ou um registo SEC funciona bem — e confirme que agora devolve dados limpos e utilizáveis.

Verificar se funcionou

Depois de configurado, o seu Sovereign deve conseguir concluir tarefas de pesquisa que estavam bloqueadas, incluindo obter informações de contacto e navegar em sites protegidos. Se uma tarefa continuar a falhar, peça ao seu Sovereign para a tentar novamente explicitamente através da Firecrawl, porque pode continuar a usar por defeito as ferramentas diretas.

Soluções alternativas

A Firecrawl é a correção mais rápida, mas algumas outras abordagens podem ajudar, dependendo da sua situação.

Recomendações

• Use a Firecrawl como ferramenta web principal para qualquer Sovereign que faça pesquisa regularmente.
• Vigie as taxas de sucesso da pesquisa e volte a este artigo se os sintomas de bloqueio reaparecerem.
• Para instâncias com muita pesquisa, considere nós de saída ou proxies dedicados ao longo do tempo.