SoftotecaBot, o robô da Softoteca

O SoftotecaBot é o robô que monta as fichas técnicas da Softoteca, o catálogo de software do Brasil mantido pela Otimizapro.com. Esta página explica o que ele faz no seu site e como controlá-lo.

Como ele se identifica

Toda visita leva este agente de usuário:

Mozilla/5.0 (compatible; SoftotecaBot/1.0; +https://softoteca.com.br/robo)

Quando a página só mostra o conteúdo com JavaScript, o robô usa o navegador da Cloudflare, com o mesmo agente de usuário. Ele não se passa por um navegador comum.

O que ele lê

Só páginas públicas dos sites dos fornecedores de software: a página do produto, outras páginas do mesmo site (preços, recursos e integrações), o robots.txt e o sitemap, que ele usa para achar essas páginas. Ele não faz login, não preenche formulários e não coleta avaliações, depoimentos nem dados pessoais.

Cada informação publicada na ficha leva o endereço da página e o trecho de onde saiu, e só entra se o trecho estiver, palavra por palavra, na página.

Com que frequência

Entre uma página e outra do mesmo site, o robô espera ao menos 2 segundos. Se o robots.txt pedir um intervalo maior (Crawl-delay), ele respeita, até 10 segundos.
Em cada visita, ele lê a página do produto e até cinco outras páginas do mesmo site.
Uma vez por mês, ele volta para conferir se as informações continuam na página. O que sumiu da fonte sai da ficha.

Como controlar o acesso

O SoftotecaBot respeita o robots.txt. Para bloquear o robô no site inteiro:

User-agent: SoftotecaBot
Disallow: /

Ele também respeita as Content Signals: o site que declara search=no ou ai-input=no no robots.txt fica fora da coleta automática.

Correções e contato

Se uma ficha tem informação errada ou desatualizada, a empresa dona do software pode reivindicar o perfil na área do fornecedor e cuidar da ficha, ou escrever para empresa@otimiza.pro. A Metodologia explica como as fichas são feitas.