audit-seo-tecnico è uno strumento open source a riga di comando per l'audit SEO tecnico di un sito web. Esegue una scansione delle pagine, applica un insieme di regole automatiche su indicizzabilità, contenuti, dati strutturati e aspetti tecnici, e produce un report pensato per essere letto sia da una persona sia da un modello linguistico. Il codice è pubblico su GitHub, distribuito con licenza MIT.
Questa pagina descrive come il crawler dello strumento effettua le richieste HTTP verso il sito analizzato.
Identificazione del crawler
Durante la scansione, audit-seo-tecnico si presenta ai server con uno user agent dedicato, diverso da quello di un browser comune, così chi legge i log del sito analizzato riconosce subito il traffico generato dallo strumento.
Lo user agent predefinito è: Mozilla/5.0 (compatible; audit-seo-tecnico/0.1; +https://github.com/fedec089/audit-seo-tecnico). Contiene il nome dello strumento, la versione e un link al progetto, così chi riceve la richiesta può risalire alla sua origine.
Domande frequenti
Qual è il ritardo minimo predefinito tra due richieste verso lo stesso dominio?
Il valore predefinito è 250 millisecondi tra una richiesta e la successiva verso lo stesso dominio, per non sovraccaricare il sito durante la scansione.