Costruisci un file robots.txt valido in pochi clic: scegli un preset, aggiungi gruppi di regole User-agent, percorsi Disallow e Allow, Crawl-delay e Sitemap. Tutto avviene nel tuo browser, senza registrazione.
Parti da una configurazione tipica, poi personalizzala come preferisci.
Ogni gruppo inizia con un User-agent e contiene i suoi percorsi Disallow e Allow.
Secondi di attesa tra le richieste. Lascia vuoto per non impostarlo.
Uno o più URL completi della sitemap XML.
Parti da "Consenti tutto", "Blocca tutto" o "WordPress standard" per avere subito una base solida.
Per ogni User-agent (es. *, Googlebot, Bingbot) aggiungi i percorsi da bloccare con Disallow e le eccezioni con Allow.
Se serve, imposta un ritardo di scansione e indica gli URL delle tue sitemap XML.
Lo strumento segnala se stai bloccando tutto il sito o se un percorso non inizia con "/".
Usa "Copia" oppure "Scarica robots.txt" e carica il file nella root del tuo dominio (es. https://tuosito.it/robots.txt).
Il file robots.txt è la prima cosa che i motori di ricerca leggono quando visitano il tuo sito: indica quali aree possono scansionare e quali ignorare. Un file ben scritto evita che Google sprechi budget di scansione su pagine inutili (carrelli, aree di amministrazione, filtri duplicati), aiuta a proteggere sezioni riservate dall'indicizzazione accidentale e segnala dove trovare la sitemap, accelerando la scoperta dei contenuti. Un errore banale — come un Disallow: / lasciato per sbaglio — può invece rendere invisibile l'intero sito. Generare il file con regole chiare e verificate è quindi un passo semplice ma decisivo per una SEO tecnica sana.
Crea title e meta description ottimizzati per ogni pagina.
StrumentoTrasforma i titoli in URL puliti e SEO-friendly.
Tutti gli strumentiScopri l'intera cassetta degli attrezzi SEO di Napoli SEO.
SettoriSEO specializzata per hotel, ristoranti, e-commerce e altro.
ServiziDalla SEO tecnica al link building: come lavoriamo.
Un file robots.txt corretto è solo l'inizio. Richiedi un audit SEO gratuito e parla con un esperto SEO di Napoli per far crescere davvero la tua visibilità.
Richiedi un audit SEO gratuito
