Migliore configurazione robots.txt WordPress: esempio ottimizzato per SEO

La migliore configurazione robots.txt WordPress è quella che permette a Google, Bing e agli altri motori di ricerca di indicizzare correttamente il sito, evitando allo stesso tempo la scansione di aree inutili come la dashboard amministrativa, i file temporanei e alcune pagine tecniche.

Molti siti WordPress utilizzano robots.txt troppo restrittivi oppure troppo permissivi.

Nel primo caso rischiano problemi di indicizzazione.

Nel secondo caso sprecano crawl budget facendo scansionare ai motori pagine che non portano alcun valore SEO.

Cos’è il file robots.txt

Il file robots.txt è un semplice documento di testo posizionato nella cartella principale del sito.

Ad esempio:

https://tuosito.it/robots.txt

Serve a fornire istruzioni ai crawler come:

• Googlebot
• Bingbot
• DuckDuckBot
• GPTBot
• altri crawler

su quali sezioni del sito possono o non possono analizzare.

Come bloccare la scansione di ChatGPT e OpenAI su WordPress

Configurazione robots.txt consigliata per WordPress

Per la maggior parte dei siti WordPress consiglio questa configurazione:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tuosito.it/sitemap_index.xml

Questa configurazione:

• blocca la dashboard WordPress
• consente le richieste AJAX necessarie
• lascia indicizzabili articoli e pagine
• segnala la sitemap ai motori di ricerca

È una base molto solida per la maggior parte dei blog.

Perché non bloccare wp-content

Anni fa molti webmaster utilizzavano:

Disallow: /wp-content/

Oggi è sconsigliato.

In quella cartella si trovano:

• immagini
• CSS
• JavaScript
• file multimediali

Google utilizza questi elementi per comprendere correttamente il layout delle pagine.

Bloccarli può influire negativamente sulla scansione.

Come bloccare la scansione di ChatGPT e OpenAI su WordPress

Configurazione avanzata con blocco AI

Se vuoi limitare alcuni crawler AI mantenendo attivi Google e Bing puoi utilizzare:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tuosito.it/sitemap_index.xml

In questo modo:

• Google continua a indicizzare
• Bing continua a indicizzare
• GPTBot viene bloccato
• ChatGPT-User viene bloccato
• Common Crawl viene bloccato

Inserire la Sitemap XML

La sitemap è probabilmente la riga più importante del file.

Ad esempio:

Sitemap: https://tuosito.it/sitemap_index.xml

Se utilizzi:

• Yoast SEO
• Rank Math
• SEOPress

la sitemap si trova normalmente in quell’indirizzo.

Aiuta Google e Bing a trovare più rapidamente:

• articoli
• pagine
• categorie
• immagini

Errori da evitare

Bloccare tutto il sito

Mai utilizzare:

User-agent: *
Disallow: /

Questa regola impedisce l’indicizzazione completa del sito.

Bloccare CSS e JavaScript

Evita:

Disallow: /wp-content/

Google potrebbe non riuscire a interpretare correttamente le pagine.

Dimenticare la sitemap

Molti siti non inseriscono alcuna sitemap nel robots.txt.

È un’opportunità persa perché facilita il lavoro dei motori di ricerca.

Come modificare robots.txt in WordPress

Se utilizzi Yoast SEO:

Vai su:

Yoast SEO → Impostazioni → File

oppure modifica il file direttamente tramite:

File Manager → cartella principale del sito

Se il file non esiste puoi crearlo manualmente.

Il nome deve essere:

robots.txt

Come verificare che funzioni

Dopo il salvataggio visita:

https://tuosito.it/robots.txt

Dovresti visualizzare il contenuto del file direttamente nel browser.

Successivamente puoi verificare la corretta lettura tramite:

Google Search Console → Strumento Controllo URL

oppure tramite gli strumenti per webmaster di Bing.

Configurazione consigliata per la maggior parte dei siti WordPress

Se hai un blog, un magazine o un sito aziendale, questa è probabilmente la configurazione più equilibrata:

User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tuosito.it/sitemap_index.xml

Protegge le aree amministrative, mantiene piena compatibilità SEO e limita alcuni crawler utilizzati dall’intelligenza artificiale.

Box rapido