WordPress lento? Dashboard WordPress lenta? Invasione dei crawler AI

WordPress lento e Dashboard WordPress lenta sono problemi che negli ultimi mesi stanno colpendo un numero crescente di siti web, anche quelli ospitati su VPS potenti o hosting performanti.

Molti proprietari di siti controllano:

• plugin
• cache
• database
• PHP
• tema WordPress

ma spesso trascurano un fattore che sta diventando sempre più importante: i crawler AI.

Negli ultimi anni decine di aziende hanno lanciato sistemi di intelligenza artificiale che scandagliano continuamente il web alla ricerca di contenuti.

Tra questi troviamo bot utilizzati da:

• ChatGPT
• Claude
• Perplexity
• Meta AI
• Mistral
• TikTok
• Amazon
• Apple
• Common Crawl

Quando il sito riceve molte richieste da questi crawler, il server deve comunque elaborarle, consumando:

• CPU
• RAM
• connessioni PHP
• query database
• banda

Il risultato può essere una dashboard WordPress più lenta e, nei casi peggiori, un sito che risponde con ritardo ai visitatori reali.

Perché i crawler AI possono rallentare WordPress

Ogni visita effettuata da un crawler richiede risorse.

Anche se WordPress utilizza cache aggressive, il server deve comunque:

• ricevere la richiesta
• analizzare l’URL
• servire il contenuto
• registrare il log

Quando decine di crawler visitano continuamente articoli, categorie e archivi, il numero totale di richieste può diventare molto elevato.

Questo fenomeno è particolarmente evidente su:

• blog tecnologici
• magazine
• siti con molte guide
• siti WordPress con migliaia di articoli

La prima contromisura: modificare robots.txt

Il primo intervento consigliato consiste nel dichiarare formalmente quali bot possono e quali bot non possono effettuare scansioni.

Nel file:

robots.txt

puoi utilizzare una configurazione simile a questa:

User-agent: *
Allow: /

# Motori di ricerca — sempre permessi
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: YandexBot
Allow: /

# AI Crawler bloccati
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Meta-ExternalFetcher
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: AppleBot
Disallow: /

User-agent: TikTokSpider
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: Claude-User
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Google-CloudVertexBot
Disallow: /

User-agent: MistralAI-User
Disallow: /

User-agent: Manus Bot
Disallow: /

User-agent: DuckAssistBot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: ProRataInc
Disallow: /

User-agent: Novellum AI Crawl
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: Arquivo Web Crawler
Disallow: /

Sitemap: https://tuosito.it/sitemap_index.xml

Attenzione: robots.txt non blocca realmente i bot

Questo è probabilmente il punto più importante dell’intero articolo.

Molti utenti credono che robots.txt sia un firewall.

Non è così.

Il file robots.txt è semplicemente una convenzione.

In pratica comunica ai crawler:

“Preferirei che non visitassi questa sezione del sito.”

I bot corretti e rispettosi seguono queste indicazioni.

Ad esempio:

• Googlebot
• Bingbot
• DuckDuckBot

rispettano normalmente le direttive contenute nel file.

Altri bot invece possono ignorarle completamente.

Robots.txt e Cloudflare: qual è la differenza?

Molti amministratori vedono nei log Cloudflare crawler che continuano a visitare il sito nonostante il blocco nel robots.txt.

Il motivo è semplice.

Robots.txt

È una richiesta volontaria.

Il bot decide se rispettarla oppure no.

Cloudflare Firewall

È un blocco reale.

La richiesta viene fermata prima ancora di raggiungere WordPress.

Per questo motivo:

• robots.txt = dichiarazione ufficiale
• Cloudflare = blocco tecnico effettivo

La combinazione delle due soluzioni è generalmente la migliore.

Come modificare robots.txt tramite FTP

Puoi modificare il file direttamente dal server.

Apri:

FileZilla → Cartella principale del sito

oppure:

aaPanel → File Manager

Individua:

robots.txt

Aprilo e incolla la configurazione desiderata.

Salva il file.

Per verificare il risultato visita:

https://tuosito.it/robots.txt

Come modificare robots.txt con Yoast SEO

Se utilizzi Yoast SEO puoi evitare FTP e File Manager.

Vai su:

Yoast SEO → Strumenti → Editor file

oppure, nelle versioni più recenti:

Yoast SEO → Impostazioni → File

Qui potrai modificare direttamente il robots.txt.

Se il file non esiste, Yoast può crearlo automaticamente.

Come capire se i crawler stanno visitando il sito

Puoi controllare:

• access.log
• Cloudflare Analytics
• LiteSpeed Logs
• aaPanel Logs

Nei log cerca termini come:

GPTBot

ClaudeBot

PerplexityBot

CCBot

Se compaiono frequentemente significa che i crawler stanno effettivamente visitando il sito.

Quanto migliora la velocità del sito?

Dipende dal traffico.

Su piccoli blog la differenza potrebbe essere minima.

Su siti con:

• migliaia di articoli
• molti visitatori
• VPS limitate
• hosting condivisi

la riduzione dei crawler può alleggerire sensibilmente il carico del server.

Conviene bloccare tutti i crawler AI?

Non esiste una risposta valida per tutti.

Alcuni editori preferiscono impedire qualsiasi utilizzo dei propri contenuti da parte dei sistemi AI.

Altri invece consentono l’accesso per ottenere maggiore visibilità.

L’importante è prendere una decisione consapevole e sapere che oggi una parte significativa del traffico bot non proviene più soltanto da Google e Bing.

Box rapido