Cloudflare introduce regole più precise per i crawler AI nel file robots.txt

Regole più granulari per i crawler AI

Cloudflare introduce una nuova funzione per definire politiche più precise nei confronti dei crawler basati sull’intelligenza artificiale attraverso il file robots.txt.

La configurazione consente di applicare regole differenziate in base alla categoria di crawler. Un sito può, per esempio, autorizzare GPTBot e bloccare Bytespider, senza dover adottare una scelta unica per tutti gli strumenti automatizzati.

L’approccio offre ai gestori dei siti un controllo più selettivo sull’accesso dei crawler AI ai contenuti, mantenendo impostazioni distinte per i diversi operatori. La novità è descritta da Search Engine Journal.