Robots.txt și AI: ce poți bloca fără să dispari din răspunsurile AI

Ce au anunțat Google și Bing pe 30 octombrie

Primul a fost Google. John Mueller a anunțat pe blogul Google Search Central că Google va adopta o propunere a grupului de lucru AIPREF din IETF (organizația care scrie standardele tehnice ale internetului). Ideea: în loc să scrii câte o regulă pentru fiecare companie de AI, pui în robots.txt un singur „token de politică”, __usage_ai-training, și spui o dată că nu vrei ca site-ul să fie folosit la antrenare. Google vrea să-l suporte din 2027; documentația lui de crawlere spune „începutul lui 2027”.

Două detalii contează:

• Dacă folosești noul semnal ca să refuzi antrenarea și nu scrii nimic despre Google-Extended, Google va trata site-ul ca și cum ai fi blocat Google-Extended.
• Google-Extended (regula Google pentru Gemini) controlează atât antrenarea modelelor Gemini, cât și folosirea paginilor tale în răspunsurile din aplicația Gemini. Google spune că doar site-urile care permit Google-Extended pot apărea, cu link, în aceste răspunsuri.

Propunerea IETF nu e încă finalizată. Nate Hake, care a participat la grupul de lucru, spune că au rămas dispute importante, potrivit Search Engine Roundtable, deci detaliile se pot schimba până în 2027.

Tot pe 30 octombrie, Microsoft a anunțat două setări separate:

Pentru grounding ai trei variante: permis (implicit), disallowextended (doar produsele Microsoft, fără serviciile terților) și disallow (deloc). Microsoft spune clar că blocarea grounding-ului reduce vizibilitatea în răspunsurile AI, dar nu schimbă poziția în rezultatele Bing obișnuite.

Care e diferența între antrenare și apariția în răspunsurile AI?

Asta e partea pe care o încurcă cei mai mulți.

Antrenarea înseamnă că textul tău ajunge, împreună cu miliarde de alte pagini, în datele din care învață un model. Nu primești link și nici trafic din asta.

Grounding-ul (sau căutarea) înseamnă că, atunci când cineva întreabă ceva, asistentul citește pagina ta pe loc și o citează în răspuns, de obicei cu link. De aici pot veni clienți.

Fiecare companie are reguli separate pentru cele două:

OpenAI spune în documentația sa că setările sunt independente: poți bloca GPTBot și să apari în continuare în ChatGPT search, dacă lași OAI-SearchBot să intre. Iar Google spune că Google-Extended nu influențează apariția sau poziția în căutarea Google.

Ce e deja setat pe site-ul tău?

Mulți proprietari de site nu știu că firma de hosting, CDN-ul sau un plugin a luat deja decizia în locul lor. Analiza publicată de Vanessa Fox (actualizată pe 30 octombrie) arată situația la câteva servicii folosite des și în România:

• Cloudflare: dacă activezi robots.txt-ul gestionat de Cloudflare, acesta adaugă linia Content-signal: search=yes, ai-train=no, use=reference și blochează roboți ca GPTBot, ClaudeBot, Google-Extended sau CCBot. Pentru site-urile noi cu reclame (din 15 septembrie 2026), antrenarea e refuzată implicit. Setarea e în Security → Settings → AI Crawler and Agent access policies.
• Shopify: robots.txt-ul implicit nu blochează niciun robot AI. Îl poți modifica doar prin șablonul robots.txt.liquid din temă, iar Shopify consideră asta o modificare nesuportată.
• WordPress: WordPress și Wordfence nu blochează roboții AI implicit. Yoast SEO Premium are funcția Bot Blocker, care blochează GPTBot, CCBot și Google-Extended dintr-un buton. Dacă cineva a apăsat acel buton, ai ieșit și din răspunsurile aplicației Gemini.

Ar trebui să blochezi AI-ul pe site-ul tău?

Pentru un magazin online, o clinică, o firmă de servicii sau un site de prezentare, răspunsul scurt e nu. Ai nevoie ca un client care întreabă ChatGPT sau Gemini „unde găsesc X în Cluj” să primească numele tău. Blocarea antrenării nu-ți aduce nimic concret, iar o regulă scrisă greșit te poate scoate din răspunsuri.

Ai motive să refuzi antrenarea dacă vinzi chiar conținutul: cursuri, rețete, fotografii, articole de specialitate, ghiduri plătite. Și atunci, blochează doar antrenarea, nu și căutarea. Un exemplu de robots.txt care refuză antrenarea la Bing (și, din 2027, la Google), dar lasă ChatGPT search să te citeze:

User-agent: __usage_ai-training
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Ține cont de un lucru: la Google, antrenarea Gemini și citarea în aplicația Gemini merg împreună prin Google-Extended. Dacă refuzi antrenarea Google, pierzi și citările din aplicația Gemini (AI Overviews și AI Mode nu sunt afectate, ele se controlează din Search Console).

Ce recomandăm noi

1. Deschide-ți robots.txt-ul acum. Scrie în browser adresa site-ului urmată de /robots.txt. Caută GPTBot, OAI-SearchBot, Google-Extended, ClaudeBot, PerplexityBot și Content-signal. Dacă vezi Disallow: / sub un robot de căutare, ai o problemă.
2. Verifică Cloudflare și pluginurile de SEO sau securitate. Uită-te la setările pentru roboții AI din Cloudflare și la funcțiile de tip „bot blocker” din plugin. Notează ce e activ și de ce.
3. Verifică Search Console. Dacă vezi setarea „Search generative AI” în Settings, lasă-o pe „include”. Dacă o pui pe „exclude”, site-ul dispare din AI Overviews și AI Mode, cu tot cu linkuri.
4. Caută NoArchive și NoCache în codul paginilor și decide până pe 1 martie 2027 ce vrei pentru Bing.
5. Nu schimba nimic din panică. Semnalul __usage_ai-training va fi respectat abia din 2027, iar standardul încă se discută. Ce contează azi sunt regulile pentru roboții de căutare.

Dacă nu ai timp să le verifici singur, le putem verifica noi în cadrul serviciului de mentenanță. Despre cum crești șansele să fii citat de AI am scris în ghidul despre SEO și GEO după GPeC 2026, iar despre cum vezi aparițiile în AI Overviews, în articolul despre raportul AI din Search Console.

Întrebări frecvente

Dacă blochez antrenarea AI, scad în Google?

Nu. Google spune că Google-Extended nu e un semnal de clasament și nu schimbă apariția în căutare. Bing spune același lucru despre noile setări: rezultatele obișnuite rămân la fel.

Pot ieși din AI Overviews fără să ies din Google?

Da, prin setarea „Search generative AI” din Search Console, care se lansează treptat și nu apare încă la toate conturile. Site-ul rămâne în rezultatele obișnuite, dar pierde aparițiile și linkurile din AI Overviews, AI Mode și Discover. Pentru o firmă care vrea clienți, de obicei nu merită.

Robots.txt chiar oprește roboții AI?

Nu tehnic. E o cerere pe care companiile mari spun că o respectă, dar un robot care nu vrea poate să o ignore. Pentru o blocare reală ai nevoie de reguli de firewall, de exemplu în Cloudflare.

Concluzie

Noile setări îți dau mai mult control, dar pentru o firmă care vinde produse sau servicii, ce contează e să rămâi vizibilă acolo unde clienții întreabă. Verifică o dată ce e setat, păstrează deschise ușile pentru roboții de căutare și decide separat dacă vrei să refuzi antrenarea. Dacă vrei să facem noi verificarea sau un site nou, gândit de la început pentru Google și pentru asistenții AI, cere o ofertă.