En Büyük İkilem: AI Botlarına İzin Vermeli miyiz?
Son dönemde birçok web sitesi sahibi, içeriklerinin izinsiz yapay zeka eğitiminde kullanılmasından endişe ederek robots.txt dosyalarında tüm AI botlarını toptan engelledi:
User-agent: *
Disallow: /
Ancak bu hareket çok tehlikeli bir yan etki doğurdu: Web sitesi, ChatGPT Search, Perplexity ve Claude aramalarında tamamen görünmez hale geldi ve sıfır tavsiye aldı.
Buradaki kritik ayrım: Eğitim Botları (Training Bots) ile Arama/Alıntı Botları (Search & Citation Bots) arasındaki farktır.
Hangi Bot Hangi İşi Yapar?
| Bot Adı | Sahibi | Türü | Engellenirse Ne Olur? |
|---|---|---|---|
GPTBot |
OpenAI | Web Tarama & Arama | ChatGPT Search'te sitenizden alıntı yapılmaz, markanız önerilmez. |
OAI-SearchBot |
OpenAI | Canlı Arama Motoru | ChatGPT arama motorunda sitenize doğrudan link verilmez. |
PerplexityBot |
Perplexity | Canlı Arama & Atıf | Perplexity sonuçlarında kaynak listeniz sıfırlanır. |
ClaudeBot |
Anthropic | Web Tarama | Claude aramalarında siteniz referans gösterilmez. |
Google-Extended |
Gemini Eğitim Verisi | Sadece Gemini model eğitimini engeller, Google aramayı etkilemez. | |
CCBot |
Common Crawl | Genel Veri Havuzu | Genel LLM eğitiminde yer almazsınız. |
Tavsiye Edilen En İyi Robots.txt Yapılandırması (2026)
Telif haklarınızı korurken yapay zeka aramalarından maksimum müşteri çekmek istiyorsanız uygulamanız gereken altın kural şudur: Arama botlarına izin verin, salt eğitim botlarını sınırlandırın.
# Arama motoru ve AI alıntı botlarına izin verin (Trafik ve Müşteri Getirir)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
# llms.txt ve sitemap dosyalarını botlara gösterin
Sitemap: https://yoursite.com/sitemap.xml
Sitenizin anlık robots.txt durumunu doğrulamak için GeoVisible'ın AI Robots.txt Tester aracını kullanabilirsiniz.