Bir e-ticaret sitesinin yapay zekâ botları için vereceği ilk karar, arama botlarını açık tutmak ve eğitim botlarını ayrıca değerlendirmektir. OpenAI, Anthropic ve Perplexity arama ile eğitim için ayrı tarayıcılar kullanıyor ve robots.txt'de her birini ayrı yönetmenize izin veriyor. [1] [3] [4] Hepsini tek satırla engellemek, ürünlerinizin ChatGPT ya da Perplexity yanıtlarında kaynak gösterilme şansını da kapatır.
İpucu: Robots.txt bir kilit değildir; kurallara uyan botlar için yazılmış bir tercih beyanıdır ve ona uymayan bir tarayıcıyı tek başına durduramaz. [5] Asıl engel çoğu zaman CDN ya da güvenlik duvarında kurulur. llms.txt dosyasının ne işe yaradığını IdeaSoft llms.txt desteği yazımızda anlattık; burada erişim izinlerine bakıyoruz.
Yapay zekâ botları sitenize hangi amaçlarla gelir?
Yapay zekâ botları üç amaçla gelir: arama dizini oluşturmak, model eğitmek ve bir kullanıcının o anki isteğiyle sayfa açmak. Cloudflare da botları aynı mantıkla Search, Training ve Agent olarak sınıflandırıyor. [5] Bu ayrım e-ticaret için önemli, çünkü kazanç arama tarafından gelir: kullanıcının sorusuna verilen yanıtta ürün sayfanız kaynak gösterilir ve tıklama alırsınız.
Eğitim botu içeriğinizi modelin genel bilgisini geliştirmek için toplar ve doğrudan bir bağlantı ya da ziyaret üretmez. Kullanıcı ajanları ise kullanıcı sohbet sırasında bir sayfanın açılmasını istediğinde gelir. OpenAI, bu istekler kullanıcı tarafından başlatıldığı için robots.txt kurallarının uygulanmayabileceğini belirtiyor. [1]
Hangi bot arama, hangisi eğitim için çalışır?
OpenAI'de OAI-SearchBot arama, GPTBot eğitim için çalışır; ChatGPT-User kullanıcı eylemlerinde sayfa açar ve aramada görünüp görünmemenizi belirlemez. [1] Anthropic'te Claude-SearchBot arama sonuçlarının kalitesi, ClaudeBot model eğitimi, Claude-User kullanıcı istekleri için kullanılır. [3] Perplexity'ye göre PerplexityBot siteleri arama sonuçlarında göstermek içindir ve temel model eğitimi için içerik toplamaz; Perplexity-User ise kullanıcı isteğiyle gelir ve genellikle robots.txt kurallarını dikkate almaz. [4]
Google'da yapı farklı. Google-Extended ayrı bir tarayıcı değil, robots.txt'de kullanılan bir belirteçtir; Google'ın taradığı içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki dayanak (grounding) kullanımında yer alıp almayacağını belirler. [2] Google, bu belirtecin Google Arama'ya dahil olmayı ve sıralamayı etkilemediğini yazıyor. Arama tarafındaki yapay zekâ özelliklerini Google AI Modu'nda ürün ve kategori sayfaları yazımızda ele aldık.
| Bot | Amacı | robots.txt satırı (örnek) |
|---|---|---|
| OAI-SearchBot (OpenAI) | ChatGPT aramasında kaynak gösterilme | User-agent: OAI-SearchBot · Allow: / |
| GPTBot (OpenAI) | Model eğitimi | Eğitimi kapatmak için User-agent: GPTBot · Disallow: / |
| Claude-SearchBot ve ClaudeBot (Anthropic) | Arama kalitesi ve model eğitimi | Eğitimi kapatmak için User-agent: ClaudeBot · Disallow: / |
| PerplexityBot (Perplexity) | Perplexity aramasında gösterilme | User-agent: PerplexityBot · Allow: / |
| Google-Extended (Google) | Gemini eğitimi ve dayanak kullanımı, Google Arama'yı etkilemez | User-agent: Google-Extended · Disallow: / |
| ChatGPT-User, Claude-User, Perplexity-User | Kullanıcı isteğiyle sayfa açma | Engellemeyin; OpenAI ve Perplexity bu isteklerde kuralın uygulanmayabileceğini belirtiyor |
E-ticaret sitesi için hangi robots.txt ayarı mantıklı?
Arama botlarını açık bırakın, eğitim botları için bilinçli karar verin ve kullanıcı ajanlarını engellemeyin. Ürün, kategori, kargo ve iade sayfaları satış içeriğidir; bunların yapay zekâ yanıtlarında kaynak gösterilmesini istersiniz. Eğitim botlarını kapatmak arama görünürlüğünü etkilemez, çünkü OpenAI bu iki ayarın birbirinden bağımsız olduğunu açıkça yazıyor. [1]
Varsayımsal bir örnek: 4.000 ürünlü bir ev tekstili mağazası özgün ürün fotoğrafları ve uzun bakım rehberleri üretiyor ve bunların model eğitiminde kullanılmasını istemiyor. Bu mağaza için GPTBot, ClaudeBot ve Google-Extended satırlarına "Disallow: /" yazıp OAI-SearchBot, Claude-SearchBot ve PerplexityBot'u açık bırakmak tutarlı bir tercihtir. Sepet, hesap ve sipariş takibi adreslerini ise bütün botlara kapatın; bunlar arama içeriği değildir.
Dikkat: Değişiklik anında etkili olmaz. OpenAI arama tarafında yaklaşık 24 saat, Perplexity ise 24 saate kadar süre veriyor. [1] [4] Dosyayı güncelledikten sonra siteniz.com/robots.txt adresini tarayıcıda açın ve satırların gerçekten yayında olduğunu görün.
Cloudflare'in yapay zekâ bot ayarları neyi değiştirdi?
Cloudflare, 15 Eylül 2026'da yapay zekâ bot kontrollerini yeniledi: Training ayarına "Disallow AI Training" seçeneği eklendi ve "Block" seçimi artık Googlebot, Bingbot ve Applebot gibi hem arama hem eğitim için tarayan karma tarayıcıları da kapsıyor. [5] Yani Training için "Block" seçen bir mağaza Google aramasındaki taramayı da durdurmuş olur. Eğitimi kapatıp aramayı korumak istiyorsanız "Disallow AI Training" seçin.
Aynı tarihten itibaren yeni eklenen alan adlarına iki hazır yapılandırma öneriliyor: reklam göstermeyen siteler için Search, Training ve Agent izinli; reklamdan gelir elde eden siteler için Training "Disallow AI Training", Agent ise reklamlı sayfalarda engelli. [5] Eski "Block AI bots" ayarında engellemeyi seçmiş alan adlarının Training tercihi "Disallow AI Training" ayarına taşındı. Bot Preference Sync açıksa bu tercihler robots.txt dosyanıza otomatik eklenir.
Bu ayarlar, ücretsiz plan dahil bütün planlarda alan adının Security Settings bölümünde yer alıyor. [5] Cloudflare'in temel işleyişini Cloudflare nedir yazımızda bulabilirsiniz. Kasım kampanyalarından önce bu ekranın görüntüsünü alıp saklayın; sessizce değişen bir bot ayarı aylarca fark edilmeyebilir.
IdeaSoft, ikas ve Shopify'da robots.txt'ye nasıl erişilir?
Hazır altyapılarda robots.txt'yi dosya olarak sunucuya yüklemezsiniz; düzenleme yeri altyapıya göre değişir. ikas'ta dosya, B2C satış kanalının "SEO and Domain" ayarlarındaki robots.txt bölümünden düzenleniyor; dosya varsayılan olarak salt okunur ve değişiklik için bir onay kutusunu işaretlemek gerekiyor. Shopify'da ise temanın kod düzenleyicisine robots.txt.liquid şablonu eklenerek özelleştiriliyor ve Shopify bunu desteklenmeyen özelleştirme olarak tanımlıyor.
IdeaSoft, Ticimax ya da T-Soft kullanıyorsanız işe yayındaki dosyayı okuyarak başlayın: siteniz.com/robots.txt adresini açın, yapay zekâ botları için bir satır olup olmadığına bakın ve değişikliği panelden mi yoksa destek ekibi aracılığıyla mı yapacağınızı altyapı sağlayıcınıza sorun. Hangi altyapıda olursanız olun, sonucu hem robots.txt'de hem varsa Cloudflare ayarlarında doğrulayın. İkisi çelişirse engelleyen taraf belirleyici olur.
Bot ayarlarını ne sıklıkla kontrol etmelisiniz?
Üç ayda bir ve her altyapı, tema ya da CDN değişikliğinden sonra kontrol edin. Bot adları ve sınıflandırmalar değişiyor: OpenAI'nin belgesinde artık reklam açılış sayfalarını kontrol eden OAI-AdsBot da var [1], Cloudflare'in ayarları da 2026'da yeniden düzenlendi. [5] Kontrolün kendisi kısa: robots.txt'yi okuyun, sunucu kayıtlarında OAI-SearchBot ve PerplexityBot isteklerinin başarılı yanıt alıp almadığına bakın, Cloudflare'de Search, Training ve Agent ayarlarını not edin.
Üç aylık bot kontrolü
- siteniz.com/robots.txt dosyasını okuyun.
- Sunucu kayıtlarında OAI-SearchBot ve PerplexityBot isteklerinin başarılı yanıt aldığını görün.
- Cloudflare'de Search, Training ve Agent ayarlarını not edin.
- Training için Block yerine Disallow AI Training seçili olduğunu doğrulayın.
Bot erişimi yalnız ilk adımdır; tarayıcı sayfaya ulaştığında ne okuyacağı da sonucu belirler. ChatGPT'deki ürün görünürlüğünün sonraki adımlarını ChatGPT alışveriş rehberimizde, yapay zekâ işlerinin genel sırasını e-ticarette yapay zekâ danışmanlığı yazımızda topladık.
robots.txt adresinizi, kullandığınız altyapıyı ve varsa Cloudflare ayar ekranınızın görüntüsünü gönderin; hangi botun gerçekten engellendiğini ilk incelemede görebiliriz. WebAction'ın GEO ve yapay zekâ görünürlüğü hizmeti kapsamında bu ayarları arama görünürlüğünüzle birlikte inceliyoruz.
Sık sorulan sorular
GPTBot'u engellemek ChatGPT'de görünürlüğümü azaltır mı?
OpenAI'ye göre hayır. GPTBot model eğitimi için tarar; ChatGPT arama yanıtlarındaki görünürlüğü OAI-SearchBot belirler ve iki ayar birbirinden bağımsızdır.
Google-Extended'ı engellersem Google aramasında geriler miyim?
Google, Google-Extended'ın Google Arama'ya dahil olmayı ve sıralamayı etkilemediğini belirtiyor. Bu belirteç, içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki dayanak kullanımında yer alıp almayacağını belirler.
robots.txt botları gerçekten durdurur mu?
Durdurmaz; robots.txt kurallara uyan botlar için bir tercih beyanıdır. Kurala uymayan bir tarayıcıyı durdurmak için Cloudflare gibi bir hizmette ya da sunucu güvenlik duvarında engelleme gerekir.
llms.txt, robots.txt'nin yerine geçer mi?
Geçmez. robots.txt hangi botun hangi adresi tarayabileceğini söyler; llms.txt ise site hakkında özet ve önemli bağlantılar sunmayı amaçlayan bir dosyadır ve erişim izni vermez.
Kaynaklar
- OpenAI — Overview of OpenAI Crawlers (18.10.2026)
- Google for Developers — Google'ın yaygın tarayıcıları (Google-Extended) (18.10.2026)
- Anthropic (Claude Yardım Merkezi) — Anthropic web tarayıcıları ve engelleme (18.10.2026)
- Perplexity — Perplexity Crawlers (18.10.2026)
- Cloudflare Blog — Have it both ways: stay discoverable in search while disallowing AI training (15.09.2026) (15.09.2026)
İhtiyacınızı konuşalım, ilk adımı belirleyelim.
Talebinizi bırakın; ekibimiz ihtiyacınızı dinlesin ve uygun kapsamı paylaşsın.
- Ücretsiz ve yükümlülüksüz
- Çalışma saatlerinde geri arama
