ChatGPT ve Gemini Siteni Okuyabiliyor mu? robots.txt Kontrolü

Selam! Müşterin artık "en iyi kamp çadırı hangisi" diye Google'a yazmıyor; ChatGPT'ye soruyor. O botlar cevabı üretirken siteni okuyabiliyor mu? Çoğu e-ticaret sitesinde bu sorunun cevabı hayır - üstelik farkında olmadan. Bu yazıda beş dakikada kontrol edeceğiz ve kopyalanmaya hazır bir robots.txt şablonu bırakacağım.

Neden AI botlarına izin vermelisin?

Arama davranışı değişti. Kullanıcı artık on mavi link arasında gezinmek yerine doğrudan soruyor: "2000 TL altı, su geçirmeyen, hızlı kargolanan bir spor ayakkabı öner."

Bu cevabı üreten sistem interneti tarıyor ve bir yerlerden bilgi çekiyor. Eğer siteni tarayamıyorsa o öneri listesinde yer alamıyorsun. Rakibin oradaysa ve sen yoksan, aradaki fark reklam bütçesiyle kapanmıyor.

Buradaki mesele sadece "okunmak" değil, tavsiye edilmek. Fark bu.

Hangi botlar var, isimleri ne?

Burada dikkat: bot isimleri değişiyor ve internetteki çoğu rehber eski isimleri veriyor. Güncel tablo şöyle:

5 dakikalık kontrol

1. Dosyayı aç Tarayıcına siteadin.com/robots.txt yaz. Bu dosya herkese açıktır, panele girmene gerek yok.
2. Genel engel var mı bak User-agent: * altında Disallow: / satırı varsa siten tüm botlara kapalı demektir. Bu satır genellikle geliştirme aşamasından unutulur ve aylarca öyle kalır.
3. AI botlarını ara Sayfada GPTBot, Google-Extended, ClaudeBot geçiyor mu? Geçiyorsa yanında Disallow: / mu var, Allow: / mı? Bazı altyapılar bunları varsayılan olarak kapalı getiriyor.
4. Sitemap satırını doğrula Dosyanın içinde Sitemap: satırı olmalı ve verdiği adres açılmalı. Bot kapıdan girer girmez haritayı görsün.
5. Hassas alanların kapalı olduğunu teyit et Sepet, ödeme, hesap ve yönetim panelleri her botta kapalı kalmalı. Burada gevşeklik güvenlik sorunudur.

Kopyalanmaya hazır robots.txt şablonu

Aşağıdaki şablon e-ticaret için hazırlandı. Tek değiştirmen gereken Sitemap satırındaki alan adı.

Son satır önemli: filtre sayfaları binlerce gereksiz adres üretir ve tarama bütçeni yer. Kullanıcı için varlar, bot için değil.

robots.txt tek başına yetmez

Kapıyı açmak ilk adım. Botun içeri girip işine yarayan bir şey bulması ayrı bir konu. Üç şey belirleyici:

• Cevap önde olsun. Bir soruyu cevaplıyorsan cevabı yazının sonuna saklama. İlk paragrafta 40-50 kelimelik net ve alıntılanabilir bir özet ver. Özetleme yapan sistem hazır parçayı kullanmayı sever.
• Yapılandırılmış veri kullan. Fiyat, stok, marka ve puan bilgisi metin içinde kaybolmasın; şema işaretlemesiyle net biçimde tanımlansın.
• Tablo ve liste kur. Karşılaştırmalı bilgiyi düz paragrafa gömmek yerine tablo yap. Yapılandırılmış içerik hem okunur hem alıntılanır.

Hız da işin içinde: siten yavaşsa bot taramayı yarıda bırakabiliyor. Botun sabrı senin ziyaretçinin sabrından uzun değil.

Kapıyı açmadan içeride ne olduğunun önemi yok. Ama kapı açıkken içerisi boşsa da kimse ikinci kez gelmiyor.

Sık sorulan sorular