Robots.txt, sitenizin kapısındaki güvenlik görevlisi gibidir. Arama motoru botları (Googlebot, Bingbot) sitenize geldiğinde ilk olarak siteadresi.com/robots.txt adresini okur.
Temel Robots.txt Komutları
User-agent: *: Kuralın tüm arama motoru botları için geçerli olduğunu belirtir.Disallow: /admin/: Botların yönetici paneli dizinini taramasını yasaklar.Allow: /admin/login.php: Yasaklı dizin içindeki spesifik bir dosyanın taranmasına izin verir.Sitemap: https://site.com/sitemap.xml: Arama motorlarına XML site haritasının tam konumunu gösterir.
Kritik Uyarı: İndeksleme Engeli Değildir!
Robots.txt ile bir sayfayı Disallow etmeniz o sayfanın Google dizininden çıkacağını garanti etmez. Eğer başka siteler o sayfaya link veriyorsa Google sayfayı içeriğini okumadan sadece URL olarak listeleyebilir. İndeksten kesin çıkarmak için noindex kullanılmalıdır.
Sıkça Sorulan Sorular (SSS)
Robots.txt Dosyası hakkında en sık yöneltilen sorular ve mühendislik ekibimizin uzman yanıtları:
Kesinlikle HAYIR! Googlebot sayfayı tıpkı bir insan gibi render etmek zorundadır; CSS ve JS'i engellerseniz sitenizi 'kırık' algılar ve ceza verir.
Her zaman sitenin tam kök dizininde (root) yer almalıdır: <code>https://site.com/robots.txt</code>.