Robots.txt dosyası, web sitenizin arama motoru botlarına hangi sayfaları tarayıp hangilerini taramayacaklarını söyleyen, sitenizin kök dizininde yer alan ve teknik SEO’nun temel taşını oluşturan kritik bir metin belgesidir.
SEO kariyerimin ilk yıllarında, robots.txt dosyasını sadece “taramayı kapatan bir dosya” olarak görürdüm. Ancak büyük ölçekli e-ticaret projelerinde ve milyonlarca sayfası olan haber sitelerinde çalıştıkça anladım ki; bu dosya aslında bir trafik polisi gibidir. Yanlış bir komut, sitenizin en değerli sayfalarının SERP (arama motoru sonuç sayfaları) üzerinden silinmesine neden olabilirken, doğru bir yapılandırma Crawl Budget (tarama bütçesi) yönetiminde harikalar yaratabilir.
Robots.txt Nedir ve Neden Hayatidir?
Googlebot, Bingbot veya YandexBot sitenize geldiğinde ilk ziyaret ettikleri yer robots.txt dosyasıdır. Eğer bu dosya yoksa botlar “her yer serbest” diyerek her kapıyı çalar. İlgili konuda Ücretsiz SEO Araçları: Sitenizi Analiz Edebileceğiniz 15 Araç içeriğimiz size yardımcı olabilir. Ancak 2024 yılında, milyarlarca sayfanın yarıştığı bir ortamda, botların enerjisini gereksiz sayfalarla (sepet sayfaları, admin panelleri, filtreleme sonuçları) harcamasını istemeyiz. Kendi testlerimizde gördük ki, doğru optimize edilmiş bir robots.txt dosyası, önemli sayfaların daha sık taranmasını sağlayarak LCP gibi performans metriklerinin takibini ve indeks hızını doğrudan etkiliyor.
Google Ne Diyor?
Google, robots.txt dosyasının bir zorunluluk olmadığını ancak tarama bütçesini yönetmek için en etkili araç olduğunu belirtir. Unutmayın, robots.txt bir sayfayı Google dizininden kaldırmak için kesin bir çözüm değildir; sadece taramayı engeller.
Temel Komutlar ve 2026 Standartları
Bir robots.txt dosyasında kullanılan komutlar basit görünse de, kombinasyonlar karmaşıklaşabilir. İlgili konuda Backlink Nedir? SEO İçin Neden Hayati Önem Taşır? içeriğimiz size yardımcı olabilir. İşte bilmeniz gereken temel yapı taşları:
- User-agent: Hangi bota seslendiğinizi belirtir. (Örn: * tüm botlar demektir.)
- Disallow: Botun girmesini istemediğiniz dizin veya sayfadır.
- Allow: Disallow edilen bir klasör içindeki özel bir dosyaya izin vermek için kullanılır.
- Sitemap: Site haritanızın tam URL’sini buraya eklemek, botların yolunu bulmasını kolaylaştırır.
Uzman Taktiği
Sitemap adresinizi robots.txt dosyasının en altına eklemeyi unutmayın. Bu, Search Console dışında botlara verdiğiniz en güçlü sinyaldir. Ayrıca, 2024 itibarıyla ChatGPT’nin botu olan GPTBot‘u engellemek veya izin vermek için özel bir satır eklemek modern bir gerekliliktir.
Sık Yapılan Hatalar ve Benim Acı Deneyimlerim
Genelde yapılan hata şudur: Sitenin tüm CSS ve JavaScript dosyalarını taramaya kapatmak. Eskiden bu bir gelenekti ancak günümüzde Google, bir sayfayı tıpkı bir kullanıcı gibi render etmek (görüntülemek) istiyor. Eğer botun CSS dosyalarınıza erişimini engellerseniz, sayfanızın mobil uyumlu olmadığını veya tasarımının bozuk olduğunu düşünebilir. Bu da doğrudan sıralama kaybı demektir.
Bir keresinde, bir müşterimizin sitesinde `/search/` parametresini yanlışlıkla tüm botlara kapattığımız için, aslında organik trafik getiren bazı filtre sayfalarının da tarama dışı kaldığını fark ettik. Bu basit hata, organik trafikte bir haftada %15’lik bir düşüşe neden olmuştu. Kaliteli Backlink Nasıl Alınır? 2026 Güncel Stratejiler yazımızda bu konuyu derinlemesine ele aldık. Bu yüzden, değişiklik yapmadan önce mutlaka Search Console üzerindeki “Robots.txt Test Aracı”nı kullanmalısınız.
Spam Riski!
Hassas kullanıcı verilerinin bulunduğu dizinleri robots.txt ile engellemek bir güvenlik önlemi değildir. Robots.txt dosyası herkes tarafından görüntülenebilir. Gizli kalması gereken dizinleri sunucu tarafında şifreleyin veya “noindex” meta etiketi kullanın.
Robots.txt vs. Noindex: Hangisini Ne Zaman Kullanmalı?
Birçok kişi bu ikisini karıştırıyor. Eğer bir sayfanın Google sonuçlarında hiçbir şekilde görünmesini istemiyorsanız, robots.txt tek başına yeterli olmayabilir. Başka bir siteden o sayfaya Backlink verilirse, Google o sayfayı “İçerik taranamadı ama böyle bir sayfa var” diyerek dizine ekleyebilir.
| Özellik | Robots.txt (Disallow) | Meta Noindex Etiketi |
|---|---|---|
| Ana Amaç | Tarama Bütçesi Yönetimi | Dizine Eklenmeyi Engelleme |
| Bot Erişimi | Bot sayfaya giremez. | Bot sayfaya girer ama dizine eklemez. |
| Link Suyu (Link Juice) | Aktarılmaz. | Genellikle aktarılır (follow ise). |
| Uygulama Alanı | Dosya seviyesinde (Toplu). | Sayfa seviyesinde (Tekil). |
Yapay Zeka Botlarını Yönetmek (GPTBot ve CCBot)
2024 yılındaki en büyük tartışmalardan biri, içeriğimizin yapay zeka modellerini eğitmek için kullanılmasıdır. Eğer içeriğinizin OpenAI tarafından taranmasını istemiyorsanız, robots.txt dosyanıza şu satırları eklemelisiniz:
User-agent: GPTBot
Disallow: /
Ancak dikkat edin, bu sadece taramayı durdurur. Eğer içeriğiniz çoktan eğitilmişse, bu komut geçmiş veriyi silmez. SEO dünyasında dürüst olmak gerekirse, bu botlara izin vermek bazen AI destekli arama sonuçlarında (SGE gibi) yer almanıza yardımcı olabilir. Bu yüzden karar verirken stratejik düşünün.
Merak Edilenler & Sorular
Robots.txt dosyası nerede bulunmalıdır?
Robots.txt dosyası her zaman web sitenizin kök dizininde (root) bulunmalıdır. Örn: siteniz.com/robots.txt. Alt klasörlerdeki robots.txt dosyaları botlar tarafından dikkate alınmaz.
Robots.txt dosyasında büyük/küçük harf duyarlılığı var mı?
Evet, robots.txt komutları ve dosya yolları büyük/küçük harf duyarlıdır. “Disallow: /Admin” ile “Disallow: /admin” farklı yerleri işaret eder.
Wildcard (*) kullanımı nedir?
Wildcard, “herhangi bir karakter dizisi” anlamına gelir. Örneğin, “Disallow: /urun-etiket/*” komutu, urun-etiket klasörü altındaki tüm sayfaları engeller.
Google robots.txt dosyasını ne sıklıkla okur?
Google genellikle günde en az bir kez robots.txt dosyanızı kontrol eder. Ancak Search Console üzerinden dosyayı güncellediğinizi bildirerek bu süreci hızlandırabilirsiniz.
Eylem Planı: Sitenizi Bugünden Optimize Edin
Robots.txt dosyanızın mükemmel olduğundan emin olmak için şu adımları izleyin:
- Dosyanızı Kontrol Edin: Tarayıcınıza siteniz.com/robots.txt yazın. Dosya açılıyor mu? 404 hatası veriyorsa hemen bir tane oluşturun.
- Kritik Klasörleri Engelleyin: Admin paneli, sepet sayfası, kişisel kullanıcı verileri ve site içi arama sonuç sayfalarını (query parameters) engelleyerek tarama bütçenizi koruyun.
- Kaynaklara İzin Verin: CSS, JS ve imaj dosyalarınızın botlar tarafından erişilebilir olduğundan emin olun.
- Search Console Testi Yapın: Google Search Console içindeki “Robots.txt Ayarları” kısmından dosyanızda hata olup olmadığını kontrol edin.
- Yapay Zeka Stratejinizi Belirleyin: GPTBot ve benzeri botlara izin verip vermeyeceğinize karar verin ve gerekli komutları ekleyin.
Unutmayın, teknik SEO bir kerelik bir iş değil, sürekli bir denetim sürecidir. Robots.txt dosyanızda yapacağınız küçük bir iyileştirme, sitenizin Google gözündeki değerini ve tarama verimliliğini sandığınızdan çok daha fazla artırabilir.
