Robots.txt oluşturucu, arama motoru botlarının web sitenizde hangi alanları tarayabileceğini veya taramaması gerektiğini belirleyen robots.txt dosyasını hızlıca hazırlamanıza yardımcı olur.
Kullanıcı aracınızı, izin verilecek veya engellenecek dizinleri ve sitemap adresinizi girerek sitenize uygun robots.txt çıktısını saniyeler içinde oluşturabilirsiniz.
robots.txt, web sitenizin kök dizininde bulunan ve arama motoru tarayıcılarına hangi URL veya dizinleri tarayabileceklerini bildiren düz metin dosyasıdır.
Google, Bing ve diğer arama motoru botları siteyi taramadan önce robots.txt dosyasını kontrol edebilir. Dosyada User-agent, Disallow, Allow ve Sitemap gibi direktifler kullanılabilir.
“Robots.txt, bir sayfanın arama sonuçlarında kesin olarak görünmesini engelleyen bir güvenlik aracı değil, tarama davranışını yöneten bir dosyadır.”
Google’ın robots.txt kullanımına ilişkin teknik açıklamalarını Google Search Central üzerinden inceleyebilirsiniz.
Robots.txt dosyasını elle yazmak mümkündür ancak küçük bir sözdizimi hatası bile istemediğiniz dizinlerin taranmasını engelleyebilir. Robots.txt oluşturucu, gerekli direktifleri düzenli bir formatta oluşturmanızı kolaylaştırır.
robots.txt adıyla yükleyin.Örneğin yönetim paneli, dahili arama sonuçları veya gereksiz filtre URL’leri için tarama kısıtlamaları tanımlanabilir.
Pratikte kritik nokta şu: robots.txt dosyasını yalnızca gerçekten taranmasını istemediğiniz alanlar için kullanmak gerekir.
Google, dosyanın kök dizinde bulunması gerektiğini belirtir. Ayrıntılar için robots.txt spesifikasyonuna bakabilirsiniz.
Robots.txt dosyasının temel yapısı birkaç ana direktiften oluşur. Her direktif farklı bir tarama davranışını tanımlar.
| Direktif | Görevi |
|---|---|
| User-agent | Kuralın uygulanacağı botu belirtir |
| Disallow | Belirli dizin veya URL’lerin taranmasını engeller |
| Allow | Engellenmiş alan içindeki belirli yolların taranmasına izin verebilir |
| Sitemap | XML sitemap dosyasının adresini belirtir |
Örneğin tüm botların /admin/ dizinini taramasını engellemek için User-agent: * ve Disallow: /admin/ kuralları kullanılabilir.
Buradaki kritik nokta şu: robots.txt kurallarında küçük bir yol farkı farklı sonuçlar doğurabilir. Bu nedenle oluşturulan dosyayı yayınlamadan önce kontrol etmek önemlidir.
Robots.txt ve noindex aynı işlevi görmez. Robots.txt bir URL’nin taranmasını sınırlar; noindex ise bir sayfanın arama motoru dizinine eklenmemesi için kullanılan indeksleme direktifidir.
| Özellik | Robots.txt | Noindex |
|---|---|---|
| Temel amaç | Taramayı yönetmek | İndekslemeyi yönetmek |
| Kullanım yeri | robots.txt dosyası | HTML meta etiketi veya HTTP header |
| Sayfanın taranmasını engeller | Evet | Hayır |
| İndekslenmeyi kesin engelleme amacı | Hayır | Evet |
Bir URL robots.txt ile engellense bile başka sitelerden bağlantı alıyorsa bazı durumlarda URL arama sonuçlarında içeriksiz şekilde görünebilir.
→ Taramayı engeller → indekslemeyi garanti etmez.
Google bu farkı özellikle vurgular. Teknik detaylar için noindex dokümantasyonunu inceleyebilirsiniz.
Robots.txt dosyası doğru kullanıldığında arama motorlarının gereksiz URL’lere tarama kaynağı ayırmasını azaltabilir ve önemli sayfalara odaklanmasına yardımcı olabilir.
Özellikle çok sayıda filtre, parametre, dahili arama sonucu veya benzer URL üreten büyük sitelerde tarama yönetimi daha önemli hâle gelir. Ancak küçük sitelerde gereksiz yere karmaşık kurallar oluşturmak fayda yerine sorun çıkarabilir.
“İyi bir robots.txt dosyası mümkün olduğunca fazla URL engellemez; yalnızca taranması anlamsız olan alanları sınırlar.”
Google, robots.txt kullanımının tarama yönetimi için uygun olduğunu ancak gizli veya hassas bilgilerin korunması için kullanılmaması gerektiğini belirtir.
Daha fazla bilgi için Google Search Central robots.txt rehberini inceleyebilirsiniz.
Robots.txt dosyasındaki hatalı bir kural önemli sayfaların taranmasını engelleyebilir. Bu nedenle özellikle canlı sitelerde değişiklik yaparken kuralları dikkatli kontrol etmek gerekir.
Kontrol listeniz şu şekilde olabilir:
Robots.txt herkese açık bir dosyadır. Bu nedenle yönetim paneli URL’sini burada yazmak o alanı gizlemez; aksine adresin görünür hâle gelmesine neden olabilir.
Güvenlik açısından erişim kontrolü için kimlik doğrulama ve sunucu tarafı yetkilendirme kullanılmalıdır. Robots.txt standardının kapsamını RFC 9309 açıklamaktadır.
• Robots.txt, arama motoru botlarının web sitenizdeki tarama davranışını yöneten bir dosyadır.
• Dosya genellikle sitenin kök dizininde /robots.txt adresinde bulunur.
• Disallow direktifi taramayı engeller ancak tek başına indekslenmeme garantisi vermez.
• Hassas veya özel içerikleri korumak için robots.txt kullanılmamalıdır.
• Robots.txt dosyasını yayınlamadan önce önemli sayfaların yanlışlıkla engellenmediği kontrol edilmelidir.
2026 itibarıyla Robots Exclusion Protocol, IETF tarafından yayımlanan RFC 9309 standardıyla tanımlanmaya devam ediyor. Google ve diğer büyük arama motorları da robots.txt kurallarını tarama yönetimi amacıyla destekliyor.
Robots.txt hâlâ teknik SEO’nun temel araçlarından biridir ancak modern SEO çalışmalarında tek başına yeterli değildir. Sitemap, canonical etiketleri, noindex direktifleri ve doğru site mimarisiyle birlikte kullanılmalıdır.
Robots.txt dosyasını büyütmek her zaman daha iyi tarama kontrolü sağlamaz. Yüzlerce karmaşık kural eklemek, zaman içinde hangi URL’nin neden engellendiğini anlamayı zorlaştırabilir.
Özellikle e-ticaret ve büyük içerik sitelerinde önce gereksiz URL’lerin neden oluştuğunu çözmek daha sağlıklı olabilir. Parametre yönetimi, canonical kullanımı ve site mimarisi doğru kurulmadığında robots.txt yalnızca sorunun üzerini örtebilir.
Ayrıca JavaScript, CSS veya görsel kaynaklarını gereksiz yere engellemek Google’ın sayfayı doğru şekilde render etmesini zorlaştırabilir.
Robots.txt dosyasını bir temizlik aracı gibi değil, kontrollü bir tarama yönlendirme mekanizması olarak kullanmak daha doğru yaklaşımdır.
Robots.txt davranışının ayrıntıları için Google Search Central dokümantasyonunu inceleyebilirsiniz.