Robots.txt Nedir ve Tam Olarak Ne İşe Yarar?
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına (crawler) sitenizin hangi bölümlerine erişip tarayabileceklerini veya tarayamayacaklarını bildiren basit bir metin dosyasıdır. Bu dosya, tarama bütçesini yönetmek ve hassas sayfaları dizine eklenmekten korumak için kullanılan bir protokoldür.
Web sitenizi dev bir kütüphane gibi düşünün. Arama motoru botları da bu kütüphaneyi kataloglamak için gelen görevlilerdir. Robots.txt dosyası ise bu görevlilere verdiğiniz bir talimat listesidir. Bu liste onlara, “Personel odasına girmeyin”, “Arşivdeki eski belgelere dokunmayın” veya “Sadece halka açık bölümü inceleyin” gibi direktifler verir. Temel amacı, bu otomatik ziyaretçilerin (botların) sitenizde nasıl davranacağını kontrol etmektir. Bu kontrol, sunucu kaynaklarınızı korumaktan, arama sonuçlarında görünmesini istemediğiniz sayfaları gizlemeye kadar geniş bir yelpazede fayda sağlar. Özellikle büyük ve karmaşık siteler için vazgeçilmez bir araçtır.
Robots.txt Dosyası Neden SEO İçin Kritik Öneme Sahiptir?
Robots.txt dosyasının doğru yapılandırılması, SEO performansınızı doğrudan etkileyen en önemli teknik unsurlardan biridir. Yanlış bir komut, sitenizin tamamının Google tarafından taranmasını engelleyebilir. Doğru bir yapılandırma ise arama motorlarının enerjisini en değerli sayfalarınıza odaklamasını sağlar. Bu duruma “tarama bütçesi optimizasyonu” denir. Google gibi arama motorları, her site için belirli bir tarama bütçesi ayırır. Bu, botların sitenizde ne kadar süre harcayacağını ve kaç sayfa tarayacağını belirler. Eğer botlar zamanlarını önemsiz, yinelenen veya teknik sayfaları (örneğin, arama sonuç sayfaları, yönetici panelleri) tarayarak harcarsa, asıl önemli olan ürün, hizmet veya blog sayfalarınıza sıra gelmeyebilir. İşte bu noktada robots txt nedir sorusunun SEO ile olan derin bağlantısı ortaya çıkar. Doğru bir robots.txt dosyası, botları doğrudan değerli içeriklerinize yönlendirerek tarama bütçenizi en verimli şekilde kullanmanızı sağlar. Bu da sayfalarınızın daha hızlı taranmasına ve dizine eklenmesine yardımcı olur. Kapsamlı bir Teknik SEO Denetimi sürecinde, robots.txt dosyasının incelenmesi her zaman ilk adımlardan biridir.
Robots.txt Dosyasının Temel Komutları Nelerdir?
Robots.txt dosyası, anlaşılması oldukça basit olan birkaç temel komut üzerine kuruludur. Bu komutlar, botlara ne yapmaları gerektiğini net bir şekilde anlatır. En sık kullanılan ve bilinmesi gereken direktifler şunlardır:
User-agent
Bu komut, hangi arama motoru botuna talimat verildiğini belirtir. Her arama motorunun kendi botu vardır (Google için Googlebot, Bing için Bingbot gibi). Tüm botlara aynı kuralı uygulamak için yıldız (*) işareti kullanılır. Bu en yaygın kullanımdır.
Disallow
Bu komut, belirtilen botun hangi dizine veya sayfaya erişmemesi gerektiğini söyler. Örneğin, yönetici panelinizin veya özel dosyalarınızın bulunduğu bir klasörü engellemek için bu komutu kullanırsınız.
Allow
Genellikle Disallow komutuyla birlikte kullanılır. Bir klasörü tamamen engellediğinizde (Disallow: /klasor/), ancak o klasörün içindeki belirli bir dosyaya veya alt klasöre izin vermek istediğinizde Allow komutu devreye girer. Bu komut, daha spesifik kurallar oluşturmanızı sağlar.
Sitemap
Bu komut, arama motorlarına sitenizin site haritasının (sitemap.xml) nerede olduğunu bildirir. Bu, botların sitenizdeki tüm önemli URL’leri daha kolay ve hızlı bir şekilde keşfetmesine yardımcı olur. Robots.txt dosyanızın sonuna eklemeniz şiddetle tavsiye edilir.
Crawl-delay
Bu komut, botların sitenizdeki sayfaları tararken aralarına ne kadar bekleme süresi koyması gerektiğini belirtir. Sunucu kaynaklarınızın aşırı yüklenmesini önlemek için kullanılır. Ancak Googlebot bu komutu artık desteklemediğini açıklamıştır, bu nedenle kullanımı azalmıştır. Bing gibi diğer botlar hala dikkate alabilir.
Bu komutların pratikte nasıl çalıştığını daha iyi anlamak için aşağıdaki karşılaştırma tablosunu inceleyebilirsiniz:
| Komut | Açıklama | Örnek Kullanım |
|---|---|---|
| User-agent: * | Tüm arama motoru botları için geçerli kural başlangıcı. | User-agent: * |
| User-agent: Googlebot | Sadece Google’ın botları için geçerli kural başlangıcı. | User-agent: Googlebot |
| Disallow: / | Sitenin tamamının taranmasını engeller. (ÇOK TEHLİKELİ) | Disallow: / |
| Disallow: | Hiçbir şeyi engelleme, tüm siteye izin ver. | Disallow: |
| Disallow: /admin/ | ‘admin’ klasörünü ve içindeki her şeyi engeller. | Disallow: /admin/ |
| Allow: /admin/anasayfa.html | Engellenen ‘admin’ klasörü içindeki ‘anasayfa.html’ dosyasına izin verir. | Allow: /admin/anasayfa.html |
| Sitemap: | Site haritasının konumunu belirtir. | Sitemap: https://www.example.com/sitemap.xml |
Adım Adım Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyası oluşturmak teknik gibi görünse de aslında oldukça basittir. Sadece düz bir metin dosyası oluşturup doğru komutları yazmanız yeterlidir. İşte izlemeniz gereken adımlar:
- Metin Düzenleyici Açın: Bilgisayarınızdaki herhangi bir basit metin düzenleyiciyi (Not Defteri, TextEdit, VS Code vb.) açın. Word veya Google Docs gibi zengin metin düzenleyicileri kullanmayın, çünkü bunlar dosyaya gizli formatlama kodları ekleyebilir.
- Kurallarınızı Yazın: Yukarıda öğrendiğiniz komutları kullanarak kurallarınızı yazın. Her site için temel bir başlangıç noktası genellikle şöyledir:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.siteniz.com/sitemap.xmlBu örnek, WordPress siteleri için yaygın bir başlangıçtır. Yönetici paneline erişimi engellerken, AJAX fonksiyonları için gerekli bir dosyaya izin verir ve site haritasını belirtir. Kendi sitenizin yapısına göre (örneğin bir E-ticaret SEO projesi için filtreleme URL’lerini engellemek gibi) bu kuralları özelleştirmeniz gerekir.
- Dosyayı Kaydedin: Dosyayı `robots.txt` adıyla kaydedin. İsimlendirme çok önemlidir. Büyük harf kullanmayın, farklı bir isim vermeyin. Dosya adı tam olarak bu olmalıdır.
- Kök Dizine Yükleyin: Oluşturduğunuz `robots.txt` dosyasını, web sitenizin kök dizinine (public_html, www, httpdocs gibi) FTP veya hosting panelinizin dosya yöneticisi aracılığıyla yükleyin.
- Doğrulayın: Dosyayı yükledikten sonra tarayıcınıza `https://www.siteniz.com/robots.txt` yazarak dosyanın doğru bir şekilde erişilebilir olduğunu kontrol edin. Yazdığınız kuralları görmelisiniz.
Robots.txt Test Aracı Nasıl Kullanılır ve Hatalar Nasıl Giderilir?
Robots.txt dosyanızı oluşturduktan sonra, herhangi bir hata yapıp yapmadığınızı ve Google’ın onu nasıl yorumladığını kontrol etmek hayati önem taşır. Yanlışlıkla önemli bir sayfayı engellemek, SEO çabalarınıza büyük zarar verebilir. Bu kontrol için en iyi araç, Google Search Console’un içinde yer alan Robots.txt Test Aracı’dır.
Bu aracı kullanmak için Google Search Console hesabınıza giriş yapın. Eski sürümde doğrudan bir bağlantı bulunurken, yeni sürümde bu araç doğrudan yer almaz. Ancak Google’ın kendi yardım dokümanları üzerinden erişilebilen bir test aracı mevcuttur. Alternatif olarak, birçok SEO aracı da bu işlevi sunar. Test aracına dosyanızın içeriğini yapıştırdığınızda veya sitenizin URL’sini girdiğinizde, araç size sözdizimi hatalarını ve mantıksal yanlışlıkları gösterir. Ayrıca, belirli bir URL’nin engellenip engellenmediğini test etmenize olanak tanır. Bu sayede, “Acaba ürün sayfamı yanlışlıkla engelledim mi?” gibi soruların cevabını net bir şekilde alabilirsiniz. Bu testler, genel bir SEO Rehberi içerisinde de vurgulanan, proaktif ve önleyici bakımın bir parçasıdır. Teknik sorunları erkenden tespit etmek, uzun vadede sizi büyük kayıplardan kurtarır.
Sık Yapılan Robots.txt Hataları Nelerdir ve Nasıl Kaçınılır?
Robots.txt dosyasının basitliğine rağmen, yapılan küçük hatalar büyük sorunlara yol açabilir. İşte en sık karşılaşılan hatalar ve bunlardan kaçınma yolları:
- Yanlış Dosya Konumu: Dosya mutlaka sitenin kök dizininde olmalıdır. `site.com/blog/robots.txt` gibi bir konumda olması geçersizdir. Doğrusu `site.com/robots.txt` olmalıdır.
- Sözdizimi Hataları (Typos): `Disallow` yerine `Dissallow` yazmak gibi basit yazım hataları, komutun tamamen geçersiz olmasına neden olur. Komutları dikkatlice kontrol edin.
- Yanlışlıkla Tüm Siteyi Engellemek: `Disallow: /` komutu, sitenizdeki her şeye erişimi engeller. Bu komutu sadece siteniz geliştirme aşamasındaysa ve arama motorlarından tamamen gizlemek istiyorsanız kullanın. Canlı bir sitede asla kullanılmamalıdır.
- CSS ve JS Dosyalarını Engellemek: Google, bir sayfayı kullanıcı gibi görebilmek için CSS ve JavaScript dosyalarına erişmek zorundadır. Bu dosyaların bulunduğu klasörleri (örneğin `/wp-content/themes/` veya `/assets/`) engellemek, Google’ın sayfalarınızı doğru bir şekilde oluşturmasını ve anlamasını engeller. Bu da sıralama sorunlarına yol açabilir.
- Büyük/Küçük Harf Duyarlılığı: URL yolları büyük/küçük harfe duyarlıdır. Eğer engellemek istediğiniz klasörün adı `Fotograflar` ise, robots.txt dosyanıza `Disallow: /fotograflar/` yazmanız işe yaramayacaktır. Tam eşleşme olmalıdır.
- Noindex ile Karıştırmak: Robots.txt bir sayfanın taranmasını engeller, ancak dizine eklenmesini (indexing) engellemeyebilir. Eğer bir sayfa daha önceden dizine eklenmişse ve siz onu robots.txt ile engellerseniz, sayfa taranamadığı için Google onun dizinden kaldırılması gerektiğini anlayamaz. Bir sayfanın dizine eklenmesini istemiyorsanız, `noindex` meta etiketini kullanmalısınız.
Bu tür teknik detaylarla uğraşmak istemiyorsanız veya sitenizin karmaşık yapısı için en doğru yapılandırmadan emin değilseniz, profesyonel destek almayı düşünebilirsiniz. Ekibimizle görüşmek için bize WhatsApp’tan yazabilirsiniz.
Robots.txt, Meta Robots ve X-Robots-Tag Arasındaki Farklar Nelerdir?
Web yöneticilerinin arama motoru botlarını yönlendirmek için kullandığı üç temel araç vardır: robots.txt, meta robots etiketi ve X-Robots-Tag HTTP başlığı. Her birinin farklı bir amacı ve kullanım alanı vardır. Robots txt nedir sorusunun cevabını anladıktan sonra, bu farkları bilmek, doğru aracı doğru yerde kullanmanızı sağlar.
- Robots.txt: Bu dosya, botlara bir URL’yi taramamalarını söyler. Bu bir direktif değil, bir ricadır. Google gibi büyük arama motorları bu ricaya uyar. Ancak bu, sayfanın dizine eklenmesini engellemez. Eğer başka sitelerden o sayfaya link varsa, Google URL’yi keşfedip taramadan dizine ekleyebilir. Tarama bütçesi yönetimi için idealdir.
- Meta Robots Etiketi: Bu, bir HTML sayfasının `` bölümüne eklenen bir koddur (``). Botlara, o sayfayı dizine eklememelerini (noindex) ve o sayfadaki linkleri takip etmemelerini (nofollow) söyler. Bu, robots.txt’den daha güçlü bir direktiftir ve bir sayfanın arama sonuçlarında görünmesini engellemenin en kesin yoludur. Botun bu etiketi görebilmesi için sayfayı taramasına izin verilmelidir.
- X-Robots-Tag: Bu, meta robots etiketiyle aynı işlevi görür ancak HTML koduna değil, sayfanın HTTP başlığına eklenir. Bu sayede PDF, DOCX veya resim dosyaları gibi HTML olmayan içeriklerin de dizine eklenmesini engelleyebilirsiniz. Daha esnek ve ölçeklenebilir bir kontrol sağlar.
Özetle; taramayı engellemek için robots.txt, dizine eklemeyi engellemek için ise meta robots veya X-Robots-Tag kullanmalısınız. Google’ın bu konudaki resmi dokümantasyonunu buradan inceleyebilirsiniz.
Robots.txt Dosyası SEO Performansını Nasıl Etkiler: Gerçek Senaryolar
Teoriyi bir kenara bırakıp robots.txt’nin pratikte SEO’yu nasıl etkilediğine bakalım. İşte birkaç yaygın senaryo:
Senaryo 1: E-ticaret Sitesi Filtreleri
Bir e-ticaret sitesinde renk, beden, marka gibi yüzlerce filtre kombinasyonu olabilir. Bu, binlerce anlamsız ve yinelenen içerik (duplicate content) URL’si oluşturur (örneğin, `…/ayakkabilar?renk=kirmizi&beden=42`). Bu URL’lerin taranması, tarama bütçesini boşa harcar. Robots.txt ile `Disallow: /*?renk=` gibi bir kural ekleyerek bu parametreli URL’lerin taranmasını engelleyebilir ve botların enerjisini ana kategori ve ürün sayfalarına odaklayabilirsiniz.
Senaryo 2: Geliştirme Ortamı (Staging)
Web sitenizin bir kopyasını `staging.siteniz.com` gibi bir alt alan adında geliştiriyorsunuz. Bu sitenin arama motorları tarafından dizine eklenmesi, orijinal sitenizle kopya içerik sorunları yaratır. Bu durumu önlemek için staging sitesinin robots.txt dosyasına `User-agent: *` ve `Disallow: /` komutlarını ekleyerek tüm botları engellemek en doğru yaklaşımdır.
Senaryo 3: Hassas Bilgiler
Kullanıcıların indirdiği PDF faturaların veya kişisel bilgilerin olduğu bir klasörünüz var. Bu klasörün arama sonuçlarında çıkması felaket olur. `Disallow: /indirilenler/` gibi bir komutla bu klasöre bot erişimini keserek gizliliği sağlayabilirsiniz. Ancak unutmayın, bu tam bir güvenlik önlemi değildir. Gerçekten hassas veriler her zaman şifre korumalı olmalıdır.
Bu senaryolar, robots txt nedir ve nasıl kullanılmalıdır sorularının ne kadar önemli olduğunu gösteriyor. Sitenizin yapısına uygun, stratejik bir robots.txt dosyası, SEO başarınız için temel bir yapı taşıdır. Web sitenizin teknik altyapısını güçlendirmek ve arama motorlarıyla daha iyi bir ilişki kurmak için atılacak ilk adımlardan biridir. Sitenizin potansiyelini tam olarak ortaya çıkarmak için stratejik bir plana ihtiyacınız varsa, WhatsApp üzerinden bizimle iletişime geçin, size özel çözümlerimizi konuşalım.
Sık Sorulan Sorular
Her web sitesinin bir robots.txt dosyası olmak zorunda mı?
Hayır, zorunlu değildir. Bir robots.txt dosyanız yoksa, arama motoru botları sitenizdeki herkese açık tüm sayfaları tarayabileceklerini varsayarlar. Ancak, tarama davranışını kontrol etmek ve SEO’yu optimize etmek için bir tane oluşturmanız şiddetle tavsiye edilir.
Robots.txt ile engellediğim bir sayfa neden hala Google'da görünüyor?
Robots.txt bir sayfanın taranmasını engeller, dizine eklenmesini değil. Eğer o sayfa daha önce dizine eklenmişse veya başka sitelerden link alıyorsa, Google URL’yi bilmeye devam eder ve tarayamasa bile arama sonuçlarında gösterebilir. Sayfayı dizinden tamamen kaldırmak için ‘noindex’ meta etiketini kullanmalı ve robots.txt’den engeli kaldırmalısınız ki Google bu etiketi görebilsin.
Her alt alan adı (subdomain) için ayrı bir robots.txt dosyası gerekir mi?
Evet. Robots.txt dosyası, bulunduğu ana bilgisayar adı (host) için geçerlidir. Bu nedenle, ‘blog.siteniz.com’ ve ‘shop.siteniz.com’ gibi her alt alan adının kendi kök dizininde ayrı bir robots.txt dosyası olmalıdır.
Robots.txt dosyasını site güvenliği için kullanabilir miyim?
Hayır. Robots.txt dosyası herkese açıktır ve kötü niyetli botlar veya kişiler tarafından kolayca okunabilir. Hassas dosyaların veya dizinlerin yerini belirtmek, onları korumak yerine aslında hedef gösterebilir. Gerçek güvenlik için parola koruması gibi sunucu tarafı yetkilendirme yöntemleri kullanılmalıdır.
