Özet Cevap: Robots.txt, arama motoru botlarına (Googlebot) sitenizin hangi bölümlerini tarayabileceğini veya tarayamayacağını söyleyen bir metin dosyasıdır. Wix üzerinde Pazarlama ve SEO > SEO Araçları > Robots.txt Editörü yolunu izleyerek düzenlenebilir ve tarama bütçesini optimize etmek için kritik öneme sahiptir.
Robots.txt Dosyası Nedir ve Neden Hayatidir?
Bir alışveriş merkezinin kapısındaki güvenlik görevlisini hayal edin. Müşterilerin mağazalara girmesine izin verir ancak depo, elektrik odası veya personel alanlarına girişlerini engeller. İnternet terminolojisinde bu güvenlik görevlisi robots.txt dosyasıdır.
Arama motoru robotları (Googlebot, Bingbot) sitenize geldiğinde okudukları ilk dosya budur. Hangi sayfalara yetkisi olduğunu, hangi klasörlerden uzak durması gerektiğini bu metin dosyasından anlar. Yanlış yapılandırılmış bir robots.txt dosyası sitenizi anında Google dışına atabilirken, doğru yapılandırılmış hali Crawl Budget (Tarama Bütçesi) tasarrufu sağlar.
Tarama Bütçesi (Crawl Budget) Ne İşe Yarar?
Google'ın devasa sunucuları vardır ancak onların da bir sınırı vardır. Sitenize ayırdıkları günlük belli bir zaman ve kota (tarama bütçesi) vardır.
Eğer sitenizde yüzlerce gereksiz filtreleme sayfası (Örn: Fiyata göre sırala, renge göre sırala üreten dinamik URL'ler), sepet sayfaları veya admin paneli linkleri varsa ve robot bunları satır satır taramaya kalkarsa, kotasını boşa harcar. Asıl taranması gereken "Yeni Blog Yazınız" için bütçe kalmaz ve günlerce Google'a giremezsiniz.
Wix'te Robots.txt Dosyası Nasıl Düzenlenir?
Eskiden Wix kullanıcıları bu hayati dosyaya müdahale edemezdi. Ancak değişen altyapı ile artık tam yetkiye sahipsiniz.
- Wix panelinizde Pazarlama ve SEO > SEO Araçları bölümüne gidin.
- Robots.txt Editörü seçeneğine tıklayın.
- Karşınıza
User-agent: *ile başlayan varsayılan dosya metni çıkacaktır.
Örnek Bir İdeal Engelleme Kodu:
Ortalama bir e-ticaret siteniz varsa, arama filtrelerini şu komutlarla bloke etmelisiniz:
User-agent: *
Disallow: /*?currency=*
Disallow: /*?price=*
Disallow: /*?sort=*Bu komutlar, URL'sinde fiyat, sıralama veya kur gibi dinamik parametre oluşturulan sayfaların botlar tarafından taranmasını reddeder (Disallow). Böylece botlar gerçek ürün sayfalarınıza ve blog yazılarınıza odaklanır.
Kritik Uyarı: Dikkatli Olun!
Robots.txt dosyasını manuel düzenlemek tehlikelidir. Sadece bir / (slash) işaretini yanlış yere koyarsanız veya Disallow: / komutunu tek başına bırakırsanız sitenizin tamamını indekslenmeden sonsuza kadar engellersiniz (Bu komut direkt "tüm sitemi taramayı bırak" demektir).
Eğer teknik bilginiz yeterli değilse, VixSEO'nun Otomatik Audit (Denetim) aracı, sitenizde robots.txt sızıntısı veya yanlış parametre olup olmadığını sürekli olarak sizin yerinize kontrol edecektir. Yanlış bir komut kaydettiğinizde VixSEO alarm vererek tüm emeğinizin boşa gitmesini engeller.