Robots.txt nedir ve nasıl düzenlenir?

.NET BlogEngine ile birlikte kök dizininde Robots.txt isimli bir dosya geliyor ve bu dosyanın uygun şekillerde edit edilmesi gerekmekte. Web hostinginizin root dizini içerisinde bulunması faydalı olacak bu dosya web spider ve web spawler'lardan dosyalarınızı ve sitenizin içeriğini korumanıza yardımcı olmaktadır. Örneğin bir login sayfanızın google tarafından indexlenmesini istemiyorsanız ilgili yolu göstererek edit etmeniz yeterli olacaktır. Edit edilmesi ise son derece kolay bir şekilde yapılmakta. Bir dizin ya da dosyayı allow/disallow ederek erişim belirteçlerini kontrol altında tutabiliyorsunuz. Hatta hangi arama motorlarını allow/disallow edeceğinizi de belirtebilirsiniz. Her bir subdomain için bu dosyadan kök dizine bir tane uygun şekilde yerleştirmeniz faydalı olacaktır. .NET BlogEngine ile birlikte gelen Robots.txt'yi aşağıdaki şekilde edit edebilirsiniz örneğin;

User-agent: *
Disallow: /login.aspx
Disallow: /search.aspx
Disallow: /error404.aspx
Disallow: /archive.aspx

Bu dosyada login.aspx, search.aspx, error404.aspx ve archive.aspx dosyalarının spiderlar tarafından erişimi ve indexlenmesi yasaklanmıştır. Sitemap ile gösterilen ise sitenin içerik haritasıdır ve bu içeriğe göre arama motorları indexlemelerini daha kolay olarak yapmaktadır.

Bu dosyayı oluşturduktan sonra hostinginizin kök dizinine upload etmeli ve Google WebMaster Tools'u kullanarak da bu değişiklikten haberdar etmelisiniz. Sanırım Google hergün düzenli olarak bu adresleri tarayıp gerekli güncellemeleri yapıyor. Yani bu işleminiz kısa süre sonra işleme koyulacaktır. Bu linki kullanarak Robot.txt dosyası değişikliğinizi onaylatabilirsiniz.