Previous
Next

Robots.txt nedir ve nasıl düzenlenir?

by Cem Kefeli 10. Mart 2009 04:36

.NET BlogEngine ile birlikte kök dizininde Robots.txt isimli bir dosya geliyor ve bu dosyanın uygun şekillerde edit edilmesi gerekmekte. Web hostinginizin root dizini içerisinde bulunması faydalı olacak bu dosya web spider ve web spawler'lardan dosyalarınızı ve sitenizin içeriğini korumanıza yardımcı olmaktadır. Örneğin bir login sayfanızın google tarafından indexlenmesini istemiyorsanız ilgili yolu göstererek edit etmeniz yeterli olacaktır. Edit edilmesi ise son derece kolay bir şekilde yapılmakta. Bir dizin ya da dosyayı allow/disallow ederek erişim belirteçlerini kontrol altında tutabiliyorsunuz. Hatta hangi arama motorlarını allow/disallow edeceğinizi de belirtebilirsiniz. Her bir subdomain için bu dosyadan kök dizine bir tane uygun şekilde yerleştirmeniz faydalı olacaktır. .NET BlogEngine ile birlikte gelen Robots.txt'yi aşağıdaki şekilde edit edebilirsiniz örneğin;

User-agent: *
Disallow: /login.aspx
Disallow: /search.aspx
Disallow: /error404.aspx
Disallow: /archive.aspx

Bu dosyada login.aspx, search.aspx, error404.aspx ve archive.aspx dosyalarının spiderlar tarafından erişimi ve indexlenmesi yasaklanmıştır. Sitemap ile gösterilen ise sitenin içerik haritasıdır ve bu içeriğe göre arama motorları indexlemelerini daha kolay olarak yapmaktadır.

Bu dosyayı oluşturduktan sonra hostinginizin kök dizinine upload etmeli ve Google WebMaster Tools'u kullanarak da bu değişiklikten haberdar etmelisiniz. Sanırım Google hergün düzenli olarak bu adresleri tarayıp gerekli güncellemeleri yapıyor. Yani bu işleminiz kısa süre sonra işleme koyulacaktır. Bu linki kullanarak Robot.txt dosyası değişikliğinizi onaylatabilirsiniz.

Yorumlar (2) -

selim
selim Turkey
09.07.2009 14:00:26 #

saol....

Yanıtla

admin
admin United States
13.07.2009 04:40:37 #

Yorumun için teşekkürler.. Umarım faydalı olabilmiştir..

Yanıtla

Yorum ekle

biuquote
  • Yorum
  • Canlı önizleme
Loading

Hakkımda...

Cem KEFELİ

Electronics and
Telecommunication Eng.
devamı...


Son yapılan yorumlar...

Comment RSS

Yasal bir uyarı...

Disclaimer"Bu web sitesinde görmüş olduğunuz bilgilerin, dokümanların ve diğer materyallerin kullanılmasından doğabilecek hiç bir sorumluluktan site sahibi sorumlu tutulamaz. Web sitesi içerisinde yer alan yazılar, yorumlar, resimler ve diğer tüm içerikler yalnızca sahibinin görüşünü yansıtmakta olup içeriğin sahibi kişilerin çalıştığı kurumları bağlayıcı hiç bir nitelik taşımamaktadır. Yapılan tüm alıntılar mutlaka kaynak gösterilerek verilmeye çalışılmaktadır. Web sitesi içerisinde bulunan ilgili materyaller, ilgili yasal kurumlar tarafından uygun görülmemesi durumda kaldırılacaktır."
General