Robots.txt Dosyası Kullanarak Hassas Dizinlerin Belirlenmesi

BGA Security Wiki sitesinden
Şuraya atla: kullan, ara

Amaç:

Web üzerinde otomatik siteleri dolaşan robot uygulamaların bir siteyi ziyaret ettiğinde hangi sayfalara ulaşıp hangilerine ulaşamayacağını kontrol ettiği "robots.txt" dosyasından arama motorlarında bulunamayan sayfaların adreslerine erişim sağlamak.

Araç:

  • Web sitelerinin kök dizininde bulunan robots.txt dosyaları

Adımlar:

  • Test ettiğimiz web sitesinin kök dizinindeki robots.txt dosyası açılır.
  • Bu dosya üzerinden “disallowed” olan sayfa adresleri belirlenir.

Kaynak:[değiştir]