robots.txt設錯或不設有多恐怖,Google告訴你

9 / 4, 2012 架站技巧 , 網路安全

這怎麼來的呢?之前因為本站出現了一些php error,全被寫到error log,雖然對網站沒有太大的影響,不過既然有錯誤,還是修復一下比較好,於是小弟把錯誤放到google收尋,沒想到居然會找到別人的error log,還在第一頁,雖然一般人或直接略過這些資料,但是對於駭客,恐怕就不會這麼輕易放過這些寶貴資料了,而小弟也馬上查詢這些網站的robots.txt,結果有些不設,有些設錯,災難就是這樣開始的。


舉個例子,這個網站的error log出現在wp-includes,但是根目錄及wp-includes都找不到robots.txt,換句話說這些資料「完全可以被收尋引擎收錄」,包含error log。
robots.txt 404
如果你不相信收尋引擎找的到,送你一張圖。
error log 收尋結果
隨便找都找的到error log,所以請大家記住,「一定要設好robots.txt」。

  • 是可以交一下怎麼設拉..
    Robot.txt我都不知道拿來幹嘛的

    對了!我的自製佈景上線了~~

    • 相關教學網路上很多,我覺得沒必要再發一篇
      還有你的佈景和fdcloud相似度還蠻高的……,應該是看他的教學吧!