利用.htaccess阻擋收尋引擎

1 / 8, 2012 架站技巧 , 網站優化

有時你不希望你的網站被收尋引擎收錄,這時可以用robots.txt來解決,可是中國沒品暴力式收尋引擎不理他,這時就要用到.htaccess了


為何要阻擋呢?其實每次被收尋引擎撈資料,都會增加流量,如果有流量限制,這可不妙,以為用robots.txt就能解決問題嗎?這只對Google等有水準的收尋引擎有用,而對於中國沒品收尋引擎,必須要透過一些專業手法來解決
阻擋所有中國收尋引擎(如百度等)

SetEnvIfNoCase User-Agent "^Baidu" bad_bot
SetEnvIfNoCase User-Agent "^sogou" bad_bot
SetEnvIfNoCase User-Agent "^Bloghoo" bad_bot
SetEnvIfNoCase User-Agent "^Scooter" bad_bot
Deny from env=bad_bot

阻擋Google(其實robots.txt就ok了,但是一樣可以用這種方法)

SetEnvIf User-Agent "^Googlebot" google
Deny from env=google

注意:如果你本來就有.htaccess,請不要覆蓋檔案,請加在最上方或最下方(請勿破壞原本架構,否則網站會掛掉)