令人生氣的網路爬虫類spider robots ~

因為文章數量漸漸增加，也發現到紅的 Apache server 中爬文的 robot 也越來越多

開始浮現一些問題

1.Apache server & MySQL server 的 connection 某些時間被開始的量太誇張

2.CPU 及 HD 的負荷變得很吃重，甚至喘不過氣來( Pentuim 3.0G 512M)，而且目前僅只有進行 WWW 及MySQL 的服務

3.referral tracker顯示有很多 spam 造成的 error 連線

想了想有什麼治本的方法，紅想到可能可以從三個方向著手：Apache、robots、.htaccess

再考慮整體設定的簡便性，就打算從 Apache 這邊來下手

開啟httpd.conf（若是 Debian 的話，則是 /etc/apache2/apache2.conf ）設定檔

<Directory /var/www/>
……..

#以下是自己找到常來對紅的 Apache 搔擾的垃圾機器人

deny from .inktomisearch.com

deny from 58.61.164. #尤其是這個網域來的，下手很重，輕輕鬆鬆攤瘓整個伺服器~~已經被搞數不清次數了

deny from 220.181.19.

deny from 202.108.11.

deny from .cs.tamu.edu

後記：目前效果為何，還不太能確定~~先觀察幾天就知成效了

20007.10.23

先感謝網友 SIKO 的 POST ~~讓紅發現先前留下的伏筆卻未完成

從 apache 的設定中去進行 deny 來源端，這效果是直接的，apache 會直接拒絕服務

上方寫著拒絕服務的五個網段，就從此不再服務（前提是對方的 ip在同網域中）

這樣的 deny效果是還不錯，但就是網站管理者是處於被動端去處理了