例如Googlebot機器人會大量來採集web上的網頁,產生很多loading這時可以用這個方法來阻檔

googbot2

1.編輯httpd.conf配置

#user-agent
 BrowserMatch "Googlebot" bad_bot
 BrowserMatch "360JK qiyunce" bad_bot
 BrowserMatch "Python-urllib" bad_bot
 BrowserMatch "WinHttp" bad_bot
 BrowserMatch "MJ12bot" bad_bot
 BrowserMatch "AhrefsBot" bad_bot
 BrowserMatch "HttpClient" bad_bot
 <Location />
 Order Allow,Deny
 #Deny from env=bad_bot
 Allow from all
 Deny from env=bad_bot
 </Location>

2.重啟httpd

service httpd restart

驗證log會發現Googlebot會變成403代表被拒絕

googbot

網上常見惡意user-agent

BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy sql
注入
Java
內容採集
Jullo
內容採集
Feedly
內容採集
UniversalFeedParser
內容採集
ApacheBench cc
攻擊器
Swiftbot
無用爬蟲
YandexBot
無用爬蟲
AhrefsBot
無用爬蟲
YisouSpider
無用爬蟲
jikeSpider
無用爬蟲
MJ12bot
無用爬蟲
ZmEu phpmyadmin
漏洞掃描
WinHttp
採集cc攻擊
EasouSpider
無用爬蟲
HttpClient tcp
攻擊
Microsoft URL Control
掃描
YYSpider
無用爬蟲
jaunty wordpress
爆破掃描器
oBot
無用爬蟲
Python-urllib
內容採集
Indy Library
掃描
FlightDeckReports Bot
無用爬蟲
Linguee Bot
無用爬蟲

參考資料:

Apache过滤User-Agent

By tony

自由軟體愛好者~喜歡不斷的思考各種問題,有新的事物都會想去學習嘗試 做實驗並熱衷研究 沒有所謂頂天的技術 只有謙虛及不斷的學習 精進專業,本站主要以分享系統及網路相關知識、資源而建立。 Github http://stnet253.github.io

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步了解 Akismet 如何處理網站訪客的留言資料