Cấu hình để Mod Security và CSF Firewall không chặn Googlebots

Trong trường hợp Google bots tạo một lượng kết nối quá lớn tới website, nếu trên VPS/Server của bạn có cài đặt Mod Security và CSF Firewall thì google bot có thể bị hiểu lầm là đang tấn công website và sẽ bị chặn. Hậu quả là google bot sẽ không thể truy cập vào site của bạn nữa. Để khắc phục điều này , bạn cần config Mod Security Rules và CSF Firewall rules như sau:

1. Với Mod Security Rules

#Allow googlebots

SecRule REMOTE_HOST googlebot.com$ allow,pass

#Add this to your config. The right way to identify Google bot is it's User-Agent.

SecRule REQUEST_HEADERS:User-Agent "Googlebot" phase:1,nolog,allow,ctl:ruleEngine=off

# GoogleBot by user-agent…

SecRule HTTP_USER_AGENT “Google” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot” nolog,allow

SecRule HTTP_USER_AGENT “GoogleBot” nolog,allow

SecRule HTTP_USER_AGENT “googlebot” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot-Image” nolog,allow

##

SecRule HTTP_USER_AGENT “AdsBot-Google” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot-Image/1.0″ nolog,allow

SecRule HTTP_USER_AGENT “Googlebot/2.1″ nolog,allow

SecRule HTTP_USER_AGENT “Googlebot/Test” nolog,allow

SecRule HTTP_USER_AGENT “Mediapartners-Google/2.1″ nolog,allow

SecRule HTTP_USER_AGENT “Mediapartners-Google*” nolog,allow

SecRule HTTP_USER_AGENT “msnbot” nolog,allow

2. Với CSF Firewall

Ta thêm vào file /etc/csf/csf.rignore đoạn code sau:

1 

.googlebot.com

Với VPS sử dụng VPSSIM để cài đặt và quản lý, trong phiên bản update sắp tới mình sẽ cập nhật thêm code này vào config và thêm một số config tối ưu khác.

Chúc bạn thành công.