サーバー情報

検索ロボット(クローラ)拒否で負荷軽減(2)

ご利用のブラウザは、JavaScript が無効となっていませんか？
このサイトでは、コンテンツの一部が非表示、あるいは、コメント、お問い合わせの投稿ができない、検索ができないことがあります。

以前に、「検索ロボット(クローラ)拒否で負荷軽減」という記事を書きました。今回は、その続編？です。

今度は、008と名乗るクローラーが頻繁にアクセスしに来ました。
また、150.70.75.157, 150.70.64.198 は、これもまた毎日、頻繁にアクセスしに来ます。

76.101.213.96 - - [20/Nov/2010:10:08:21 +0900] "GET / HTTP/1.1" 200 210 "-" "Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620"
150.70.75.157 - - [20/Nov/2010:10:35:32 +0900] "GET / HTTP/1.0" 200 211 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
150.70.64.198 - - [20/Nov/2010:10:36:24 +0900] "GET / HTTP/1.0" 200 211 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

008は、調べてみると、spamではない？ものの、クロールを請け負う業者らしいです。
なので、本当はだれがこのサイトを覗きに来ているのかわかりません。ただ、はっきりしているのは、アクセスが百度なみに頻繁で、非常にサーバーに負荷をかけていることです。

150.70.75.157, 150.70.64.198 は、日本の長野からのアクセスみたいですが・・・・、何かよくわかりません。ユーザエージェント名もありませんし、リファラーもありません。

追記:
150.70.xx.xxは、トレンドマイクロ(TREND MICRO)社のIPアドレスでした。
また、216.104.15.xxも、そうらしいです。

貧弱なレンタルサーバーを使っている場合、これって、困ってしまいますね。
拒否してしまうと、トレンドマイクロ(TREND MICRO)社で問題有りのサイトと認識されかねないので困りますね。
トレンドマイクロ(TREND MICRO)のウィルスバスターを使っている人を拒否することになりかねません。それでも良い人は、IPアドレスでごっそり拒否することをおすすめします。

そうでない人は、拒否しない方が無難だと思います。多少負荷がかかりますけど。

別に覗かれて困るものでもないですが、サーバーに負荷がかかると、見せたい人に見せれないことにもなりかねません。
特にレンタルサーバーでは、資源が限られてますから、このあたりは、即刻、退場いただきたいものです。

今回は、その方法を説明してみます。

robots.txtを使ったクロール拒否

008については、拒否の仕方が、http://www.80legs.com/ のサイトにも記載されています。
robots.txtに以下のように記述すると良いらしいです。

1
2

User-Agent: 008
Disallow: /

まずは、書いてある通りにrobots.txtを編集・保存しておきましょう。

150.70.75.157, 150.70.64.198 については、robots.txtすら見てませんから、ここで何を設定しても無駄ですね。

robots.txtには、以下の情報を設定します。
User-Agent:ユーザエージェント名
Disallow: 拒否するディレクトリ名

ただ、これを記述しても008は、即刻クロール（情報収集作業）をやめてくれるわけではありません。完全に停止するまでに、数時間といったところでしょうか。
その間のアクセスを拒否するためにも .htaccessを使ったクロール拒否もやっておきましょう。

.htaccessを使ったクロール拒否

008については、ユーザエージェント名とリファラーで、拒否するようにしておきます。
150.70.75.157, 150.70.64.198 については、ここで完全に拒否しましょう。

SetEnvIf User-Agent "008" deny_ref
SetEnvIf Referer "80legs\." deny_ref
order allow,deny
allow from all
deny from env=deny_ref
deny from 150.70.75.157
deny from 150.70.64.198
 
##############
# robots.txt #
##############
<Files robots.txt>
    allow from all
</Files>
# END crawler

SetEnvIf は、以降に記述する条件に一致した場合、env（グローバル変数のようなもの）に指定された値を設定します。

１行目は、

User-Agentの名前が、008 を含んでいるならdeny_refをenvに設定します。

２行目は、

Refererの名前が、80legs.を含んでいるならdeny_refをenvに設定します。

３行目は、

ここからアクセス規制を許可(allow)、拒否で指定します。(deny)

４行目は、

まず、すべてのアクセスを許可します。

５行目は、

アクセスの中で、envにdeny_refを設定されるようなアクセスの場合、そのアクセスを拒否します。

６、７行目は、

150.70.75.157, 150.70.64.198 からのアクセスは、すべて拒否します。

１２－１５行目は、

robots.txtファイルだけは、だれでもアクセスできるようにします。

robots.txtだけは、だれでもアクセスできるようにします。

そしておかないと、008というクローラーは、いつまでたっても無駄にアクセスしに来ますからね。
お互いに無駄ですから。

さあ、困るのが、150.70.75.157, 150.70.64.198 のアクセスです。
これって、いつまでの同じIPで来るとも限らないから困るんですよね。
それに、現状では、webサーバー(apache)で判断してますけど、もっと前ではじくのもありかと思いますしね。例えば、iptablesなどなど。

いずれにせよ、少し様子見ですね。この設定がうまく機能しても、負荷が下がらないようなら、別途、考える必要があるでしょうね。

通常、この設定を行うと拒否された情報が、エラーロギングへ設定されます。
また、通常のアクセスロギングには、403で拒否された情報が残ります。

[エラーロギング]

[Sat Nov 20 10:35:32 2010] [error] [client 150.70.75.157] client denied by server configuration: /var/www/****/html/
[Sat Nov 20 10:36:24 2010] [error] [client 150.70.64.198] client denied by server configuration: /var/www/****/html/
[Sat Nov 20 10:56:28 2010] [error] [client 69.255.179.23] client denied by server configuration: /var/www/****/html/

[アクセスロギング]

150.70.75.157 - - [20/Nov/2010:10:35:32 +0900] "GET / HTTP/1.0" 403 211 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
150.70.64.198 - - [20/Nov/2010:10:36:24 +0900] "GET / HTTP/1.0" 403 211 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"
69.255.179.23 - - [20/Nov/2010:10:56:27 +0900] "GET / HTTP/1.1" 403 5043 "-" "Mozilla/5.0 (compatible; 008/0.83; http://www.80legs.com/webcrawler.html) Gecko/2008032620"

phpとmysql が使える
レンタルサーバー・	ポ	イ	ン	ト
ドメイン選びの

検索ロボット(クローラ)拒否で負荷軽減(2)

robots.txtを使ったクロール拒否

.htaccessを使ったクロール拒否

最近投稿の記事

一押し！！キャンペーン情報

サイトメニュー（カテゴリ）

主なラインキング

共有レンタルサーバー＆みんなの評価

ＶＰＳ＆みんなの評価

マネージドサーバー＆みんなの評価

ドメインレジストラ＆みんなの評価

共有サーバー１年目総額最安値

ドメイン１年目最安値

ドメイン移管最安値

検索ロボット(クローラ)拒否で負荷軽減(2)

robots.txtを使ったクロール拒否

.htaccessを使ったクロール拒否

最近投稿の記事

一押し！！キャンペーン情報

サイトメニュー（カテゴリ）

主なラインキング

共有レンタルサーバー＆ みんなの評価

ＶＰＳ＆ みんなの評価

マネージドサーバー＆ みんなの評価

ドメインレジストラ＆ みんなの評価

共有サーバー１年目総額最安値

ドメイン１年目最安値

ドメイン移管最安値

共有レンタルサーバー＆みんなの評価

ＶＰＳ＆みんなの評価

マネージドサーバー＆みんなの評価

ドメインレジストラ＆みんなの評価