アクセス向上大失敗 www.igros.net
Last updated 2004/8/18
コメントバック 対応

robots.txt -技術関連-

次頁 > コンテンツ管理システム
[PR]特集 Amazon.co.jp レコメンドコンテンツ



※このページの太字はGoogle「WebマスターのためのGoogle情報」からの引用文です、予めご了承ください。
Webサーバーのrobots.txtファイルを活用してください。
このファイルはクローラに対し、クロールできるディレクトリを指定します。
ご自分のサイトがこのファイルに対応していることを確認してください。
そうすれば、誤ってGooglebotクローラを拒否してしまうようなことはありません。
ロボットに関する質問、またはロボットによるサイトのクロールを制御する設定については、http://www.robotstxt.org/wc/faq.html (英語)の「FAQ」をご参照ください。

とは...「ミイラ取りがミイラに...」に対する注意だと思います。
クローラはかなり攻撃的なソフトウェアです、何故なら「勝手に他人のページを解析する」わけですから、一般社会では「犯罪」と言うか「強盗」と言うか(笑;
そこで少し遠慮と言う言葉を学習させる必要がありました。

つまり、このフォルダ以下全てはクローラ様お断り!とか、このページはクローラ様お断り!など、自らの意思で申し出ることができます。
早い話、Googleに登録されたくないページがあったら「そう言ってください」と言うことです。

robots.txt このクローラに対する貼り紙(お断りなのかOKなのか)が「robots.txt」と言うテキストファイルで、その中に決められた書式で記述します。
robots.txtは排他的に使われますので、もしrobots.txtがそのフォルダ内に無ければ「どうぞご自由にクロールしてください」と言うことになります。
もし、robots.txtが存在すれば、Googleクローラは指示に従って「おっとイケナイ、ここはお断りか」って感じでしょうか。

そもそもrobots.txtなんか何にもしなければ素直に受け入れていたものの、変に作って制御してやろう!って、記述を間違って「ボケツ」(この場合、登録して欲しいページまでお断り設定)ってことの無いよう頼みますわ!って。(それで登録されないんですが...って言わないで!!って???)
たぶんそんな意味が込められているのでは、と勝手ながら思っています。

ちなみに拒否する方法として、METAタグに直接記述する方法(この場合はページ単位)などもあります。

それから...もう一つ、ついでネタで。
robots.txtはシンプルテキストですから、適当にhttp://www.ドメイン/robots.txt なんてアクセスすると、「ダラ〜〜〜」って見える場合があります。
上述の通り、本来、登録されたく無いから記述する趣旨のモノ、全部見えたら...ヤですよね。
基本認証を使ったアクセス制限など必要かもです。
そもそも「見せたくないページ」は、ちゃんと設計して作らないと...(ネ)。


<<< トップ << テーマトップ < 前頁次頁 > コンテンツ管理システム >>

www.igros.net
[PR]特集 Amazon.co.jp レコメンドコンテンツ



Copyright(C) アクセス向上大失敗 All Rights Reservd.
version2.0