tag:blogger.com,1999:blog-1738199140720054208.post-25655396504683006672007-07-07T21:57:00.000+09:002007-07-07T22:25:08.128+09:00今日は、7月7日の七夕と言う事でrobots.txt（ロボットテキスト）について書いてみようと思います。<br />（全く関係ないです）<br /><br />robots.txtはホームページを巡回してくる検索エンジンロボットに対する物で<br />主にクロールして欲しくないページやディレクトリを指定するのに使用します。<br /><br />YahooやGoogleに思うようにインデックスされないサイトで、サイト内のなんらかのエラーが生じて<br />インデックスを保留されているケースもあります。<br />robots.txtをルートディレクトリに置いて、不要なページを巡回しない様にすると<br />不思議とインデックス数が増えていく事もあります。<br /><br />作成方法はいたって簡単です。<br /><br />メモ帳を開いて<br /><br />User-agent: *<br />Disallow: /abc/<br />Disallow: /deg.html<br /><br />この様な形で記載してあげれば良いだけです。<br />この場合ですと、<br />abcのディレクトリはインデックスしない<br />deg.htmlファイルをインデックスしない<br />と言う感じになります。<br /><br />・User-agent:の後に半角スペース<br />・Disallow:の後に半角スペース<br />・最終行は空白にしておく<br />・メモ帳のままファイル名をrobots.txtで保存してサーバーにアップする<br /><br />これだけです。<br /><br />Googleのウェブマスターツールにrobots.txt検出の項がありますので、<br />そこでちゃんと伝わっているのかを確認する事が出来ます。<br /><br />robots.txtを設置していないのにrobots.txt にアクセスできませんと言うエラーが出ている場合は<br />インデックスを保留されてしまっているので、robots.txtを置いてあげると良いでしょう。<br /><br /><a href="http://www.google.com/support/webmasters/bin/answer.py?answer=35154&amp;hl=ja">参考リンク</a>searchhttp://www.blogger.com/profile/11072934026267847109noreply@blogger.com