先日より、Google ウェブマスターツール でなぜか見かけないクロールエラーを発見。 数日様子を見てみたものの、特に改善も見られないため少し見てみることにしました。 Google ウェブマスターツール でのメッセージとしては、「robots.txt によりアクセスが制限されています」というもの。 しかしながら、該当するページについてはすべてインデックス されており、キャッシュも残っている状態でした。 そのキャッシュ日を基準アレコレ考えていると、おおよそ、新しいコンテンツ作成のためにクロール拒否を新たに行ったディレクトリを思い出し、 以下のようにrobots.txt での指定について、お恥ずかしながら始めて知った点について簡単にまとめておきました。 robots.txt の「/」スラッシュ無しで「一文字」のディレクトリ名を指定している場合 robots.txt でのディレクトリの指定で以下のように「/」スラッシュの有り無しの場合、 基本的には以下のように認識していました。 Disallow: /test/ test ディレクトリ以下全部拒否、test/index.html は許可 Disallow: /test test ディレクトリ以下全部拒否、test/index.html も拒否 しかしながら、指定しているディレクトリ名が一文字など、 他のディレクトリ名とかぶる場合、そのディレクトリも対象となってしまうみたいです。 ※Google の認識のみ 例えば、以下のように「/m/」というディレクトリを指定したい場合。 Disallow: /m のように個人的には記述して/m/ディレクトリとm/index.html を対象としていたつもりですが、 /mobile や/moment など、正規表現でもないのに/m~ … Continue reading →