Robots.txtとは何ですか？検索エンジンはリンクをたどって、あるウェブサイトから別のウェブサイトに移動します。このプロセスは「スパイダリング」とも呼ばれています。
私たちが新しい場所を探索するときはいつでも、便利で時間を節約するためのガイダンスが必要です。同じように そう言うウェブロボット の 検索エンジンは、Robots.txtを利用して、特定のWebサイトのページをどのようにクロールするかについてのアイデアを得ます。
ちなみに、このようなクローラーがあちこちに移動する挙動は インターネットコンテンツにアクセスし、インデックスを作成し、ターゲットとなるユーザーに提供する。 アール は、REPまたはRobots exclusion protocolとして知られるウェブ標準のグループに基づくもので、robots.txtも含まれます。
で robots.txtは、RobotとTxtの2つの用語が混ざったものとして、簡単に理解・記憶することができます。つまり、検索エンジンのウェブロボットによって使用されることを意図したテキストファイルなのです。
また、ユーザーエージェントのクロール動作を制御する場合、ウェブマスターを助けることができますが、重要またはすべてを無効にするので、慎重に行う必要があります。 ページ数 がGoogleのような検索エンジンから検索されることは非常に危険です。
ウェブサイトのウェブマスターは、robots.txtを使用して、ウェブクローリングソフトウェアまたはユーザーエージェントに次のことを指示することができます。 なにごと は、サイトのクロールする部分としない部分のすべてを指定します。これは、robots.txtファイル内で、一部またはすべてのクローラー・ユーザー・エージェントに対して「allow」または「disallow」命令を使用することで可能です。
検索エンジンは、その仕事を成し遂げるために、主に2つの仕事を担当しています。まず1つは、あらゆる場所をクロールし、更新をインデックス化することによって、ウェブからコンテンツを発見することです。次の仕事は、関連する情報を検索することです。 インデックス付き ディレクトリを作成し、検索クエリに応じた適切なコンテンツを提供します。
では、Robots txtとは何でしょうか？
検索エンジンは リンクとウェブサイトを行き来するこのプロセスは、「スパイダリング」とも呼ばれています。ボットやウェブクローラーは、新しいウェブサイトに到達するたびに、同じスパイダリングを開始する前に、それは最初のrobots.txtファイルを探します。それが1つを得れば、それはウェブサイトをクロールする方法についての情報を得るためにそれを読んで、特に何にアクセスし、何をしないようにしますrobots.txtがない場合、ユーザーエージェントは、ウェブサイト上の他の情報をクロールすることができます。
ファイルは、少なくとも次の2つの要素で構成されている必要があります。
ユーザーエージェント(ユーザーエージェント名) 不許可(クロールしてはいけないURLの文字列）。
上記の2行を合わせると、ユーザーエージェントディレクティブの個別のセットとみなすことができ、改行（/）を使用して他のセットと分離されます。
もし、1つのルールが複数のユーザーエージェントに対してファイル内で指定されている場合、クローラーはまず、別の指示グループに記載されている指示を読み、それらに従います。
Webサイトに存在するrobots.txtの内容は、ブラウザーを使うだけで誰でも見ることができます。
robots.txtをメインの後に追加する必要があります。 httpsのようなURL://demo.com/robots.txt または https://shop.demo.com/robots.txt のようなそのサブドメイン。
robots.txtファイルは、ルートドメインの後に用意することが必須です。そのため、ブラウザ上でも同じように記載することができます。
出力に.txtページが見つからない場合は、現在Webサイトに（生きている）robots.txtページが存在しないことを意味します。
ルートドメイン(demo.com/robots.txt)と各サブドメイン(demo.com/robots.txt)に別々のrobots.txtファイルを作成する必要があります。ブログ.demo.com/robots.txt）。
このファイルにあるすべての指示は、人間またはソフトウェアのボットによって上から下へ読み取られなければなりません。ロボットやユーザーエージェントがウェブサイトのrobots.txtファイルを読まないこともあり得ます。これは通常、電子メールアドレスのスクレーパーやマルウェアロボットのような悪質なクローラーで起こり得ます。
Webサイトでrobots.txtを使用することには、多くの利点があります。例えば、以下のようなものです。
- 依頼する 検索エンジンから 為さる PDFや画像など、特定のファイルをインデックスしない。Metaディレクティブは、robots.txtの代替として、ページのインデックスを回避するために使用することもできますが、リソースファイルには機能しません。
- ウェブマスターは、ウェブサイトを効率的にクロールするための情報を提供することができます。 諸注意 をそのボットに送信します。
- 検索エンジンに内部検索が表示されないようにするために 公開SERPの結果ページ.
- Webサイト内の重要でないページや不要なページをブロックすることで、必要なページにクロールの予算を最大限に配分することができます。
- メタロボットのように、重複したコンテンツがSERPに表示されないようにするために使用されること。
- あなたのウェブサイトの内部検索結果や壊れたウェブページをインデックスしないようにするために、その助けを借りることができます。
- クローラーによるWebサーバーの過負荷を防ぐために ロード クロール遅延を加えることで、一度に複数のコンテンツを表示することができます。
- 特に初めてWebサイトを訪れた人の印象に影響を与える可能性のあるステージングバージョンのページには、足を運んでほしくないものです。
- の場所にユーザーエージェントが簡単にアクセスできるようにするためです。 サイトマップ(s).
ウェブマスターは、ウェブサイトの特定のセクション（特に建設中や未完成のもの）を、クロールボットから完全に非公開にすることができます。
インデックスされるURLの数が予想以上に多くなった場合は、robots.txtを作成する必要があります。
です。 ベスト を、メモ帳やワードパッドなどのワードエディターを使って、robots.txtの作成ルールに対応した簡単なテキストファイルを作成します。
User agent:" や "Disallow" などの基本的なディレクティブを入れるだけです。/" などの基本的なディレクティブを記述するだけで、ウェブサイト用の基本的なファイルが作成されます。
robots.txtファイル内の互換性のある構文に従えば、誰でもルールを含めることができます。
一番良い方法は、まず自分のウェブサイトのサイトマップを生成し、そのURLを一番下に記載することで、より効果的なサイトマップを作ることができます。
robots.txtファイルの内部で使用される一般的な用語は、次のとおりです。
- クロールディレイ - このコマンドは、指定されたクローラーがページのコンテンツにアクセスするまでに必要な時間を表します。このコマンドはGooglebotには効きませんが、クロールのための レート は、Google Search Consoleから設定することで、同じ作業を行うことができます。
- ユーザーエージェント - ウェブマスターがクロールの指示を出したい特定のウェブクローラーやユーザーエージェント（一般的には検索エンジン）について言及するものです。以下のものがある。 テクニカル GoogleのGooglebotなど、検索エンジンの名前。
- Allow（Googleが使用） - 任意の親サブフォルダ内に存在するサブフォルダやページ、あるいは許可されない可能性のあるページをクロールするよう、Googlebotに指示するのに便利な構文である。
- Disallow - Webボットに特定のURLにアクセスしないように指示するコマンドです。このコマンドは、どのURLに対しても2回まで許可されるべきではありません。
-Sitemap - Yahoo、Ask、Bing、Googleなどの互換性のあるユーザーエージェントは、このコマンドにアクセスして、URLに基づいてXMLサイトマップの場所を見つけることができます。
注）ドル記号（$）やアスタリスク（*）のような正規表現は SEO は、BingやGoogleのユーザーエージェントがサブフォルダやページを識別するのに役立ちます。ここで * は、考えられるすべての種類の URL 末尾オプションをカバーするパターンマッチング構文で、 * は異なる文字列を表し、単純なワイルドカードとして機能します。
これは、Webサイトのページやサブフォルダーにアクセスしないように、それぞれまたはすべてのディレクティブを指定して、Webボットをブロックまたは無効にすることによって行うことができます。
ここでは、そのユーザーエージェントやウェブクローラーに指示するために、robots.txtファイルでよく使われるディレクティブを紹介します。
1）すべてのウェブクローラーがすべてのコンテンツを見つけることができるようにすること
シンタックスユーザーエージェント* 不許可。
2）特定のウェブクローラーによるフォルダへのアクセスを拒否する。
シンタックスユーザーエージェントGooglebot Disallow:/extra-subfolder/
(上記の指示は、Googleのクローラーに、www.site-name.com/extra-subfolder/ の場所にあるページにはアクセスしないように求めています)
3）すべてのウェブクローラーによるあらゆるコンテンツへのアクセスを拒否する。
シンタックスユーザーエージェント* 不許可。/
(簡単な説明は、How to block bots Robots txt?）
4) 特定のウェブクローラーによる特定のウェブページへのアクセスを拒否する。
シンタックスユーザーエージェントGooglebot Disallow:/extra-subfolder/useless-page.html を許可する。
人気の検索エンジンは、多くの スパイダー ウェブ上のあらゆる場所を回り、ウェブサイトをスキャンするソフトウェア。代表的なものに、Googlebot、Googlebot-images（画像に使用）、Googlebot-news（ニュースに関する情報をインデックスし、ユーザーに提供する）がある。
標準的なUTF-8テキストファイルを作成できるテキストエディタを使用してください。ワープロでファイルを作成すると、カーリークォートなどの予期せぬ文字が追加されたり、独自のフォーマットで保存されることがあり、クローラーが指示を理解するのに問題が生じる可能性があります。#の文字やマークを指定した後に、コメントを追加することができます。
ここでは、特にGoogleのユーザーエージェントのためのファイルを作成するためのいくつかの提案をします。
1) Robots Exclusion Standardに準拠したファイルであること。
2) サイトの特定のパスに対する指定されたクローラーのアクセスを許可またはブロックするための1つまたは複数のルールを含むことができます。
3) ウェブマスターは、robots.txtファイルのほぼすべての構文に精通し、各構文の微妙な挙動を理解する必要があります。
4) サイトに複数のrobots.txtファイルを置くことはできません。
5) ファイルは、サブドメイン（http://website.demo.com/robots.txt のようなもの、または (http://demo:8181/robots.txt) のような非標準的なポートの両方をサポートします。
6）あなたが知らないか、またはあなたのウェブサイトのルートフォルダへのアクセス権を持っている場合、それは同じ内のrobots.txtファイルを維持するためにウェブホスティングサービスプロバイダに到達するのが最善です。ケースでは、ウェブサイトのルートにアクセスすることはできませんし、代替のブロック方法として、メタタグを使用します。
7) robots.txtファイルには、複数のグループディレクティブやルールを含めることができます（1行に1つずつ記載）。
8）ASCII文字のみをサポートしています。
9)グループは、それが誰（ユーザーエージェント）に対して適用され、エージェントがアクセスできない／できるすべてのファイルまたはディレクトリの情報を提供します。ディレクティブは、上から下へ処理されます。Webボットは、個別に指定できる1つのルールセットのみに関連付けられ、または最初に来る。
10) デフォルトの前提では、ボットは "Disallow:" 構文によって任意のディレクトリやページをクロールすることができます。
11) ファイル内で使用されるディレクティブは、Disallow のように大文字と小文字を区別する。/one.xml は、ONE.xml には適用されません。
12) 全体に適用される のどちらかで構成されるWebサイトのドメインです。 https または http プロトコル.
通常、BingとGoogleのユーザーエージェントは、特定のディレクティブのグループで行きますが、デフォルトでは、異なる検索エンジンのWebボットが異なる方法でディレクティブを解釈するので、最初に、マッチングルールが望ましいです。
また、検索エンジンボットのクロール時間を短縮するために、robots.txtファイルではできるだけクロール遅延構文を使用しないようにすることが推奨されます。
robots.txt Testerツールは、以下のサイトからダウンロードできます。 Googleのウェブマスターコンソール は、Googleの検索エンジンからブロックしたURLを、Googleのボットがクロールできているかどうかを確認するためのツールです。また、robots.txtにロジックエラーや構文警告がある場合は、それを表示することができます。これを編集し、再テストを行うことができます。
問題がなければ、変更に対処し、ウェブサイトのサーバーにあるメインファイルを更新することができます。同様に、あなたのウェブサイトのrobots.txtを読んだ後、検索エンジンのクロール動作を事前にチェックするために、さまざまなツールを使用することができます。
の左側にある「クロール」セクションの「ブロックされたURL」機能を使って、ウェブサイトのrobots.txtのパフォーマンスを確認することもできます。 Googleウェブマスターツール.ただし、robots.txtの現在または更新されたバージョンを表示しない場合がありますが、テスト目的で使用することは可能です。
robots.txtに書かれていることがすべて有効で、期待通りに正しく運用されているか、何らかのツールを使って定期的にチェックするようにしてください。ちなみに、検索エンジンがrobots.txtに記載されているURLから、許可されていないURLを特定し、インデックスを削除するには、数日から数週間かかる場合があります。
ファイルにすべてのルールセットを含め、robots.txtと名前を付けたら、サーバー内のウェブサイトのメインフォルダーまたはルートフォルダーに保存する必要があります。ルートレベルのフォルダは、robots.txtがあなたのドメイン名の隣に表示されるのに役立ち、 "www "または "htdocs "にすることができます。
robots.txtは、不要なディレクティブをファイル内に記載しないようにすることで、常に適度なサイズを保つことが推奨されます。これは、Googleのジョン・ミューラーが、Googlebotはrobots.txtファイルの最初の500kBにしかアクセスしないという事実を数年前にすでに明らかにしているからです。巨大なファイルは、望ましくない方法で切り捨てられ、不完全なルールと解釈される可能性のある行が形成される可能性があります。
ロボット排除プロトコル、ロボット排除標準とも呼ばれ、WebサイトがWebロボットやクローラーと通信するために使用されます。検索エンジンは、ロボットを使ってウェブサイトを分類しています。
ウェブマスターはrobots.txtファイルを使って、そのようなロボットに指示したり、誘導したりして、自分のウェブサイトのインデックスをより良くすることができます。あなたのウェブサイトの任意の領域へのユーザーエージェントのアクセスを制御したくない場合は、robots.txtファイルは必要ありません。robots.txtの詳細については、「検索エンジンのボットを作成する方法」のような高度なトピックを参照してください。
検索エンジンのランキングを上げるには、クローラーがあなたのサイトに簡単にアクセスできるようにすることがSEOのベストプラクティスである。私たちのウェブサイトは、一般的に私たちの期待よりも不要なページの多くで構成されており、検索エンジンのボットはあなたのサイトのこれまでのページをクロールするとき、それは確かに多くの時間を消費し、これは確かにその負の影響を与えるために起こっていることでしょう。 ランキング.
Googleは、すべてのWebサイトのクロールバジェット（クロールレートの上限とクロール要求の2つに分かれる）を使って、スキャンしたい、またはスキャンできるURLの数を決定しています。そのため、ボットやユーザーエージェントがあなたのウェブサイトの最も価値のあるコンテンツにのみアクセスし、インデックスすることを支援する場合、robots.txtは必須です。
SEOは、クロールされる必要のあるセクションやコンテンツがブロックされることを決して望んでいません。
- Googleのような検索エンジンは、Googlebot-Image（画像を検索する）のような複数のユーザーエージェントを持つことができますし グーグルボット (オーガニック検索用）。同じ検索エンジンに属する多くのユーザエージェントは、同じルールに従うことができるので、多くのウェブマスターは、これらのクローラごとにディレクティブを指定することを省略しています。SEOはこれを利用して、たとえ1つの検索エンジンに属しているクローラーであっても、それぞれのクローラーに異なる指示を出すことで、クローリングの挙動をよりよく制御することができます。
- より良いSEOのためには、禁止されたリンクやページが、さらに続く必要のあるリンクを含んでいないことが必要です。そのため、ブロックされたページはリンク先にリンクエクイティを渡さないようにするか、他のブロック機構を使用したほうがよいでしょう。また、検索エンジンがアクセスできる他のページ、つまりメタロボットやrobots.txtなどで禁止されていないウェブページとリンクされてはいけません。そうしないと、重要なリンク先のリソースが検索エンジンにアクセスされず、インデックス化されないからです。
- robots.txtを更新した後は、Googleに直接robots.urlのURLを送信し、対象となるユーザーエージェントからの迅速なアクセスを確保するのが最善です。一般的に、検索エンジンは、少なくとも一日に一度、キャッシュされたrobots.txtの内容を更新します。
すべての、または任意の場所について言及するのがよいでしょう。 サイトマップ は、そのrobots.txtファイルの下部分にあるウェブサイトのドメインに基づいて作成されます。ちなみに、サイトマップとは、WebサイトのページのURLなどの詳細情報と、その重要度、更新間隔、最終更新日などの関連メタデータを含むXMLファイルのことである。
このような情報はすべて、検索エンジンのボットがウェブサイトを賢くクロールするために利用することができます。このようにして、ウェブマスターは、サイトマップをサポートするユーザーエージェントが、サイトマップからすべてのURLを知ってアクセスし、1つのサイト内または別のサイトからのリンクからページを発見する過程で、それらについてもっと知ることができるようにすることができるのです。
例えば、こんな感じです。
ブラウザのアドレス： https://www.demo.com/robots.txt
出力します。
ユーザーエージェントです。*
不許可。*.dl.html
許可する。/*.html$
サイトマップ: https://www.demo.com/en-au/sitemap.xml
サイトマップ: https://www.demo.com/en-se/sitemap.xml
サイトマップ: https://www.demo.com/en-us/sitemap.xml
(上記のディレクティブは、robots.txtファイルを介して複数のサイトマップを呼び出すためのものです)。
多くの悪意のあるボットはそれを追うことができないだけでなく、1つはそれを使用して、すべての許可されていないリンクを知って、それらに直接アクセスすることができるので、robots.txtに関連付けられているセキュリティ上のリスクがあります。そこで解決策として、プライベートなコンテンツを含むウェブサイトの領域をパスワードで保護し、侵入者がその場所を知ってもアクセスできないようにすることができます。
インデックスから機密データを提示したり、SERPsに表示されるようにするには（直接または間接的にすなわち好きなページを介して）、ページをブロックするrobots.txtから同じを禁止するよりも、他の方法を使用することをお勧めします。これは、ノーインデックスメタディレクティブまたはパスワード保護方法のいずれかにすることができます。
ワードプレス 一般的に、ディレクトリ上で見ることができないそのウェブサイトのために直接ルートに仮想デフォルトrobots.txtファイルを作成します。だから、特に検索エンジンにとって重要でないログインやサインアップのページを許可しないように、デフォルトの設定と重複する新しいファイルを作成することが常に最善です!
多くの人々は通常、WordPressや他のプラットフォームでRobots txtを削除する方法について混乱しています。しかし、プロセスはすべて同じです!robots.txtファイルは、ボットが簡単にそれを見つけるのを助けるようにウェブサイトすなわちルートドメインまたはメインディレクトリのトップレベルのディレクトリに保存する必要があります.だから、あなたが必要とするすべては、その特定のフォルダまたは場所から直接ファイルを削除することです。
robots.txtファイル内にユーザーの機密情報を隠す指示を入れないようにしてください。このファイルは一般にアクセス可能なファイルであるため、ルートドメインの末尾に/robots.txtを追加すれば、そのディレクティブを見ることができるからです。
この方法で、誰でも、サイトのウェブマスターが、すべてまたは特定のウェブボットにクロールされるかどうか許可されているすべてのページを知ることができます。このファイルは、大文字と小文字を区別するため、「robots.txt」という名前だけで保存しなければなりません。
最後に、似たような言葉に聞こえるx-robots、meta robots、robots.txtを混同している人がいるかもしれません。このうち、x-robotsとmetaはmetaディレクティブですが、robots.txtはテキストファイルであり、それぞれ異なる機能を適用するために使用されます。
具体的には、x-robotsとmetaはページ要素（または個別ページ）レベルでのインデックス動作を指示するものであり、robots.txtはディレクターやサイト側のクロール動作に関する情報を証明するものである。
検索エンジンのボットは、同じサイトをスキャンしながら、そのクロール予算をうまく使うことによって、より良い方法であなたのウェブサイトのコンテンツをインデックスし、SERPsに表示し、それをより目に見えるようにすることができる可能性が高くなります。また、robots.txtを使用することで、WordPressの自動生成タグページのクロールをブロックし、重複コンテンツを防止することができます。
全体として、robots.txtファイルに何を含めるかについては、十分な注意を払う必要があります。結局のところ、robots.txtファイル内の小さなミスが、あなたのウェブサイト全体のインデックスを解除させる可能性があるのです。
この投稿の最終更新日時は %s です。
本サイトでは、Cookieを使用しています。
続きを読む
