SEO ツール
robots.txt生成器
クローラー制御のrobots.txtを簡単に作成
結果
すべての処理はブラウザ内で完結します。データが端末外に送信されることはありません。
関連ツール
使い方
クローラールールを入力するだけで、正しい構文のrobots.txtが自動生成されます。
User-agentを設定する
すべてのクローラーに適用するには「*」を選択します。Googlebot専用のルールを設定したい場合は「Googlebot」と入力します。複数のUser-agentを追加できます。
Allow/Disallowパスを入力する
クロールを拒否したいURLパス（例: /admin/・/private/）をDisallowに追加します。特定パスをAllowして細かく制御することも可能です。
SitemapURLを追加してダウンロードする
XMLサイトマップのURLを入力してSitemapディレクティブを追加します。生成されたrobots.txtをダウンロードし、サイトのルートディレクトリに設置してください。
使用例
管理画面とAPIをクロール拒否
Disallow: /admin/・Disallow: /api/を設定してプライベートエリアをクローラーから保護します。Allowルールで特定の公開APIエンドポイントだけ許可することも可能です。
開発環境全体をクロール拒否
ステージングサーバーではDisallow: /をすべてのUser-agentに設定してインデックスを完全にブロックします。本番環境との混在を防ぎSEOリスクを軽減できます。
このツールについて
GooglebotなどのWebクローラーに対してクロールの許可・拒否ルールを指定するrobots.txtファイルを自動生成します。User-agent・Allow・Disallow・Crawl-delay・Sitemapディレクティブを視覚的に設定し、正確な構文のファイルをすぐにダウンロードできます。