🤖 robots.txt作成・チェック
クローラー向けの robots.txt をフォームで組み立てて生成したり、既存の robots.txt が特定のURL・User-Agentに対してどう判定されるかをチェックできるツールです。
モード
ジェネレーター
チェッカー
プリセット
全許可すべてのクローラーにサイト全体のクロールを許可します。
全拒否すべてのクローラーにサイト全体のクロールを禁止します。
WordPress標準管理画面のみ拒否し、admin-ajax.phpは許可する定番構成です。
AIクローラー拒否GPTBot・ClaudeBot・CCBotなど主要なAI学習用クローラーをまとめて拒否します。
User-agentグループ
グループ 1
対象User-agent（例：*、Googlebot）
Allow / Disallow ルール
Allow
Disallow
Allow
Disallow
Crawl-delay（任意・秒数）
Sitemap URL（任意・複数可）
生成結果
✅ コピーしました！
※ 入力内容はすべてブラウザ内で処理しており、弊社サーバーへ送信・保存することは一切ありません。
※ チェッカーはGoogleのrobots.txt仕様（最も具体的なUser-agentの選択、最長一致ルールの優先、同着ならAllow優先、*と$のワイルドカード対応）に準拠した簡易実装です。実際のクローラーの挙動を保証するものではありません。
こんなツールをこれからも作っていきます。もしこれは！と思っていただけましたら、シェア・応援していただけると嬉しいです！😀