llms.txt とは何か?
llms.txt(エルエルエムズ・テキスト)は、大規模言語モデル(LLM)向けにWebサイトの情報を整理して伝えるためのテキストファイルです。
AIクローラー(ChatGPTのGPTBot、AnthropicのClaudeBot、Google-Extendedなど)がサイトにアクセスした際、「どのコンテンツを優先的に読むべきか」「どのページは避けるべきか」「サイト全体の構造はどうなっているか」を明示することを目的としています。
2024年9月にAnswer.AIの共同創業者Jeremy Howard氏が提案した比較的新しい規格で、2025年から2026年にかけて海外の先進企業で導入が広がっています(出典: DigitalCube LabWorks、https://labworks.digitalcube.jp/technology/llms-txt-ai-crawler-optimization/)。
なぜllms.txtが生まれたのか?
AIクローラーが従来のWebページを「読むのに苦労」している
通常のWebページには、ナビゲーション・広告・JavaScript・フッターなど、コンテンツ本体以外の要素が大量に含まれています。AIにとっては**「膨大なHTMLノイズから本質的な情報を取り出す」のが容易ではない**状況です(出典: Zenn「Web時代のLLM対応」、https://zenn.dev/toitoy8/articles/llms-txt-standard)。
特に技術ドキュメント・APIリファレンスのような情報密度の高いページでは、この問題が顕著でした。llms.txtは、AIに「この順番で、このコンテンツを読めば理解できる」という案内図を渡すことで、この課題を解決しようとしています。
AIクローラーの急増によるサーバー負荷
もう一つの背景は、AIクローラーによる過剰アクセスです。クラスメソッドの事例報告では、AIクローラーが短時間に大量のリクエストを送ることでサーバーに大きな負荷をかけるケースが実際に発生していました(出典: DevelopersIO、https://dev.classmethod.jp/articles/llms-txt-for-ai-crawlers/)。llms.txtで「レート制限」「並列数制限」「優先ページ指定」を伝えることで、効率的なクロールを促すことができます。
robots.txt・sitemap.xml との違い
llms.txtは既存のWeb標準と並列・補完する位置づけです。
| ファイル | 対象 | 目的 | 書式 |
|---|---|---|---|
| robots.txt | 検索エンジンクローラー | アクセス許可・拒否の制御 | テキスト形式、ディレクティブ |
| sitemap.xml | 検索エンジンクローラー | 全インデックス対象URLの一覧 | XML形式 |
| llms.txt | AIクローラー・LLM | サイト理解の補助・コンテンツ利用制御 | Markdown または ディレクティブ形式 |
sitemap.xmlには「LLM向けのページバージョンがリストされない」「膨大な情報がLLMのコンテキストウィンドウに収まらない」という制約があり、llms.txtはこの弱点を補います(出典: Zenn「Web時代のLLM対応」、https://zenn.dev/toitoy8/articles/llms-txt-standard)。
llms.txtの2つのアプローチ
実はllms.txtには、目的の異なる2種類のアプローチが存在します。
情報提供型(Jeremy Howard氏提案)
AIに対して「読むべきコンテンツ」と「サイト構造」を案内するアプローチです。Markdownで記述され、ルートディレクトリに/llms.txtとして配置します。
書式サンプル:
# My Website
> サイトの簡単な説明(1-2文)
## Docs
- [Getting Started](https://example.com/docs/getting-started.md): 初心者向けガイド
- [API Reference](https://example.com/docs/api.md): APIリファレンス
## Optional
- [Changelog](https://example.com/changelog.md): 更新履歴
加えて、各ページのMarkdown版をURL + .mdで提供することが推奨されています(例: https://example.com/about → https://example.com/about.md)。これによりAIはHTMLのノイズを飛ばして、純粋な構造化コンテンツにアクセスできるようになります(出典: Zenn、https://zenn.dev/toitoy8/articles/llms-txt-standard)。
アクセス制御型
robots.txtに似た構文で、AIクローラーのアクセス許可・拒否を制御するアプローチです。
書式サンプル:
User-agent: GPTBot
Disallow: /private/
Allow: /blog/
User-agent: ClaudeBot
Disallow: /*.pdf$
User-agent: *
Crawl-delay: 1
自社コンテンツの学習利用を拒否したい場合や、特定ディレクトリだけ許可したい場合に使います(出典: 合同会社リトルブルー、https://littleblue.jp/2025/06/17/llms-txt/)。
両者は目的が正反対
情報提供型は「AIにコンテンツを積極的に理解してほしい」、アクセス制御型は「AIにコンテンツを勝手に使ってほしくない」と、方向性が真逆です。自社の方針に応じて選択する必要があります。AIO/GEO対策として取り組む場合は情報提供型が基本となります。
llms.txtの導入メリット
1. AI引用の精度が向上する
AIに「読むべき情報」と「読まなくていい情報」を明示することで、古いページやタグページが誤って引用されるリスクを減らせます。「古いページが読まれていた」「ブログのタグページがなぜか引用された」といった事例も報告されており、llms.txtで防ぐことが可能です(出典: センタード、https://www.centered.co.jp/blog/llms-ai-optimization/)。
2. サーバー負荷の軽減
AIクローラーが必要なコンテンツだけを効率的に取得できるため、不要なリクエストが減ります。PHPやデータベースへの負荷も軽減されます(出典: DigitalCube LabWorks、https://labworks.digitalcube.jp/technology/llms-txt-ai-crawler-optimization/)。
3. コンテンツ利用方針の明示
学習利用の可否、引用の扱い、ライセンス条件などをAI側に明示できます。著作権保護やブランド保護の観点で重要です。
4. 先行者優位の獲得
まだ導入企業が少ないため、早期に設置することで**「AI対応が進んだサイト」としてエンティティ評価が高まる**可能性があります。
llms.txtの書き方(情報提供型の実践例)
中小企業のコーポレートサイト向けに、実践的なサンプルを紹介します。
# 株式会社ACE direction
> 中小企業向けAIO/GEOコンサルティング「Ace AI」を提供する、東京を拠点としたWeb制作・Webマーケティング会社。
## Services
- [Ace AI(AIO/GEOコンサル)](https://acedirection.co.jp/aio.md): 生成AI検索時代の集客戦略を設計・実行
- [Webサイト制作](https://acedirection.co.jp/web.md): AI時代に対応したWebサイト構築
## Articles
- [AI Overviewsとは?初心者向け完全ガイド](https://acedirection.co.jp/aio-articles/what-is-aio.md)
- [SEOとAIO/GEOの違いを5分で理解する](https://acedirection.co.jp/aio-articles/seo-vs-aio.md)
- [構造化データ(JSON-LD)入門](https://acedirection.co.jp/aio-articles/json-ld-basics.md)
## About
- [会社概要](https://acedirection.co.jp/company.md)
- [お問い合わせ](https://acedirection.co.jp/contact.md)
## Optional
- [過去のブログ記事アーカイブ](https://acedirection.co.jp/archive.md)
ポイント
- 先頭にH1でサイト名を記載
- Blockquote(
>)で簡潔なサイト説明(1〜2文、150字以内) - H2で主要カテゴリを分類(Services, Articles, About など)
- リンクは
.md拡張子付きで、AIがMarkdown版を取得できるように - 「Optional」セクションに、読まなくてもサイト理解に支障がないコンテンツを配置
設置手順
ステップ1:ファイル作成
テキストエディタで内容を記述し、ファイル名をllms.txt、文字コードをUTF-8で保存します。
ステップ2:サーバーへアップロード
Webサーバーのルートディレクトリに配置します。URLはhttps://yourdomain.com/llms.txtの形になります。
ステップ3:アクセス確認
ブラウザでhttps://yourdomain.com/llms.txtにアクセスし、正しく表示されることを確認します。
ステップ4:各ページのMarkdown版を用意(推奨)
主要ページについて、.md拡張子でMarkdown版を提供します。WordPressなら、プラグインで自動生成するか、重要ページだけ手動で用意する方法があります。
ステップ5:定期的な更新
AI技術は急速に進化しています。四半期ごとに内容を見直し、新規コンテンツや更新情報を反映することが推奨されます(出典: 株式会社アクセス・リンク、https://access-link.co.jp/llms/)。
llms.txtの現状と今後の見通し
2026年現在の課題
主要なLLMやAI検索エンジンがllms.txtをまだ積極的に参照していないという指摘があり、設置しても効果が不明確であるという課題があります(出典: Webコンサルティング会社MPH、https://m-p-h.jp/column/seo/8021/)。
ただし、Anthropic・Stripe・Vercelといった先進企業が積極的に採用しており、標準化が進めば主要プレイヤーが追随する可能性が高い領域です。StripeではLLMに対して「llms.txtを読んでください」と案内するリンクをページに追加する実装もしています(出典: DigitalCube LabWorks、https://labworks.digitalcube.jp/technology/llms-txt-ai-crawler-optimization/)。
短期・長期の予測
- 2026年内: WordPressなど主要CMSでの標準サポート拡大、日本国内での認知度向上
- 2027年以降: Web標準としての確立、主要検索エンジン・AI企業による正式サポート
先行導入はリスクよりもメリットが大きい段階にあります。
よくある質問
llms.txtとrobots.txtは両方設置する必要がありますか?
はい、両方の設置を推奨します。robots.txtは検索エンジンクローラー(Googlebot等)向け、llms.txtはAIクローラー(GPTBot、ClaudeBot等)向けと役割が異なります。併用することで、それぞれのクローラーに適切な指示を与えられます。
WordPressでllms.txtを簡単に設置する方法は?
プラグイン「Website LLMs.txt」や「SEOPress」の一部機能を使うと、管理画面から設定・自動生成が可能です。静的なtxtファイルとしてFTPでアップロードする方法も簡単です。
llms.txtを設置すれば、AI引用は必ず増えますか?
現時点では保証できません。主要AI企業がllms.txtを積極的に参照しているかは公式発表が少なく、効果測定は継続中です。ただしコンテンツ理解の補助・サーバー負荷軽減・先行者優位の観点で、設置コストに対するメリットは十分にあります。
情報提供型とアクセス制御型、どちらを使えばいいですか?
AIO/GEO対策としてAI引用を増やしたい場合は「情報提供型」、AIによる無断学習を拒否したい場合は「アクセス制御型」です。目的が正反対なので、自社の方針を明確にしてから選択してください。両者を組み合わせることも可能です。
llms.txtの内容はどれくらいの頻度で更新すべきですか?
四半期ごとの見直しを推奨します。新規コンテンツの追加、サイト構造の変更、新しいAIクローラーの登場などに合わせて更新してください。また、llms.txt内に「最終更新日」を明記することも推奨されます。
この記事のポイント
- llms.txtは2024年9月に提案されたAIクローラー向けの新しいファイル規格
- 「情報提供型」と「アクセス制御型」の2系統があり、目的に応じて選択
- Anthropic・Stripe・Vercelなど先進企業が導入済み、日本ではまだ黎明期
- AI引用精度向上・サーバー負荷軽減・先行者優位の3つのメリット
- 設置は5ステップ(作成・アップロード・確認・.md版用意・定期更新)
llms.txtの設計・設置サポートやAIO総合戦略について、まずはお気軽にご相談ください。AIO対策についてのご相談は無料相談から