Mintlifyは llms.txt, llms-full.txt を自動生成してくれる
近年、LLMが急速に発展し、Web上の情報を学習データとして利用するケースが増えています。これに伴い、コンテンツ作成者が自身のドキュメントをLLMにどのように利用されたいかを明示する仕組みとして llms.txt が提案されています。
ドキュメンテーションプラットフォームである Mintlify は、この llms.txt を自動生成する機能をサポートしており、ドキュメント作成者は特別な設定なしにLLMへのアクセス制御方針を示すことができるようになりました。
本記事では、llms.txt の概要と、Mintlifyにおけるその自動生成機能について解説します。
llms.txt は、Webサイトのルートディレクトリに配置されるテキストファイルで、LLMのクローラーに対して、サイト内のどのコンテンツを学習データや応答生成に利用して良いか、あるいは利用してほしくないかを指示するためのファイルです。
これは、検索エンジンのクローラーに対する指示ファイルである robots.txt に似ていますが、対象がLLMに特化している点が異なります。
詳細については、標準仕様を提案している llmstxt.org を参照してください。
Mintlify は、作成されたドキュメントサイトに自動的に llms.txt ファイルを生成・配置します。これにより、ユーザーは llms.txt の仕様を意識することなく、基本的なLLMポリシーをサイトに適用できます。
Mintlify は、llms.txt に加えて llms-full.txt というファイルも生成します。llms-full.txt は、サイト内のすべてのテキストを単一のマークダウンファイルにまとめることで、単一のURLを貼り付けるだけでAIツールにコンテキストを読み込むことが容易になります。
Mintlify で自動生成された llms.txt と llms-full.txt の事例を以下に示します。
Mintlifyの llms.txt 自動生成機能は、LLM時代におけるドキュメント管理の課題に対応するための便利な機能です。
これにより、ドキュメント作成者は自身のコンテンツがLLMによってどのように扱われるかをより明確に制御できるようになります。今後のLLMの発展とともに、llms.txt のような仕組みの重要性はさらに高まっていくでしょう。
以上、Mintlifyで llms.txt, llms-full.txt を運用している、現場からお送りしました。