F-16: 自動メモリ vs 承認型メモリ¶

この相反は何か¶

AI エージェントがセッションを跨いで持続する長期メモリ（ユーザーの嗜好、過去のやり取りから学んだ事実、業務知識など）を蓄積する際、「エージェントが自動的にメモリを書き込むか（自動メモリ）、それとも人間の承認を経てから書き込むか（承認型メモリ）」という二択が F-16 の相反です。

この選択が排他的になる理由は、メモリ書込の承認フローの有無で汚染リスクと運用コストのトレードオフが質的に変わるためです。自動メモリはエージェントの学習速度を最大化しますが、誤情報やインジェクションがメモリに混入するリスクを負います。承認型メモリは汚染を防ぎますが、人間の承認帯域がボトルネックになり、学習速度が制約されます。

AI エージェント特有の問題として、LLM はハルシネーション（事実と異なる内容の生成）を行うことがあり、これが自動的にメモリに永続化されると、将来の全セッションに影響を及ぼす持続的汚染が発生します。従来のソフトウェアにおけるデータベース書込のバリデーションと同じ原則ですが、LLM のメモリは構造が曖昧で、汚染の検知が困難であるという特有の難しさがあります。

選択肢A：自動メモリ¶

自動メモリとは、エージェントが会話の中から学習すべき情報を自動的に抽出し、人間の明示的な承認なしに長期メモリに書き込む方式です。ユーザーの好みの言語、よく使うツール、業務上の用語の使い方など、エージェントが「学習した」と判断した情報が自動的に蓄積されます。

自動メモリの最大の強みはユーザー体験のシームレスさです。ユーザーは明示的に「これを覚えて」と指示する必要がなく、会話を重ねるだけでエージェントが賢くなっていきます。承認のための中断がないため、対話の流れが自然に保たれます。

また、大量の情報を効率的に蓄積できます。人間の承認帯域に制約されないため、多数のユーザーが同時に利用するシステムでも、メモリの蓄積速度がスケールします。

弱点はメモリ汚染のリスクです。エージェントが誤って理解した情報、ハルシネーションで生成した「事実」、プロンプトインジェクションで注入された情報が、検証なしにメモリに書き込まれます。一度メモリに入った誤情報は、以降のセッションで「過去に学習した事実」として参照され、誤りが自己強化する悪循環を生みます。

さらに、ユーザーの発言から推測した属性（「この人は技術者だろう」「怒っているようだ」）が事実として記録されるリスクがあります。推測が外れていた場合、以降の対話で的外れな応答を続けることになります。

選択肢B：承認型メモリ¶

承認型メモリとは、エージェントがメモリ候補を抽出した後、人間（ユーザー本人または管理者）の承認を経てから長期メモリに書き込む方式です。候補は一時的な隔離領域（quarantine）に保持され、承認されるまでは将来のセッションで参照されません。

承認型メモリの最大の強みはメモリ品質の保証です。人間が「この情報を記録してよい」と判断してから書き込むため、ハルシネーション、誤解釈、インジェクションの永続化を防げます。特に [failure_cost] が高い領域---医療情報、金融判断、法的助言に関わるメモリ---では、誤った記憶がもたらす損害が大きいため、承認が不可欠です。

また、ユーザーに対する透明性が高くなります。「エージェントが何を覚えているか」をユーザーが把握・制御できるため、プライバシーの観点でも望ましいです。GDPR のようなデータ保護規制への準拠も容易になります。

弱点は運用コストとユーザー体験への影響です。承認のたびにユーザーの注意を中断するため、対話のテンポが悪くなります。承認リクエストが大量に溜まると、ユーザーが承認疲れを起こし、内容を確認せずに一括承認するようになります。これは承認型メモリの意義を根本から損なう事態です。

また、承認までのタイムラグの間、メモリに書き込まれるべき情報が利用できないため、エージェントの学習速度が低下します。

選定基準¶

この相反の選定は [input_trust] と [failure_cost] の二つの駆動変数で決まります。

自動メモリを選ぶべき条件：

[input_trust] が高い場合。信頼できる社内ユーザーが利用し、悪意あるインジェクションのリスクが低い環境です。
[failure_cost] が低い場合。メモリに誤情報が混入しても実害が小さい領域です。嗜好学習（言語設定、表示形式の好みなど）は典型例です。
大量のユーザーが同時にメモリを蓄積する必要があり、人間の承認帯域では対応しきれない場合。

承認型メモリを選ぶべき条件：

[input_trust] が低い場合。不特定多数のユーザーや外部ドキュメントからの情報を扱い、インジェクションリスクが高い環境です。
[failure_cost] が高い場合。誤った記憶が将来の意思決定に影響し、金銭的・法的・医療的な損害を生じうる領域です。
プライバシー規制やデータ保護要件があり、保存される情報に対するユーザーの同意と制御が必要な場合。
エージェントがユーザーの発言から推測した属性（職業、感情、意図など）を記録しようとする場合。推測は高確率で誤るため、承認なしの保存は避けるべきです。

デフォルトとハイブリッド¶

デフォルト：推測で得た属性は保存しないのがデフォルトです。ユーザーが明示的に述べた事実のみ、かつ [failure_cost] が低い情報に限って自動保存を許可し、それ以外は承認を経るか保存しません。

ハイブリッド：候補抽出 → 隔離 → 分類に基づく自動/承認の振り分けという構成が実用的です。

自動承認：ユーザーが明示的に述べた嗜好（「日本語で回答して」「コードブロックはTypeScriptで」）
隔離 → 自動承認（遅延）：会話から抽出した事実（ユーザーの所属部署、使用ツールなど）→ 信頼度スコアが閾値を超えれば自動承認
隔離 → 人間承認：推測属性、外部ソースからの情報、[failure_cost] の高い業務知識
棄却：PII（個人識別情報）、機微情報、信頼度スコアが極めて低い候補

この構成は D3 Memory Write Gate / Quarantine パターンが体系化しています。

判断を誤ったときの症状¶

自動メモリを選んだが承認型が必要だった場合の症状：

エージェントの応答が特定のユーザーに対して的外れになっており、調査するとメモリに誤った属性が記録されていることが判明します。
メモリの内容を定期的に監査すると、ハルシネーションに由来する偽の「事実」が蓄積されています。
プロンプトインジェクション攻撃により、メモリに悪意ある指示が書き込まれ、将来のセッションでエージェントの振る舞いが操作されるインシデントが発生しています。
ユーザーから「なぜそんなことを知っているのか」「勝手に覚えないでほしい」というプライバシーに関する懸念が寄せられます。

承認型を選んだが自動メモリで十分だった場合の症状：

承認キューにメモリ候補が大量に溜まり、ユーザーが対処しきれていません。結果として一括承認または一括棄却が行われ、承認の品質管理が形骸化しています。
エージェントが「学習しない」とユーザーに感じられています。何度も同じ質問を聞かれる、以前伝えた好みが反映されないなどの不満が出ます。
承認フローの実装と運用にかかるコストが、メモリ汚染で実際に発生している（または発生しうる）損害と見合っていません。