AIについての考察を行います。
ＡＩは、テキスト生成をする際に外部のデータベースを検索するRetrieval-Augmented Generation(RAG)を使用して、その検索結果を大規模言語モデルLarge Language Model(LLM)を使い、回答を生成していると言われてきました。
これに対してManthan Gupta氏が公開したプログには次のような事が書かれていました。
ChatGPTをリバースエンジニアリングをしてみたら、予想よりもシンプルである事がわかりました。ベクトルデータベースやＲＡＧも使用していなかったのです。
次のレイヤを使用していました。
[0] System Instructions
[1] Developer Instructions
[2] Session Metadata (ephemeral)
[3] User Memory (long-term facts)
[4] Recent Conversations Summary (past chats, titles + snippets)
[5] Current Session Messages (this chat)
[6] Your latest message
ChatGPTに質問を送信すると、次のような工程で処理が進みます。
１．セッションの開始: セッション メタデータが 1 回挿入され、デバイス、サブスクリプション、使用パターンに関する ChatGPT コンテキストが提供されます。
２．すべてのメッセージ: 保存されたメモリ情報が常に含まれ、応答がユーザーの好みや背景と一致するようにします。
３．クロスチャット認識: 最近の会話の概要では、完全なトランスクリプトを取得せずに、興味の軽量マップを提供します。
４．現在のコンテキスト: 現在のセッション メッセージのスライディング ウィンドウは、会話内の一貫性を維持します。
５．トークン バジェット: セッションが長くなると、古いメッセージは削除されますが、記憶されている事実と会話の要約は残り、継続性が維持されます。
すべてが従来の意味での「記憶」である必要はないということです。セッションメタデータは、ユーザーの環境にリアルタイムで適応します。明示的な事実はセッションを超えて保持されます。会話の要約は、詳細を省いた連続性を提供します。そして、現在のセッションは一貫性を保ちます。これらの動的なコンポーネントは、セッションの進行やユーザーの好みの変化に応じてそれぞれ更新され、まるでユーザーが真に理解しているシステムであるかのような錯覚を生み出します。
大変興味深い内容でしたので、今回掲載しました。
