LLMの「自己認識」 - Andrej KarpathyによるLLMの詳細解説(Part 5)

インターネット上では、ユーザーがLLMに頻繁に質問します。例えば「あなたは何のモデルですか?」「あなたを作ったのは誰ですか?」といった質問です。しかし、これらの質問は本質的に意味のない、なぜなら LLMは人類のように持続的な自己認識を持っていないからです。LLM は人間ではなく、いかなる方法でも永続的に存在しません。毎回 Token を処理して自分を閉じます。

1. なぜLLMに本当の「自我」がないのか

  • LLM には持続的な存在がありません:ユーザーがモデルとやり取りするたびに、モデルはゼロから読み込まれ、実行されます。以前の会話の記憶はありませんの内容を覚えていません、也没有持続的なアイデンティティ意識
  • モデルは単にトークンを処理する統計機械です:それはトレーニングデータの統計的パターン最も可能性の高い出力を生成するが、実際の「自己認識」に基づいて回答することはない。

2. なぜLLMは虚偽の自己紹介を行うのか

ユーザーが大規模言語モデル(LLM)に「あなたは誰ですか?」と尋ねると、その答えはしばしば不正確である。例えば:

  • ユーザー:「あなたは誰ですか?」
  • 古い Falcon 7B モデルの回答:

なぜこんなことが起こるのでしょうか?

  1. LLM にはその本当のアイデンティティについて明確に伝えられていない、したがってそれは訓練データに基づいて答えを推測します
  2. 訓練データのバイアス
  • インターネット上にはAIモデルに関する多くの議論があり、それらは“ChatGPT by OpenAI”、モデルは或许この形式を学習するそして誤って自分に適用します。
  • 正しい自己定義のデータが不足している
    • もしモデルが訓練中に自身のアイデンティティに関する情報を提供されていなければ、それは統計的なパターンに基づいて推測するしかありませんこれは幻覚を引き起こす可能性があります。

    3. 解決策:LLMに正しい「自己認識」を持たせる方法

    開発者は2つの方法を通じてLLMに正しいアイデンティティ情報を言わせる

    方法1:訓練データ中に手動でアイデンティティ情報を提供する

    • 例えば、Allen AIのモデルはAlMoによって「ハードコーディング」された対話例この問題を解決しました:
      • ユーザー「あなたは誰ですか?」
      • モデル「私はアレンAIによって開発されたオープンな言語モデルです。」
      • OlMoのトレーニングデータセットには、240の事前に設定された質問と回答が含まれています。
      • LLMがこれらの固定形式の答えを学習するため、将来ユーザーが類似の質問をしたときに、モデルは言い返す(parrot)これらの答えを生成します。

    方法2:システムメッセージ(System Message)の使用

    • システムメッセージ(システムメッセージ)は対話の文脈に隠された指示です、LLMがそのアイデンティティを覚えることができます。例えば:
      • ChatGPTでは、OpenAIがモデルに見えないシステムメッセージを追加する可能性があります
        あなたは ChatGPT 4.0 で、OpenAI によって訓練され、知識の基準日は2023年9月です。
      • このようにして、モデルは、毎回会話が始まるときにこれらの情報を受け取ります一貫した回答を提供します。