今日、私たち会社のHRが「認知心理学を通じたより良い意思決定」に関するプレゼンを行いました。これは以前シンガポール国立大学（NUS）で烏先生の「ビジネス分析と意思決定」の講義で聞いた内容と多くの共通点がありました。
以前、LLM（大規模言語モデル）をより賢くする方法を研究していた際にも、同様の手法を発見しました。
大規模言語モデルは確率モデルです。このモデルに素早く答えさせる場合、それはシステム1（速い思考）を採用します。
既存の大規模モデルLLMをより賢くするための方法はいくつかあり、大致四つのカテゴリに分類されます。
1. より良い質問をする方法
LLMの学習プロセスでは、私達が読む本やウェブ上のコンテンツをはるかに超える大量のデータが使用されます。
したがって、良い質問をすることはLLMの潜在能力をよりよく引き出すことができます。問題提示（Prompt）の構築に関する多くの本やウェブサイトがあり、その基本的な論理は以下の通りです：
| 要素 | 名称 | 説明 |
|---|---|---|
| タスク | Task | GPTが生成する必要があるコンテンツのタイプ |
| 指示 | Instructions | コンテンツを生成する際に遵守すべき原則 |
| キャラクター | Role | GPTが演じる必要がある役割 |
| キーワード | Seed-word | 強調するべきポイント |
例えば:
公众号用の記事を書き、LLMをより賢くする方法を紹介します。
に
経験豊富な微信公众号運営者
「システム1、システム2」
Few-ShotとChain-of-Thought (CoT)の組み合わせを使用する
LLMに「1364乘以2343はいくつ？」と直接尋ねても、誤った答えが返されることがあります。
しかし、プロンプトを修正することでこのプロセスを改善できます。例えば：
その後、結果を加算します：では、先ほどの解き方を使って、1364に2343を掛けた結果を求めましょう。今回は正しい答えが得られました：
このプロセスは意思決定の流れに似ています。自分の思考だけで最良の意思決定をするのは難しい場合がありますが、このような意思決定プロセスを使用できます。これはLLMがFew-Shotを用いてCoT（Chain of Thought）を参照して意思決定プロセスを改善するのに似ています。
2. 微調整（Fine-Tune）
以前、あるポッドキャストで聞いたことがありますが、微調整（Fine-Tune）の過程で特定の側面の模倣能力を強化すると、他の側面の能力が低下することがあります。しかし、この方法により、LLMは私たちが望む方向に向かってより賢くなることができます。
明確にしておく必要があるのは、Fine-Tuneは先ほど述べたFew-Shotとは異なります。Fine-Tuneはモデル自体を変更しますが、Few-Shotはモデルの構造を変更しません。
この方法は例を挙げるよりも彼の脳モデルを変えることに繋がります。
これは意思決定モデルを使うことと似ています。あなたは傾向に基づいて適切な方向を選んで、脳を導き、訓練することができます。理性による意思決定に慣れてしまうと、感情的な意思決定がしにくくなるかもしれません。したがって、最も適切な方法を選ぶこと、または特定の状況に対して最適な方法を選ぶことが重要です。
3. RAG（Retrieval Augmented Generation）
RAG（Retrieval Augmented Generation、検索強化生成）は、大規模言語モデル（LLM）が質問に答えたりテキストを生成したりする際に、大量の文書から関連情報をまず検索し、その検索結果に基づいて回答やテキストを生成する技術です。これにより、LLM自体の能力だけに頼らずに回答の質を向上させることができます。RAG技術を使用することで、開発者は特定のタスクごとに大規模なモデルを再学習させる必要がなく、関連する知識ベースを追加するだけで済みます。これにより、モデルに追加の情報入力を提供し、回答の正確性を向上させることができます。RAG技術の作業フローは次の図に示されています。
私見では、RAGをうまく活用しているのはClaude2です。
他にもPerplexity、txyz、ChatGPT、chatpdfなどが良いパフォーマンスを発揮しています。
このプロセスは、私たちが意思決定を行う際の方法に少し似ています。自分が何か分野で不足していると感じたとき、その分野の専門家に相談することができます。彼らの専門知識を利用して、より賢明な決定を下すことができるのです。例えば、タイの睡美人洞窟での救助事件では、異なる専門家のデータをRAGして対応しました。
4. 関数呼び出し（Function Call）とツールの使用。
GPTの前回の発表会では、Function Call機能が発表されました。これにより、LLMが行えることの範囲が大幅に拡大しました。
GPTの最新版はさらに賢くなり、主に以前のコード解釈機能を分析機能として統合したため、複雑な問題を処理する際にPythonを呼び出すことができるようになりました。
この機能が登場する前、私が最初に見た関連論文は『Program-Aided Language (PAL) Models』でした。このモデルは、大規模言語モデルを使用して問題を理解し、Pythonを利用して計算を行います。
その後、PALはオープンソースフレームワークであるLangchainに統合されました。
Langchain自体もMath chainという機能を開発しています。
もちろん、OpenAIは計算機などの各种プラグインも提供しています。
この関数を呼び出したりツールを使用するプロセスは、私たちが意思決定を行う際の方法と似ています：自分自身の能力には限界があることを認識しているかもしれませんが、様々なツールを利用して意思決定を支援することができます。これらのツールを使うことで、問題解決やより良い意思決定が効率的に行えるようになります。
最後に
私たちは日常生活で意思決定を行う際に、情報を求めたり、専門家に相談したり、様々なツールを利用するのと同じように、大規模言語モデル（LLM）の発展もそのような多様化かつ包括的な思考パターンを反映しています。より良い質問をする、モデルを微調整する、リトリーバル・エンハンスト・ジェネレーション（RAG）技術を使用する、あるいは関数を効果的に呼び出してツールを使用するなど、これらの戦略はすべて、複雑な問題に対処する際に資源や技術を柔軟に活用することの重要性を強調しています。弊社の皆さんには、LLMをより効果的に使う方法を学び、LLMをより賢くしてほしいと思っていますし、