Reasoning LLMによるRAG：OpenAI O1 vs OpenAI GPT4o

OpenAIは新しいモデルシリーズO1からOpenAI O1をリリースしました。これらのモデルの主なアーキテクチャ上の変化は、ユーザーの質問に答える前に「考える」能力が加わった点です。本記事ではOpenAI O1の主な変更点や採用された新しいパラダイム、このモデルがRAG精度をどれほど大きく向上させるかを詳しく解説します。また、OpenAI GPT4oとO1を使ったシンプルなRAGフローを比較します。

OpenAI O1は従来モデルとどう違う？

大規模強化学習

O1モデルは学習過程で大規模な強化学習アルゴリズムを活用します。これにより「思考連鎖（Chain of Thought）」を強化し、より深く戦略的に問題を考えることができるようになりました。強化学習により推論経路を継続的に最適化することで、O1は複雑なタスクを効率よく分析・解決する能力を大幅に向上させています。

思考連鎖（Chain of Thought）の統合

従来、思考連鎖はLLMに自己推論させ段階的に複雑な質問へ答えさせるプロンプトエンジニアリング手法として有用でした。O1モデルではこのステップが標準搭載され、推論時にネイティブで統合されています。これにより数学やコーディング問題の解決で特に威力を発揮します。

O1はRLで「考えてから」プライベートな思考連鎖を通じて応答するよう訓練されています。考える時間が長いほど推論タスクで良い結果を出します。これはスケーリングの新たな次元を切り開きます。事前学習の限界から解放され、推論計算もスケールできるようになりました。 pic.twitter.com/niqRO9hhg1
— Noam Brown (@polynoamial) 2024年9月12日

圧倒的なベンチマーク性能

広範な評価において、O1モデルはさまざまなベンチマークで優れたパフォーマンスを示しています：

• AIME（アメリカ数学招待試験）: 問題の83%を正答し、GPT-4oの13%を大きく上回ります。
• GPQA（理系専門家レベルテスト）: 博士レベルの専門家を凌駕し、このベンチマークで初めて人間を超えたAIとなりました。
• MMLU（多タスク言語理解）: 57サブカテゴリ中54で優秀な成績、視覚認識有効時で78.2%を達成。
• コーディングコンペ: Codeforces等で93%の人間参加者を上回る高ランクを獲得。

OpenAI O1 vs OpenAI GPT4oのRAGフロー比較

OpenAI O1とGPT4oの性能精度を検証するため、同じフロー構成で2つの異なるLLMを用意しました。OpenAI O1の技術レポートに関する2つの情報源をインデックスし、質問応答能力を比較します。

まずFlowHuntでシンプルなRAGフローを作成します。フローはチャット入力、ドキュメント検索（関連文書取得）、プロンプト、生成、チャット出力で構成されます。LLMの指定コンポーネントでモデルを指定（デフォルトはGPT4o）します。

GPT4oの回答例：

OpenAI O1の回答例：

ご覧の通り、OpenAI O1は記事自体からより多くのアーキテクチャ的利点（6点）を抽出しており、GPT4o（4点）よりも優れています。さらにO1は各ポイントから論理的な示唆も行い、なぜアーキテクチャ変更が有用かをより深く説明しています。

OpenAI O1モデルは使う価値があるか？

実験の結果、O1モデルは精度向上の代わりにコストが高くなります。新モデルではPromptトークン、Completionトークン、そして新たにReasonトークン（新種）という3種類のトークンを使用し、料金が高くなる可能性があります。ほとんどの場合、OpenAI O1は事実に基づいたより有用な回答を返します。しかし、GPT4oがO1を上回ることもあり、推論を必要としないタスクではO1の優位性は限定的です。