ファインチューニング

ng adapts pre-trained models to new tasks by making minor adjustments, reducing data and resource needs. It involves selecting a model, adjusting architecture, freezing/unfreezing layers, and optimizing hyperparameters for improved performance.

モデルのファインチューニングとは？

モデルのファインチューニングは、事前学習済みモデルに軽微な調整を加え、新しい特定のタスクやデータセットに適応させる機械学習手法です。ゼロからモデルを構築するのは時間もリソースも大量に必要ですが、ファインチューニングでは大規模データセットで事前学習したモデルの知識を活用できます。モデルのパラメータを調整することで、新しいタスクでも少ないデータや計算資源で高い性能を発揮できます。

ファインチューニングは転移学習の一種であり、ある問題で得た知識を、別の関連する問題に適用する方法です。ディープラーニングでは、画像認識や自然言語処理などの事前学習済みモデルが新しいタスクに役立つ表現を学習しています。ファインチューニングはこれらの表現を新しいタスクに合わせて調整します。

モデルのファインチューニングはどのように使われる？

ファインチューニングは、事前学習済みモデルを新しいドメインやタスクに効率的に適応させるために用いられます。プロセスは一般的に以下の主要なステップから成ります。

1. 事前学習済みモデルの選択

新しいタスクに最も近い事前学習済みモデルを選びます。例えば：

• 自然言語処理（NLP）: BERT、GPT-3、RoBERTa など
• コンピュータビジョン: ResNet、VGGNet、Inception など

これらのモデルは大規模データセットで学習済みで、一般的な特徴を捉えています。

2. モデル構造の調整

新しいタスクに合わせてモデルを修正します。

• 出力層の置き換え: 分類タスクの場合、新しいデータセットのクラス数に合わせて最終層を置き換えます。
• 新しい層の追加: タスク固有の特徴学習能力を高めるために層を追加します。

3. 層の凍結と解凍

どの層を学習させるかを決定します。

• 初期層の凍結: 画像のエッジなど一般的な特徴を捉える初期層は変更せずそのままにします。
• 後半層の解凍: より具体的な特徴を捉える後半層は新しいデータで学習させます。
• 段階的な解凍: 最初は追加した層のみ学習し、徐々に前の層も解凍して学習させます。

4. 新しいデータでの学習

調整したモデルを新しいデータセットで学習させます。

• 小さな学習率: 学習率を低く設定し、既に学習した特徴を壊さずに微調整します。
• 性能の監視: 過学習を防ぐため、検証データで定期的にモデルを評価します。

5. ハイパーパラメータの調整

学習パラメータを最適化します。

• 学習率スケジューリング: 学習中に学習率を調整し、収束を促進します。
• バッチサイズやエポック数: パフォーマンス向上のためにバッチサイズやエポック数を検討します。

ゼロからの学習とファインチューニングの違い

両者の違いを理解することが重要です。

ゼロからの学習

• スタート地点: モデルの重みはランダムに初期化される
• データ要件: 多くのラベル付きデータが必要
• 計算リソース: 大きなモデルでは計算負荷が高い
• 時間: ランダムな重みから始めるため学習に時間がかかる
• 過学習リスク: データが不足していると過学習しやすい

ファインチューニング

• スタート地点: 事前学習済みモデルから開始
• データ要件: 小規模なタスク固有データセットでも有効
• 計算リソース: 負荷が低く、学習時間も短い
• 時間: 既に特徴を学習しているため収束が速い
• 過学習リスク: リスクは減るが注意深い監視が必要

モデルファインチューニングの手法

タスクやリソースに応じてさまざまな手法があります。

1. フルファインチューニング

• 説明: 事前学習済みモデルの全パラメータを更新
• メリット: 新しいタスクで高い性能が期待できる
• デメリット: 計算コストが高く、過学習のリスクもある

2. 部分的ファインチューニング（選択的ファインチューニング）

• 説明: 特定の層のみ学習し、他は凍結する
• 層の選択:
  • 初期層: 一般的な特徴を捉えるため凍結されることが多い
  • 後半層: タスク固有の特徴を捉えるため解凍されることが多い
• メリット: 計算負荷を削減し、一般的な知識を保持

3. パラメータ効率のよいファインチューニング（PEFT）

• 目的: 学習対象パラメータを減らす
• 手法:
  • アダプター:
    • ネットワーク内に小さなモジュールを挿入
    • アダプターのみを学習し、元の重みは固定
  • LoRA（ローランク適応）:
    • 低ランク行列を導入して重みの更新を近似
    • 学習パラメータを大幅に削減
  • プロンプトチューニング:
    • 入力に学習可能なプロンプトを追加
    • 元の重みを変更せずモデルの挙動を調整
• メリット: メモリや計算リソースの削減

4. 付加的ファインチューニング

• 説明: モデルに新しい層やモジュールを追加
• 学習: 追加部分のみを学習
• 用途: 元のモデルを変更せずに拡張したい場合

5. 学習率の調整

• 層ごとの学習率:
  • 層ごとに異なる学習率を設定
  • より細やかな学習制御が可能

大規模言語モデル（LLM）のファインチューニング

GPT-3やBERTなどLLMのファインチューニングには特別な配慮が必要です。

1. インストラクションチューニング

• 目的: モデルに人間の指示に従わせる能力を高める
• 方法:
  • データセット作成: （指示, 応答）のペアを収集
  • 学習: このデータセットでモデルをファインチューニング
• 効果: より有用で関連性の高い応答を生成

2. 人間のフィードバックによる強化学習（RLHF）

• 目的: モデルの出力を人間の好みに合わせる
• プロセス:
  1. 教師ありファインチューニング:
     • 正解が明示されたデータセットで学習
  2. 報酬モデル構築:
     • 人間が出力をランク付けし、そのランキングを学習する報酬モデルを作成
  3. 方策最適化:
     • 強化学習でモデルをファインチューニングし、報酬最大化を目指す
• メリット: 人間の価値観に沿った出力を実現

3. LLMにおける配慮事項

• 計算リソース:
  • LLMは大規模なためファインチューニングに多大なリソースが必要
• データ品質:
  • バイアスの混入を防ぐため高品質なデータが不可欠
• 倫理的影響:
  • 利用や悪用の影響を十分に考慮する

ファインチューニングの注意点とベストプラクティス

ファインチューニングを成功させるには慎重な計画と実行が重要です。

1. 過学習の回避

• リスク: 学習データでは高い性能でも、新しいデータでは低下
• 対策:
  • データ拡張: データセットの多様性を高める
  • 正則化手法: ドロップアウトやウェイト減衰を活用
  • アーリーストッピング: 検証性能が悪化したら学習を停止

2. データセットの質

• 重要性: ファインチューニングしたモデルの性能はデータに依存
• 実施事項:
  • データクリーニング: エラーや不整合を排除
  • データのバランス: すべてのクラス・カテゴリが十分に含まれているか確認

3. 学習率

• 戦略: 小さい学習率を使用
• 理由: 学習済み特徴の破壊を防ぐため

4. 層の凍結戦略

• 判断基準:
  • タスクの類似性: 類似度が高い場合は調整量が少なくて済む
  • データ量: 小規模データセットでは多くの層を凍結すると良い場合も

5. ハイパーパラメータの最適化

• アプローチ:
  • さまざまな設定を試行
  • グリッドサーチやベイズ最適化などの手法を活用

6. 倫理的配慮

• バイアスと公平性:
  • 出力のバイアスを評価
  • 多様で代表的なデータセットを使用
• プライバシー:
  • GDPRなどの規制を遵守
• 透明性:
  • モデルの能力や限界を明示

7. モニタリングと評価

• 指標の選択:
  • タスクの目的に合った評価指標を選ぶ
• 定期的なテスト:
  • 未知データで汎化性能を評価
• ログとドキュメント:
  • 実験や結果を詳細に記録

ファインチューニングモデルの評価指標

適切な評価指標の選択が肝心です。

分類タスク

• 精度: 全体の正解率
• 適合率: 正と予測した中の正解率
• 再現率: 実際の正例の中で正と予測した割合
• F1スコア: 適合率と再現率の調和平均
• 混同行列: 予測誤りを視覚化

回帰タスク

• 平均二乗誤差（MSE）: 平方誤差の平均
• 平均絶対誤差（MAE）: 絶対値誤差の平均
• 決定係数（R-squared）: モデルが説明する分散の割合

言語生成タスク

• BLEUスコア: テキストの重複度評価
• ROUGEスコア: 要約でのリコール重視
• パープレキシティ: モデルがサンプルをどれだけ予測できるか

画像生成タスク

• Inception Score（IS）: 画像の質と多様性を評価
• Fréchet Inception Distance（FID）: 生成画像と実画像の類似度評価

モデルファインチューニングの研究動向

モデルのファインチューニングは事前学習済みモデルを特定タスクに適応させ、性能と効率を高めるための重要なプロセスです。近年の研究では、さらなる効率化や性能向上を目指した革新的な戦略が検討されています。

1. Partial Fine-Tuning: A Successor to Full Fine-Tuning for Vision Transformers
   この研究では、ビジョントランスフォーマーに対するフルファインチューニングの代替手法として部分的ファインチューニングを提案しています。部分的ファインチューニングにより効率性と精度が向上することが示されました。フィードフォワードネットワーク（FFN）やアテンション層に注目した戦略など、さまざまな層選択の有効性が検証され、特定の戦略ではより少ないパラメータでフルファインチューニングを上回る性能が得られました。新たに提案されたファインチューニング角度指標は、層選択の判断材料として有効であり、柔軟なアプローチを提供します。結論として、部分的ファインチューニングは少ないパラメータでモデルの性能と汎化性を向上させることができます。詳しく読む
2. LayerNorm: A Key Component in Parameter-Efficient Fine-Tuning
   本論文は、特にBERTモデルにおけるパラメータ効率のよいファインチューニングにおいてLayerNormの役割を調査しました。出力LayerNormがさまざまなNLPタスクでファインチューニング中に大きく変化することが判明し、LayerNormのみをファインチューニングすることでフルファインチューニングと同等またはそれ以上の性能が得られることが示されました。Fisher情報を用いてLayerNorm内の重要部分を特定し、ごく一部のみのファインチューニングでも多くのNLPタスクを高い性能で解決できることが示されました。詳しく読む
3. Towards Green AI in Fine-tuning Large Language Models via Adaptive Backpropagation
   この研究では、大規模言語モデル（LLM）のファインチューニングが環境に与える影響に着目し、適応型逆伝播法を提案しています。ファインチューニングは効果的ですが、エネルギー消費が多く炭素排出量も高くなります。既存の効率的なファインチューニング手法でも逆伝播に伴う計算コストは十分削減できていないことが示され、フロップ数削減とエネルギー消費削減の関連性から、環境負荷低減のための適応的戦略の必要性が強調されています。詳しく読む