AI Deep Dive【36】LLM 強化学習の今とこれから：手法とポイントをざっと紹介

LLMの応答品質を向上させるにはさまざまなアプローチがあります。LLMアプリケーションの開発に関わっている方の中には、業務効率化チャットボットでプロンプトエンジニアリングをして回答精度を高めたり、社内データを活用するためにRAG（検索拡張生成）を構築したりといった経験をお持ちの方も多いでしょう。もちろんこれもアプローチの一つです。

一方で、外部からの指示や情報の注入だけでは、利用者の意図を深く汲み取った挙動が実現できないこともあるかと思います。そのような場合は、モデル自体のパラメータを更新する「ファインチューニング」によってモデルの内部から挙動を調整していくアプローチが有効とされます。ファインチューニングの具体的な手法としては下記のようなものがあります。

• 「継続事前学習」・・・特定ドメインの知識を追加で学ばせる
• 「インストラクションチューニング」・・・タスクの解き方を教える
• 「強化学習」・・・人間の好みに合わせた挙動に調整する

特に、近年のLLM（ChatGPTなどの生成AIサービスを含む）がここまでの性能飛躍を遂げた最大の鍵は、3番目の強化学習にあると言われています。なぜなら、この技術を用いることで、単なる知識の学習だけでは難しい以下のような高度な制御が可能になるからです。

• 言葉遣いの調整：専門用語を避けて平易にするか、逆に厳密な定義を用いるか
• 回答粒度の制御：簡潔な要約で返すか、背景まで含めて詳細に解説するか
• 形式の順守：特定のフォーマットに従って回答させる
• 思考プロセスの分離：いきなり答えを出さず、「推論パート」と「回答パート」を明確に分けて出力させる

このようなさまざまな観点を学習に組み込むことで、ユースケースに適合し、人間にとって使いやすいモデルを作り上げることができるのが強化学習の強みです。

一方で、従来の強化学習は「一部の大規模組織のみが扱える技術」といった位置づけでした。学習データの準備に膨大な手間がかかる上、計算に大量のGPUリソースが必要、という問題があったからです。この状況を一変させたのが、DPO（Direct Preference Optimization）をはじめとする効率的なアルゴリズムの登場です。加えて、unslothやliger kernelといった、限られたリソースでも学習を実行できる仕組みが登場したことも、この普及を強力に後押ししています。現在では、強化学習の導入のハードルは劇的に下がり、多くの現場で取り組めるアプローチとして広がりつつあります。

LLMの強化学習手法は、ここ数年でより扱いやすい方向へと急速に進化しています。ここでは、その変遷において重要な役割を果たしている3つの強化学習手法を概観します。理論の詳細については参考文献をご確認ください。

最も知られているのは「RLHF（Reinforcement Learning from Human Feedback）」です [1]。OpenAIのChatGPTが高い実用性で注目を集めた際にも、その根幹を支えていたのはこの手法でした。

RLHFではまず、人間がモデルの複数の回答を見て好ましさで順位付けし、得られた順位を使って 報酬モデルを学習します。その報酬モデルのスコアを指標に、PPO（Proximal Policy Optimization）という手法でベースモデルを強化学習します。

人の判断を細かく反映できますが、回答の順位付けには大きな手間がかかる上 、ベースモデルに匹敵するサイズの報酬モデルをGPUに載せる必要があるため、学習に必要なGPUリソースも多くなりがちという欠点があります。

近年では、より効率よく学習できる「DPO（Direct Preference Optimization）」という手法がよく使われています [2]。

DPOでは、「望ましい回答（chosen）」と「望ましくない回答（rejected）」の両方をセットで与え、どちらが良いかをモデルに学ばせます。

DPOはRLHFで必要だった報酬モデルの学習をスキップして直接モデルの学習ができるため、学習に必要なリソースを抑えつつ、学習を安定させる効果が得られます。また報酬モデルの学習では重要だった順位付けは不要で、ペアデータさえ用意すれば よいため、実務に適用しながら学習データを収集することも可能です。

2024年の登場以来一気に知名度が上がったのが「GRPO（Group Relative Policy Optimization）」です [3]。

GRPOでは、pythonで書いた任意の報酬関数を使って学習を行います。モデルが生成した複数の候補に対して報酬関数の値を計算し、その相対評価に基づいてモデルを更新します。

GRPO は 学習に必要なリソースが少ないだけでなく、モデルに与える報酬を柔軟に設計できる点が大きな特徴です。「推論パート」と「回答パート」を分けたフォーマットで出力するように報酬を与え、reasoning（推論）に強いモデルを育てる用途が代表的ですが、報酬の工夫次第でさまざまな応用を考えることができます。従来のような報酬モデルを使った学習と対比して、pythonの関数のような機械的に検証可能な報酬を使う場合の学習はRLVR（Reinforcement Learning with Verifiable Rewards）と呼ばれ、データへの注釈付け不要で学習できることから注目を集めています。

具体的な手法の選定においては、RLHFは報酬モデルの学習が必要なうえ、必要なリソースが大きいため第一候補になりにくいでしょう。現在であれば、DPO・GRPO もしくはそれらの派生手法から検討を始めることが多いです。GRPO を選ぶ場合は、この段階でタスクに合わせた 報酬関数の設計を行います。これはいわゆる「報酬エンジニアリング」にあたり、実務では最もノウハウが蓄積される領域のひとつです。

ここからは、チューニングの実務を通して見えてきた強化学習利用時のポイントについて説明します。

強化学習は非常に強力な手法ですが、良い回答に報酬を与えて調整するという学習方法であり、未成熟なモデルをゼロから劇的に改善する魔法ではありません。モデルの初期出力が一定レベル以上に整っているかが強化学習を成功させる重要な条件になります。もし初期状態のモデルがタスクをほとんど理解していない場合、望ましい応答も望ましくない応答も区別がつかず、報酬の獲得自体が進まなくなります。いわゆる Cold Start問題 です。

この問題への対処は手法によって異なります。たとえば DPOでは、chosen と rejected のどちらか、もしくは両方に ベースモデルの元々の応答を利用する ことで、データとのアラインメントが取りやすくなり、学習が前に進みやすくなります。一方、GRPO で出力フォーマットに報酬を与える場合のように、モデルが複雑なフォーマットを自力で生成することを前提とする場合、ベースモデルが基本的な出力形式を理解していないと学習が停滞します。そのため、事前に インストラクションチューニングで最低限のフォーマットや回答の型を仕込んでおくとよいでしょう。

以上のように、強化学習を行う前に土台となるモデルの振る舞いを整えておくことが成功のカギとなります。

GRPOのように、報酬関数を設計するタイプの強化学習では、モデルが「ズルして点数を稼ぐ」状況を防ぐことが重要です。モデルに与える「報酬」の条件が偏っていたり、報酬関数で高いスコアを獲得するための「抜け道」があったりすると、モデルはその条件ばかりを満たそうとして、本来意図していない答え方を学習してしまうことがあります。これを「報酬ハッキング」といいます。

具体例で説明しましょう。reasoning（推論）能力を強化したいモデルを学習するとします。その場合、次のように 「推論は <think></think> の中に書き、最後に答えを書く」というフォーマットで出力させたいことがあります。このような手法はChatGPTの推論モードでも使われているものです。

• <think>推論部分</think>回答部分

仮に、このフォーマットをタグ構造が合っているかどうかだけで評価する報酬を設定したとしましょう。すると、

• <think></think>

という中身が空のタグだけを出力する（つまり、推論も回答も何も出力しない）だけで常に報酬を得てしまう──という状況が起こりえます。モデルは得てして、ラクをして報酬を獲得できる方向に学習を進ませるため、このような無意味な学習に陥ってしまうことがあるのです。

報酬ハッキングは強化学習全般で一般的にみられる事象であり、LLMに限らずロボティクスやゲームAIなど、さまざまな分野で興味深い事例が報告されています。例えば、参考文献[4]では、下記のような事例が報告されています。

• ロボットハンドに「物体を掴む」タスクを与え、カメラ映像をもとに評価した。ロボットは物体とカメラの間に手を置いて視界を遮ることで、人間から見ると「掴めているように見える」状況を作り出した。

参考文献[5]にはこの他にも報酬ハッキングの興味深い事例がまとめられています。

報酬ハッキングの対策として、複数の報酬を組み合わせ、互いの抜け道を補完する工夫が有効です。これには、学習目的とデータの特性を踏まえた試行錯誤が必要になります。上記の例だと、別途模範解答となる文字列を用意して、回答部分と突合することによって回答の正しさに対する報酬を与えるのが一つ有効な手でしょう。

DPOやGRPOといった技術の普及により、LLMの強化学習はもはや一部の大規模組織だけのものではなくなりました。これまで、多くの企業では「既成の巨大な汎用モデル」にいかにうまく指示を出すか、という点に注力してきましたが、これからは、「自社の業務や業界知識に特化したモデル」を、自分たちの手で作り上げる時代が到来します。

この技術トレンドの先には、以下のような未来が待っています。

• 専門分野への深い適応：強化学習を経たモデルは、細かな指示なしでも医療、法務、あるいは社内独自のルールといった専門的な文脈を正しく理解し、実務に即したアウトプットを出せるようになります。
• AI運用のコストとエネルギー革命：何でもできる巨大モデルを使うのではなく、特定のユースケースを強化学習で極めさせた中・小規模モデルを運用することで、推論コストや消費電力を劇的に抑えつつ、実用的な品質を維持することが可能になります。
• 企業競争力の源泉へ：誰でも使えるAPIを叩くだけでは差別化は困難です。「自社のデータと評価基準でアラインメントされたモデル」を持つことこそが、今後の企業の競争優位性になります。

また、技術的な探求も今後さらに加速しながら進展していきます。新しい強化学習手法が生まれるたびにモデルチューニングの選択肢は広がり続けていますが、その進化の方向性もより高度なものへと変化していくでしょう。最近の研究では、現在のLLM強化学習はサンプリング効率を改善し正しい推論に到達しやすくするが、「新しい推論パターンを生み出す」という効果は限定的、と報告されています[6]。つまり現状の強化学習は「ベースモデルの能力を引き出す・活かす」段階にとどまっており、根本的な推論能力を飛躍させる新パラダイムはまだこれからという見方もあるのです。新手法の創発的なブレークスルーにより、LLM がこれまでにない推論能力を獲得する未来にも期待が高まっています。

私たちは、こうしたビジネス直結の実装ノウハウから、最先端のアカデミックな議論までを常にキャッチアップし、実際のプロジェクトでの検証を続けています。「RAGの精度が頭打ちだ」「プロンプト調整に限界を感じている」、そんな課題をお持ちでしたら、ぜひ一度ご相談ください。現在の技術で解決できること、そして未来の技術動向も見据えた上で、貴社のAI活用を次のステージへ進めるお手伝いをさせていただきます。

※参考文献

[1] Training language models to follow instructions with human feedback, https://arxiv.org/abs/2203.02155 (2025年12月23日閲覧)

[2] Direct Preference Optimization: Your Language Model is Secretly a Reward Model, https://arxiv.org/abs/2305.18290 (2025年12月23日閲覧)

[3] DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models, https://arxiv.org/abs/2402.03300 (2025年12月23日閲覧)

[4] Learning from human preferences, https://openai.com/index/learning-from-human-preferences/ (2025年12月23日閲覧 )

[5] Specification gaming: the flip side of AI ingenuity, https://deepmind.google/blog/specification-gaming-the-flip-side-of-ai-ingenuity/ (2025年12月23日 閲覧)

[6] Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?, https://arxiv.org/abs/2504.13837 (2025年12月23日閲覧)