NTT-ATの機械学習関連コンペティションへの取り組みについて
NTT-ATでは、AIに関するビジネスの拡大を行っています。それに伴い、社内の機械学習/AIのエンジニアは日々スキルアップに取り組んでいます。社内の取り組みとして、エンジニア同士が情報交換を行うコミュニティを形成し、情報共有を日々実施しています。コミュニティ活動の一環として社外コンペティションへ定期的に参加し、最新技術に触れ、より実用的な手法を獲得しています。
上記の取り組みの一環でNTT-ATは、2024年9月から10月に開催されたコンペティション「RAG-1グランプリ」に参加し、4位に入賞いたしました。
「RAG-1グランプリ」について
株式会社SIGNATEによって開催されたコンペティション「RAG-1グランプリ」は、国内最大規模の一般公募でのRAGに関するコンペティションとして大きな注目を集めました。
RAGはLLMを活用するうえで有効な手段として知られており、特にLLMが真実ではないことを回答してしまう「ハルシネーション」を抑制する効果が期待されます。
本コンペティションは、RAGを活用することで、いかにハルシネーションを抑え、正しい回答を生成するRAGシステムを構築することができるかを競う内容となっておりました。
RAG-1グランプリページ：https://signate.jp/competitions/1407
RAGについて
RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）の応答をより正確に、そして信頼性のあるものにするための仕組みです。通常のLLMは、学習時に取り込んだデータをもとに答えを作りますが、新しい情報や特定の資料に基づいた答えを出すのは苦手な場合があります。さらに、LLMには「ハルシネーション」と呼ばれる問題もあります。これは、モデルが自信を持って間違った情報を作り出してしまう現象のことです。たとえば、存在しないデータや誤った事実をあたかも正しい情報のように答えることがあります。
RAGの仕組みはこのハルシネーションを減らすことにも役立ちます。その流れは以下の2つのステップからなります：
情報検索（Retrieval）：
質問が来たら、関連する情報をデータベースやドキュメントから探します。このとき、「意味が近い内容を探す」技術を使うので、単純なキーワード検索よりも適切な資料を見つけることができます。たとえば、「新しい法律の内容について教えて」という質問に対して、実際の法律文書や解説記事をデータベースから取り出します。このステップは通常のLLMを利用する際にはないステップとなっており、通常のLLMは学習時に取り込んだデータのみを利用するため、ドキュメントを検索することは行いません。
生成（Generation）：
見つけた情報をもとにLLMが答えを作ります。ここでは、検索された信頼できる情報を基に文章を組み立てるため、LLMが完全にデタラメなことを答えるリスクが減ります。たとえば、「地球温暖化が農業に与える影響」を尋ねた場合、適切な科学記事やレポートの内容を基に答えが生成されます。このステップは通常のLLMを利用する際には検索された情報なしでの回答を生成させます。そのため、通常のLLMを利用する際に「地球温暖化が農業に与える影響」を学習していない場合には、ハルシネーションが起きる可能性があります。
RAGは、LLMがハルシネーションを起こす確率を下げる重要な役割を持っています。LLMは通常、内部の知識だけで答えを作るため、不確かな情報を埋め合わせるような形で誤答が生じることがあります。しかし、RAGでは外部の信頼性のある情報を検索して利用するため、LLMが何もないところから間違った情報を作ることを防ぎやすくなります。
ただし、RAG自体にも限界があります。検索された情報が不正確だったり、検索範囲が狭すぎたりすると、正しい情報を見つけられない場合があります。そのため、データベースの品質や検索手法を工夫することも重要です。
RAGは「AIが外部の情報を調べて、それを基に答える仕組み」であり、これによりハルシネーションのリスクを抑えつつ、正確性を高めるアプローチとして注目されています。
NTT-ATがコンペティションで活用したRAGの応用技術
コンペティションに参加するにあたり、シンプルなRAGでは十分なスコアを得ることが難しかったため、以下の応用技術を活用して精度を向上させました。
- データクレンジング：検索対象のドキュメントから不要な部分を削除
- 検索用メタデータ活用：検索時に文章内容だけでなくタイトルやタグなどのメタデータも活用
- LLMによる文章の修正：ドキュメント内の分かりづらい文章表現を、LLMを用いて分かりやすく修正
- LLMによる検索キーワードの抽出：質問文に対してLLMを使用して適切な検索キーワードを抽出し、それに基づいてドキュメントを検索
- HyDE（Hypothetical Document Embedding）：質問文の内容から仮の回答をLLMで生成し、その回答に基づいて関連性の高いドキュメントを検索
- HQ法：ドキュメントからLLMを用いて想定質問を生成し、質問文と想定質問の類似度を基に検索を行う技術
- ハイブリッド検索：単一の検索手法ではなく、複数の検索手法を組み合わせて検索
- RAG Fusion：複数のLLMや検索エンジンを統合したRAG手法
- 回答生成の多段階実施：長文の回答を生成後、それを再度LLMに入力し、簡潔な回答を作成
- 複数回答を統合した回答生成：LLMに複数回回答を生成させ、その中から最適な回答を選択して統合
- プロンプトの工夫：回答の文字数制限や「分からない」と正確に返答させるためのプロンプト設計を実施
これらの技術を組み合わせることで、RAGの性能を大幅に向上させ、コンペティションでの高スコアを実現しました。
おわりに
本稿では、コンペティション「RAG-1グランプリ」でのNTT-ATの活動とそこで利用された技術であるRAGとRAGの応用手法を紹介いたしました。
RAGは社会実装が期待されますが、実用性を考えると今回紹介したような多くの工夫が必要となります。RAGを含むLLM関連の技術は日々開発が続けられており新しくなっているため、それらの情報をキャッチアップし適切なものを見極め選択する必要があります。
執筆者
NTTアドバンステクノロジ株式会社
アプリケーション・ビジネス本部 ＤＸビジネス部門
嶋村 海人（しまむら かいと）
略歴
統計学からディープラーニングまで幅広い技術を活用して、技術検証や開発業務に従事。入社後に博士号を取得。
AIデータ分析コラム
このコラムは、NTT-ATのデータサイエンティストが、独自の視点で、AIデータ分析の技術、市場、時事解説等を記事にしたものです。
※本コラムの著作権は執筆担当者名の表示の有無にかかわらず当社に帰属しております。
AIデータ分析シリーズ
- ソリューション
- パッケージ（Spotfire、TIBCO製品）
※DeAnoSは日本電信電話株式会社の登録商標です。
※当社とNTTコム オンライン・マーケティング・ソリューション(株)は、Spotfireの販売契約を締結しています。
※TIBCO、Spotfireは、Cloud Software Group, Inc.の商標または登録商標です。
