AI Deep Dive【31】業務文書に強いRAGを社内コンペで検証、精度95%を実現！

近年、生成AIの活用が急速に進む中、業務文書を対象とした自動応答システムのニーズが高まっています。NTTアドバンステクノロジ株式会社（以下、NTT-AT）では、社内技術者によるコンペティションを通じて、RAG技術の実践と応用力の向上に取り組みました。
NTT-ATは、2025年7月に社内技術者を対象とした技術研修イベント「RAGコンペティション2025 Summer」を開催しました。
本イベントでは、Retrieval-Augmented Generation（RAG）技術を活用し、社内業務での活用を想定した文書をもとに、正確かつ効率的な業務向け自動応答システムの構築に取り組みました。実務に即した課題設定のもと、参加者は高度な情報抽出とLLM応答の精度向上を目指し、チームでの開発と検証を行いました。

RAGとは、大規模言語モデル（LLM）の応答精度を高めるために、外部知識を検索・参照しながら回答を生成する技術です。従来のLLMは、学習済みのパラメータに基づいて応答を生成しますが、RAGでは、ユーザーの質問に対して関連する文書や情報を検索し、その文脈をもとに応答を生成することで、より正確かつ信頼性の高い回答が可能になります。

RAGの基本構成は以下の通りです：

• 検索フェーズ（Retrieval）：
  質問に関連する情報を、ベクトル検索などを用いて外部データベースから抽出。
• 生成フェーズ（Generation）：
  抽出された文脈をもとに、LLMが自然な言語で回答を生成。

この技術は、社内文書や業務資料など、静的な情報を活用した自動応答システムの構築に非常に有効であり、業務効率化やナレッジ共有の促進に貢献します。

本コンペティションでは、実際の業務で頻繁に利用されるPDF形式の文書（就業規則、決算報告書、スライド等）を対象に、質問に対して正確な回答を生成するシステムの開発に取り組みました。

課題として提供されたドキュメントには、以下のような特徴があり、技術的にも高度な処理が求められました：

• 数値・表・専門用語が多く含まれるドキュメント
• テキストが中心でありながら、全ページが画像形式で構成されたドキュメント
• 図やレイアウトが含まれるスライド形式のドキュメント

これらのドキュメントに対して、情報抽出・意味理解・構造解析を行い、LLMによる自然な応答を生成する必要があります。

RAGの初学者が、テキストベースの簡易なRAG構成からステップアップする際、以下のような点で課題に直面することがあります：

• 画像形式のPDFに対する前処理
  通常のテキスト抽出では対応できず、OCR（光学文字認識）を用いた画像解析が必要になります。特に、表や段組みのある文書では、構造の保持が難しく、誤認識が発生しやすいです。
• 図やグラフの意味理解
  スライド形式の資料では、図表やイラストが情報の中心となることが多く、単純なテキスト検索では対応できません。画像分類や視覚的特徴抽出、場合によってはVLM（Vision-Language Model）の活用が求められます。
• 専門用語の扱い
  業務文書には業界特有の用語や略語が多く含まれており、LLMが誤解する可能性があります。事前に用語辞書を整備したり、検索時に同義語展開を行う工夫が必要です。

これらの課題を乗り越えることで、より実務に近いRAGシステムの構築が可能となり、業務効率化やナレッジ活用に大きく貢献する技術へと発展していきます。

本取り組みを通じて、RAG技術が以下のようなビジネスシーンで有効に機能することが確認されました。

本コンペティションでは、技術的な精度だけでなく、実運用を見据えたコスト評価も実施しました。評価条件は「月間1万クエリ × 1か月運用」を想定し、クラウド利用料、LLM API使用料、ストレージ、監視コストなどを含めた総額を試算。初期構築費用（人件費除く）も別途計上し、技術とコストの両立を図る提案力が求められました。

特筆すべきは、上位チームの技術力であり、正解率95%を達成する高精度な応答システムが構築されました。これは、画像形式のPDFや複雑な文書構造を含む業務文書に対しても、安定した応答精度を維持できた点で、実務環境での活用可能性を十分に示す成果といえます。

さらに、今回のコンペティションには新人技術者も参加しており、ベースラインスコアから7ポイントの向上を達成するなど、目覚ましい成果を挙げました。若手・中堅を問わず、参加者全体が技術的な課題に真摯に取り組み、コンペティションを通じて技術力の底上げに寄与しました。

本コンペティションでは、参加した10チームごとに独自の工夫が見られましたが、RAGシステムを構築する上で、以下のような技術的アプローチはほぼすべてのチームが共通して取り組んだ基本構成となりました。

• PDFからのテキスト・画像抽出（PyMuPDFなど）

PDF文書を構造化するための前処理として、テキストと画像を分離。後続の検索・解析処理に活用するための基盤技術です。

• 画像キャプション生成（VLM／LLMによる）

図表やイラストなどの画像要素に対して、内容をテキスト化することで、検索対象として扱えるようにし、回答精度の向上に貢献しました。

• チャンク化による文書分割（ページ単位／意味単位／Markdown単位など）

文書を適切な単位に分割することで、検索の粒度を調整し、関連文脈の抽出精度を高める工夫が施されました。

• ベクトル検索による関連文脈抽出（FAISS／ChromaDBなど）

質問に対して意味的に関連する文脈を効率的に抽出するための基本技術として、ベクトル検索が広く活用されました。

• 関連文書を用いた回答生成（LLMを用いた文脈付き応答）

抽出された文脈をもとに、LLMが自然な言語で回答を生成するRAGの中心的な処理。精度と再現性の両立が求められる重要なステップです。

これらの技術は、RAGシステムの構築における基本構成要素であり、参加者の技術理解と実装力を高めるうえで重要な学びの機会となりました。

本コンペティションでは、各チームが創意工夫を凝らし、実務に即した高精度なRAGシステムを構築しました。中でも上位チームは、以下のような高度な技術的アプローチを採用し、正解率95%という高い精度を実現しました。

• Agentic RAG（エージェンティックRAG）

従来のRAG構成に加え、エージェント的な振る舞いを持つ処理フローを導入。ユーザーの質問に応じて、検索・要約・再質問などの複数ステップを自律的に実行する構成とすることで、複雑な質問にも柔軟に対応できる仕組みを実現しました。

• ドキュメント構造の解析とチャンク化

PDF文書の構造（見出し、段落、表、図など）を解析し、意味的に一貫性のある単位でチャンク化。これにより、検索精度が向上し、LLMによる回答の一貫性と正確性が大きく改善されました。

• 画像要素の分類と最適処理の適用

画像形式のPDFに対しては、画像を「グラフ」「イラスト」「テキスト画像」などに分類。それぞれに対してOCR、図表解析、視覚的特徴抽出などの適切な処理を適用することで、画像ベースの情報も高精度に取り扱うことが可能となりました。

NTT-ATでは、生成AIやRAG技術をはじめとする先端技術の習得を目的とした社内スキルアップ活動を継続的に実施しています。今回のコンペティションもその一環として開催され、技術者同士が部門を越えて協力しながら、実践的な課題に取り組むことで、知識の深化と応用力の向上が図られました。

イベント当日は、参加者のモチベーションを高めるためにオリジナルノベルティ（オリジナルステッカー）も配布され、会場には活気と熱意があふれていました。こうした工夫により、技術研修でありながらも、楽しみながら学べる環境が整えられており、参加者からは「学びが深く、次の業務にすぐ活かせそう」「チームでの議論が刺激的だった」といった声が寄せられています。

このような取り組みは、単なる研修にとどまらず、技術者同士の交流や社内コミュニティの活性化にもつながっており、NTT-ATの技術力を支える重要な土台となっています。

NTT-ATでは、生成AIやRAG技術を活用した業務効率化・ナレッジ活用の高度化に継続的に取り組んでいます。今回の社内コンペティションを通じて、画像形式のPDFや複雑な業務文書に対応可能な高精度なRAG応答システムを構築し、実務レベルでの運用可能性を実証しました。

参加技術者は、情報抽出・意味理解・応答生成といった各工程において、課題に即した技術選定と実装を行い、精度とコストの両立を図る提案力を発揮。これにより、社内外の業務課題に対して、具体的なソリューションとしてRAGシステムを設計・構築・提案できる技術力が育まれています。

NTT-ATは今後も、実務に根差した技術研修と社内文化の醸成を通じて、現場で活きるAI活用力を高め、お客様の課題解決に貢献してまいります。