AI Deep Dive【42】お客様のリアルな課題をAIで解決！「社内LLMハッカソン」開催レポート

今回のハッカソンは、高知県中小企業団体中央会（以下、高知県中央会）様に全面的なご協力をいただき、実際のお客様の業務データとリアルな課題をテーマにしたコンペティション形式で実施しました。本記事では、約1か月にわたる熱い戦いの裏側と、そこで生み出された実ビジネスに直結するRAG（Retrieval-Augmented Generation：検索拡張生成）技術のノウハウ、そしてお客様からのリアルなフィードバックをご紹介します。

※今回テーマをご提供いただいた高知県中央会様は、中小企業の「組合づくり」を支援し、業界特有の課題解決や経営サポートを行う特別認可法人です。現場の生きた声を国や自治体の政策に反映させるなど、地域経済のセーフティネットとして非常に公共性が高く、信頼の厚い機関です。また、本取り組みは、適切な秘密保持契約とセキュアなデータ保護環境のもとで実施いたしました。

高知県中央会様では、中小企業等協同組合法（中協法）に基づく様々な相談業務を行っています。しかし、ご相談を受けた際の回答案作成には、高度な専門知識に加え、過去の膨大な事例や「逐条解説（条文解説・定款例を載せた必携書）」などの緻密な確認作業が求められ、多くの時間を要していました。

そのため、情報の検索や確認作業に多くのリソースを割く必要があり、相談者様の状況を深く理解したうえでの「付加価値の高い提案」や、専門機関だからこそできる対人業務に十分な時間を確保しづらいというジレンマを抱えていました。

この課題に対し、AIに過去事例や法令の検索・分析を任せることで作業時間を大幅に削減し、創出された時間を「お客様への付加価値提案」に充てることを目指しました。

本ハッカソンでは、実業務で利用されている膨大な専門ドキュメント群をAIに読み込ませ、30問の実務的なテスト質問に対して精度の高い回答を出力する業務支援システム（RAGシステム）の開発をゴールとしました。

今回のシステム開発のベースとなるのは「RAG」という技術です。一般的なAIは最新の情報や社内独自のルールといったクローズドな情報を持たないため、時に事実と異なる回答をもっともらしく生成することがあります。RAGは、信頼できる情報源（今回は法令や過去の事例集）からAIが関連情報を検索し、その「信頼できる回答の土台」を元に文章を生成することで、この弱点を克服する仕組みです。

単に最新技術を使うだけではなく、ビジネスとして実用化するために、参加チームには以下の厳しい評価観点と制約が設けられました。

• 認識精度: 質問に対する回答の正答率と妥当性
• コスト: 初期構築費用に加え、月間1万回の質問×12か月の稼働を想定した年間運用費用
• 運用性: 画面（UI）の使いやすさ、文書追加や更新時の手間、拡張性、メンテナンスの容易さ
• 制約事項: 商用利用可能なライセンス技術に限定。AIガバナンスを意識したセキュアな実装（利用終了後のデータの確実な削除等）

部署や職種を問わず全社から集まった全8チーム（計27名）は、これらの厳しい条件をクリアすべく、4週間の開発期間に挑みました。

驚くべきことに、わずか4週間という短期間で全8チームが実際に動作するシステムを完成させ、最終日にはお客様の拠点（高知県）で直接プレゼンテーションと実演を実施しました。

本コンペティションを通じて、単なるプロトタイプにとどまらない、他案件への横展開が可能な実践的ノウハウが多数生まれました。ここでは、ビジネス層の方にもぜひ知っていただきたい4つの技術アプローチをご紹介します。

AIの回答精度は「読み込ませるデータの質」に直結します。通常のPDF読み込みでは「章・節・見出し・表」といった文書の構造が失われがちですが、複数のチームが外部AIサービスを活用し、文書構造を維持したままAIが理解しやすいデータ形式に変換する工夫を取り入れました。さらに、PDFの文字化けやレイアウト崩れを根本的に回避するため、政府の法令データ提供システムから直接、正確なテキストデータを取得するという独自のアプローチをとったチームもありました。

単純なキーワード検索や、文脈を読み取るAI検索（ベクトル検索）単体の限界を超えるため、両者を組み合わせ、結果を重要度順に再評価する「ハイブリッド検索」が多くのチームで採用されました。また、1回の検索で情報が足りない場合、AI自身が自律的に不足しているキーワードを推測して複数回再検索を行う仕組みを構築し、回答の網羅性を劇的に高めたチームも存在しました。

評価基準の一つである「コスト」に対して、システムの裏側の構成（インフラ）を工夫し、劇的な削減を実現したチームがありました。通常、高精度なRAGシステムには高価なデータベースサーバーが必要になりますが、クラウドの安価なデータ保管サービスを代用として活用することで、データベース利用料を従来の1/30以下にまで圧縮することに成功しました。

短期間でAIの精度をチューニングするため、開発・検証を効率化するプラットフォームを導入したチームもありました。これにより、AIへの指示の出し方や検索の流れの修正を、専門的なプログラミングなし（ノーコード・ローコード）で即時に反映し、結果を可視化する環境を構築。スピーディで継続的な改善を実現しました。

各チームは、単にシステムを動かすだけでなく、「現場で誰が、どう使うか」を深く考え抜いたシステムを構築しました。

複雑な検索手法（階層型RAGと自律型検索）を組み合わせた圧倒的な検索精度と、クラウドサービスの特性を最大限に活かした大胆なコストカットを見事に両立。「低コストで高精度」というビジネス上の理想に近づけつつ、AIと人間の協調を前提としたチャットボットシステムを提案し、技術力とビジネス視点の双方で高い評価を得ました。

独自UIの追求: 過去のチャット履歴を保持でき、一般の検索エンジンのように直感的に操作できるユーザー体験（UX）にこだわった実装を行いました。

処理の高速化と根拠の提示: 約10秒という高速な回答生成を実現するとともに、回答の根拠となる「元の資料のページ番号」を明示し、厳密な確認が求められる業務において情報の信頼性を担保する機能を実装しました。

最終日の成果発表会後、高知県中央会様からは以下のような大変ポジティブな評価とフィードバックをいただきました。

単なる技術の凄さだけではなく、システム導入判断の要となる「コスト削減の工夫」や「費用対効果」について、システムの利用者の視点から見ても非常に納得感のある説明だったと高く評価されました。

AIへの過度な依存による影響を懸念されていたお客様から、「AIは人の成長を阻害せず、業務効率化を支援する立場であってほしい」というお言葉をいただきました。NTT-ATが提案したシステムは、まさにこの「人とAIの協調」を実現するものであり、大きな期待をお寄せいただきました。

「このシステムを顧客（会員組合）へ直接提供することで、日常的なお問い合わせはシステムを通じてスピーディに自己解決していただきつつ、より複雑で高度な課題については、専門知識を有する職員が直接伴走し解決にあたる体制が築けるのではないか」という、システム価値を最大化するアイデアをお客様自身からご提案いただきました。また、今回の取り組みを機に、「局内の業務棚卸しを実施したい」と、さらなるDX推進への強い意欲を示されました。

今回の社内LLMハッカソンは、RAG技術が単なる「流行りのAIツール」ではなく、お客様のリアルな業務課題を解決し、新たな付加価値を生み出す強力な武器であることを実証する場となりました。

実際に、高知県中央会様は本ハッカソンをきっかけにAIツールの本格的な導入の検討を開始されており、NTT-ATからのレクチャー等を通じてDX推進が着実に前進しています。

さらに、本コンペティションで培われた「コスト最適化手法」や「ハイブリッド検索による精度向上」といった実践的なアーキテクチャノウハウは、この場限りのものとせず、現在NTT-AT内で稼働している別プロジェクトや、新規のお客様へのシステム提案にすでに活かされ始めています。

私たちNTT-ATは、今後も「実際の課題を通じた技術力の向上」と「私たちの技術力でお客様の課題を解決する」という姿勢を大切に、様々な業界のお客様のDX推進とイノベーション創出を強力にサポートしてまいります。

生成AIやRAG技術の導入・活用にご興味をお持ちの企業様、現在業務効率化やデータ活用に課題を抱えておられるご担当者様は、ぜひお気軽にNTT-ATまでお問い合わせください。共に課題を解決し、新しいビジネスの価値を創造していきましょう！