ゼロから始めるRAG：Azure AI Searchで社内QAボットを作る

  1. はじめに
  2. 1. RAGとは何か？基礎概念を理解しよう
    1. RAGの基本概念
    2. なぜRAGが必要なのか？
    3. RAGのメリット・デメリット
  3. 2. Azure AI Searchとは？
    1. Azure AI Searchの概要
    2. 主な特徴
    3. 他のソリューションとの比較
  4. 3. 社内QAボット構築のアーキテクチャ
    1. システム構成概要
    2. 各コンポーネントの役割
    3. データフローの詳細
  5. 4. 事前準備：必要なAzureサービス
    1. Azureアカウントの作成
    2. 必要なAzureサービス
    3. 利用申請の注意点
    4. コスト概算
  6. 5. ステップ1：Azure AI Searchの設定
    1. リソースの作成
    2. 重要な設定項目
    3. 検索ユニットの理解
  7. 6. ステップ2：データソースの準備
    1. Azure Blob Storageの設定
    2. 社内文書の準備とアップロード
    3. チャンク分割の考慮事項
  8. 7. ステップ3：インデックスの作成
    1. Azure Portalでのインデックス作成
    2. インデクサーの設定
    3. エンべディングモデルの設定
    4. インデックス作成の確認
  9. 8. ステップ4：Azure OpenAI Serviceの設定
    1. Azure OpenAI Serviceの作成
    2. モデルのデプロイ
    3. Azure OpenAI Studioでの設定
  10. 9. ステップ5：RAGシステムの統合
    1. Azure OpenAI On Your Dataの活用
    2. データソースの統合
    3. 検索パラメータの調整
  11. 10. ステップ6：チャットボットの実装
    1. Python環境の構築
    2. 基本的な実装例
    3. 検索と回答生成の実装
    4. エラーハンドリング
  12. 11. 検索精度の最適化
    1. 検索精度向上のテクニック
    2. クエリ生成の最適化
    3. パフォーマンスチューニング
  13. 12. セキュリティとアクセス制御
    1. Azure AD統合
    2. データ保護
  14. 13. 運用とメンテナンス
    1. 継続的な改善
    2. トラブルシューティング
  15. 14. 実践的な活用事例
    1. 社内FAQ システム
    2. 技術文書検索システム
    3. 営業支援システム
  16. 15. コスト最適化のテクニック
    1. 料金体系の理解
    2. コスト削減のアプローチ
  17. 16. 今後の発展と学習リソース
    1. AI技術のトレンド
    2. スキルアップの方向性
    3. 学習リソース
    4. キャリア展望
  18. まとめ

はじめに

AI技術の進歩により、ChatGPTのような生成AIが身近な存在となりました。しかし、一般的なAIは社内の資料や最新情報について正確に答えることができません。そこで注目されているのが、**RAG（Retrieval-Augmented Generation：検索拡張生成）**という技術です。

本記事では、Microsoft AzureのAzure AI Searchを使って、社内文書から正確な回答を生成できるQAボットを構築する方法を、初心者の方でも分かりやすく解説します。プログラミング初学者でも実践できるよう、具体的な手順と共に説明していきます。

1. RAGとは何か？基礎概念を理解しよう

RAGの基本概念

RAG（Retrieval-Augmented Generation）は、「検索」と「生成」を組み合わせた技術です。従来のAIが持つ知識だけでなく、外部のデータベースから関連情報を検索し、その情報を基に正確な回答を生成します。

従来のAI → 事前学習されたデータのみで回答 RAG → 事前学習データ + リアルタイム検索結果で回答

なぜRAGが必要なのか？

  1. ハルシネーション（幻覚）の防止
    • AIが事実に基づかない情報を生成してしまう問題を解決
  2. 最新情報への対応
    • 学習データの期限を超えた新しい情報にも対応可能
  3. 社内固有情報の活用
    • 会社の規則、マニュアル、議事録などを活用した回答が可能

RAGのメリット・デメリット

メリット：

  • 正確性の向上
  • コスト効率（ファインチューニング不要）
  • データの透明性
  • 迅速な情報更新

デメリット：

  • 検索精度に依存
  • システム構成の複雑化
  • レスポンス時間の増加

2. Azure AI Searchとは？

Azure AI Searchの概要

Azure AI Search（旧Azure Cognitive Search）は、Microsoftが提供するフルマネージド検索サービスです。Azure AI Search は、RAG アーキテクチャにおける 情報取得のための実証済みのソリューション です。 Azure クラウドのインフラストラクチャとセキュリティを備えたインデックス作成とクエリ機能を提供します。

主な特徴

  1. 多様な検索方式
    • フルテキスト検索
    • ベクトル検索
    • ハイブリッド検索
  2. 豊富なデータソース対応
    • Azure Blob Storage
    • Azure SQL Database
    • SharePoint
    • その他のデータソース
  3. AI統合機能
    • 自動的なデータ処理
    • OCR（光学文字認識）
    • セマンティック検索

他のソリューションとの比較

サービスAzure AI SearchAmazon OpenSearchElasticsearch
管理方式フルマネージドマネージドセルフマネージド
Azure統合ネイティブ限定的限定的
コスト中程度中程度変動
学習コスト低中高

3. 社内QAボット構築のアーキテクチャ

システム構成概要

RAGベースの社内QAボットは、以下のコンポーネントで構成されます：

[ユーザー質問] → [Web App] → [Azure OpenAI] → [Azure AI Search] → [回答生成]
                      ↓                         ↓
                [オーケストレーター]          [インデックス]
                                              ↓
                                        [社内文書データ]

各コンポーネントの役割

  1. Azure OpenAI Service
    • 検索クエリ生成
    • 回答文の生成
    • エンベディング作成
  2. Azure AI Search
    • 文書インデックス作成
    • 関連文書の検索
    • 検索結果の返却
  3. Azure Blob Storage
    • 社内文書の保存
    • データソースとして機能
  4. Web App（Azure App Service）
    • ユーザーインターフェース
    • 処理の調整役

データフローの詳細

ステップ1： ユーザーが質問を入力 ステップ2： Azure OpenAIが検索クエリを生成 ステップ3： Azure AI Searchで関連文書を検索 ステップ4： 検索結果とユーザー質問を組み合わせて回答生成 ステップ5： 回答をユーザーに表示

4. 事前準備：必要なAzureサービス

Azureアカウントの作成

まず、Azureアカウントが必要です。Azureアカウント（無料）を作成します。（所用時間 5分） ※企業/組織名を記入する必要があります。

必要なAzureサービス

  1. Azure OpenAI Service
    • GPT-4oモデル
    • text-embedding-ada-002モデル
  2. Azure AI Search
    • Basic以上のプラン（セマンティック検索対応）
  3. Azure Blob Storage
    • 文書保存用
  4. Azure App Service（オプション）
    • Webアプリケーション用

利用申請の注意点

今回は「GPT-4-Turbo,GPT-4o」と「埋め込みモデル」を使用するので上の一つだけチェックを入れてください。Azure OpenAI Serviceは利用申請が必要で、承認までに24時間程度かかる場合があります。

コスト概算

月額コスト例（Basic構成）：

  • Azure AI Search（Basic）：約$250
  • Azure OpenAI Service：使用量に応じて変動
  • Azure Blob Storage：約$5-20
  • 合計：約$300前後（利用状況により変動）

5. ステップ1：Azure AI Searchの設定

リソースの作成

  1. Azure Portalにログイン
  2. 「リソースの作成」→「Azure AI Search」を選択
  3. 基本設定を入力
    • リソースグループ：新規作成
    • サービス名：一意の名前
    • 場所：Japan East推奨
    • 価格レベル：Basic

重要な設定項目

価格レベルの選択： 今回は「価格レベル」をデフォルトのStandardからBasicに変更します。「価格レベルの変更」というリンクをクリックすると変更できます。これも詳しい理由を後述しますが、Freeでは「セマンティック検索」が利用不可のため、ここでは選択しないでください。

セマンティックランカーの有効化： portalにデプロイされたAzure AI Searchを押下し、左タブ下部の[セマンティックランカー]を押下 · デフォルトで[Free]が選択さえれていることを確認

検索ユニットの理解

例えば Azure AI Search を Basic プランで契約し、パーティション数を 3、レプリカ数を 2 に設定すると以下のようになります。 この場合、検索ユニットの数は 3 × 2 = 6 になります。 Basic プランの料金は検索ユニット 1 個につき $0.14/h なので、最終的な課金額は $0.84/h になります。

6. ステップ2：データソースの準備

Azure Blob Storageの設定

  1. Blob Storageアカウントの作成
  2. コンテナーの作成
    • コンテナー名：「documents」
    • パブリックアクセスレベル：プライベート

社内文書の準備とアップロード

対応ファイル形式：

  • PDF（推奨）
  • Word文書（.docx）
  • PowerPoint（.pptx）
  • テキストファイル（.txt）
  • HTML

文書準備のベストプラクティス：

  1. ファイル名の工夫
    • 日本語可、但し英数字推奨
    • 内容が分かりやすい名前
  2. 文書構造の最適化
    • 見出しを適切に設定
    • 目次の活用
    • 章立ての明確化
  3. データ品質の確保
    • OCR済みPDFの使用
    • 不要な情報の除去
    • 一貫した形式

チャンク分割の考慮事項

チャンク化とは、ドキュメントをある一定のサイズに分割することです。チャンク化する理由は後述します。

最適なチャンクサイズ：

  • 一般的に1000-1500文字
  • 日本語の場合は500-800文字が効果的
  • 文書の性質に応じて調整

7. ステップ3：インデックスの作成

Azure Portalでのインデックス作成

  1. Azure AI Searchのリソースを開く
  2. 「Import and vectorize data」をクリック
  3. データソースの選択
    • Azure Blob Storageを選択
    • 作成したストレージアカウントとコンテナーを指定

インデクサーの設定

「インデック名を入力してください」には、これから作成する検索インデックスの名前を入力することになります。ここでは「index-oaiazurecom」としています。 · 「インデクサーのスケジュール」では、検索インデックスの更新間隔を選択します。ここでは「Daily」を選択しています。この頻度はあとで細かく調整できます。

エンべディングモデルの設定

注意： Azureが提供しているembeddingモデルには、text-embedding-ada-002、text-embedding-3-small、text-embedding-3-largeの３種類があります。 しかし、Microsoft公式によると、バグが見つかり、2024年6月18日現在、text-embedding-ada-002しか利用できないそうです。

インデックス作成の確認

Azure AI Searchの左側[インデックス]を開き5分ほど待ちます。 正常に更新されるとドキュメント数が変わります。

8. ステップ4：Azure OpenAI Serviceの設定

Azure OpenAI Serviceの作成

  1. リソースの作成
    • サービス名：一意の名前
    • 場所：Japan East（Azure AI Searchと同じリージョン）
    • 価格レベル：Standard S0

モデルのデプロイ

必要なモデル：

  1. GPT-4o
    • 回答生成用
    • デプロイ名：「gpt-4o」
  2. text-embedding-ada-002
    • エンべディング生成用
    • デプロイ名：「text-embedding-ada-002」

Azure OpenAI Studioでの設定

  1. Azure OpenAI Studioを開く
  2. 「デプロイ」タブから「新しいデプロイを作成」
  3. 各モデルをデプロイ

9. ステップ5：RAGシステムの統合

Azure OpenAI On Your Dataの活用

では、RAGを構成するために、検索対象となる情報を追加してみましょう。「設定」ペイン内の「データを追加する」タブから、「データソースの追加」をクリックします。

データソースの統合

  1. チャットプレイグラウンドを開く
  2. 「設定」→「データを追加する」
  3. Azure AI Searchリソースの選択
  4. インデックスの指定

検索パラメータの調整

重要なパラメータ：

  • 検索タイプ：ハイブリッド（推奨）
  • 検索結果数：3-5件
  • セマンティックランキング：有効

10. ステップ6：チャットボットの実装

Python環境の構築

# 必要なライブラリのインストール
pip install azure-search-documents==11.6.0b5
pip install azure-identity==1.16.1
pip install openai
pip install aiohttp

基本的な実装例

import os
from azure.search.documents import SearchClient
from azure.core.credentials import AzureKeyCredential
from openai import AzureOpenAI

# 設定情報
AZURE_SEARCH_SERVICE = "your-search-service"
AZURE_SEARCH_KEY = "your-search-key"
AZURE_OPENAI_ENDPOINT = "your-openai-endpoint"
AZURE_OPENAI_KEY = "your-openai-key"

# クライアントの初期化
search_client = SearchClient(
    endpoint=f"https://{AZURE_SEARCH_SERVICE}.search.windows.net",
    index_name="your-index-name",
    credential=AzureKeyCredential(AZURE_SEARCH_KEY)
)

openai_client = AzureOpenAI(
    azure_endpoint=AZURE_OPENAI_ENDPOINT,
    api_key=AZURE_OPENAI_KEY,
    api_version="2024-02-15-preview"
)

検索と回答生成の実装

def search_documents(query):
    results = search_client.search(
        search_text=query,
        top=3,
        search_mode="hybrid"
    )
    return [result for result in results]

def generate_answer(question, context):
    prompt = f"""
    以下の文書を参考にして、質問に回答してください。
    
    【参考文書】
    {context}
    
    【質問】
    {question}
    
    【回答】
    """
    
    response = openai_client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.3
    )
    
    return response.choices[0].message.content

エラーハンドリング

[Forbidden] エラー メッセージが表示された場合は、Azure AI Search 構成を確認し、ロールベースのアクセスが有効になっていることを確認してください。 · [承認に失敗しました]エラー メッセージが表示された場合は、数分待ってからもう一度お試しください。 ロールの割り当てが操作可能になるまでに数分かかる場合があります。

11. 検索精度の最適化

検索精度向上のテクニック

  1. チャンクサイズの調整 チャンク分割時のパラメータはchunk_sizeの値の20%程度の値を目安にchunk_overlapに指定すると他のsizeと比較して良い回答が得られていました。
  2. メタデータの活用 対象機種名、不具合の管理番号など業務上キーとなる情報をデータ取り込み時に埋めこんでおきます。 · 情報の検索時にはこれらの情報でフィルタして検索することで関連する情報のみを考慮でき、回答精度の向上につながりました。
  3. ハイブリッド検索の活用
    • キーワード検索とベクトル検索の組み合わせ
    • セマンティック検索の併用

クエリ生成の最適化

効果的なプロンプト設計：

あなたは検索エキスパートです。
ユーザーの質問から最適な検索クエリを生成してください。

質問：{user_question}
検索クエリ：

パフォーマンスチューニング

レスポンス速度の改善：

  1. インデックスの最適化
  2. キャッシュ機能の活用
  3. 並列処理の実装

12. セキュリティとアクセス制御

Azure AD統合

認証機能の実装：

  • Azure Active Directory認証
  • ロールベースアクセス制御（RBAC）
  • ユーザーごとの権限設定

データ保護

  1. 暗号化
    • 保存時の暗号化
    • 転送時の暗号化
  2. アクセスログ
    • 利用状況の監視
    • セキュリティインシデントの検出
  3. ネットワークセキュリティ
    • Private Endpointの活用
    • VNet統合

13. 運用とメンテナンス

継続的な改善

  1. 利用状況の分析
    • よく聞かれる質問の把握
    • 回答精度の評価
  2. 文書の更新管理
    • 自動インデックス更新
    • バージョン管理
  3. パフォーマンス監視
    • レスポンス時間の測定
    • エラー率の監視

トラブルシューティング

よくある問題と対処法：

  1. 検索結果が見つからない
    • インデックス作成の確認
    • 検索クエリの見直し
  2. 回答精度が低い
    • チャンクサイズの調整
    • プロンプトの改善
  3. レスポンスが遅い
    • 検索ユニット数の増加
    • インデックス最適化

14. 実践的な活用事例

社内FAQ システム

活用場面：

  • 人事制度に関する質問対応
  • IT システムの操作方法
  • 業務マニュアルの検索

成功のポイント：

  1. よくある質問の事前整理
  2. 回答テンプレートの作成
  3. 定期的な精度評価

技術文書検索システム

対象文書：

  • API仕様書
  • 設計書
  • 運用マニュアル

効果：

  • 開発者の問い合わせ時間削減
  • 知識の属人化防止
  • 新入社員の学習支援

営業支援システム

活用内容：

  • 商品情報の検索
  • 競合分析資料の活用
  • 提案書作成支援

15. コスト最適化のテクニック

料金体系の理解

Azure AI Search料金構成：

  • 検索ユニット単価
  • ストレージ利用料
  • アウトバウンド データ転送料

Azure OpenAI料金：

  • トークン単価
  • モデル別価格差

コスト削減のアプローチ

  1. 適切なサイジング
    • 必要最小限のリソース構成
    • 利用状況に応じたスケーリング
  2. 効率的なクエリ設計
    • 不要な検索の削減
    • キャッシュ機能の活用
  3. リソース管理
    • 開発環境の適切な停止
    • 定期的な利用状況見直し

16. 今後の発展と学習リソース

AI技術のトレンド

注目技術：

  • マルチモーダルAI
  • エージェント型AI
  • RAG-as-a-Service

スキルアップの方向性

技術スキル：

  1. プログラミング
    • Python
    • TypeScript/JavaScript
    • SQL
  2. クラウド技術
    • Azure認定資格
    • Infrastructure as Code
  3. AI/ML知識
    • 機械学習基礎
    • 深層学習

学習リソース

公式ドキュメント：

実践的な学習：

  • GitHub上のサンプルコード
  • Azureの無料ラーニングパス
  • コミュニティフォーラム

キャリア展望

AIエンジニアの市場価値： また、IT業界でも注目度の高いエンジニア職の中でも、AI技術を扱えるAIエンジニアは多くの企業から求められる可能性が高く、高い年収が見込めます。国内大手企業では年収1,000万円以上も狙えるでしょう。

成長のための取り組み：

  1. 継続的な学習習慣
  2. 実践プロジェクトへの参加
  3. コミュニティ活動

まとめ

本記事では、Azure AI Searchを活用したRAGシステムによる社内QAボットの構築方法を詳しく解説しました。

重要なポイント：

  1. RAGの基本理解
    • 検索と生成の組み合わせによる高精度な回答
    • 社内固有情報の活用可能
  2. Azure AI Searchの活用
    • フルマネージドサービスの利便性
    • 豊富な検索機能
  3. 実装のベストプラクティス
    • 適切なチャンク分割
    • ハイブリッド検索の活用
    • 継続的な改善
  4. 運用の重要性
    • セキュリティ対策
    • パフォーマンス監視
    • コスト最適化

AIエンジニアとしてのスキルアップと収益向上を目指す皆さんにとって、RAGシステムの構築は実践的で価値の高い技術です。好奇心が強いこともAIエンジニアに求められる素質の1つです。AI技術は最先端分野として期待を集めている一方で、開発途中のフィールドなので大きな発展の余地があります。AIテクノロジーは日々急速に進化を遂げており、移り変わりの激しい環境の中で、新しい知識や技術を能動的に習得する姿勢が必要です。

まずは小さなプロジェクトから始めて、徐々にシステムを拡張していくことをお勧めします。実際に手を動かして経験を積むことで、AIエンジニアとしての専門性を高め、キャリアアップと収益向上を実現できるでしょう。

技術の進歩は止まることがないため、継続的な学習と実践を通じて、常に最新の知識をアップデートしていくことが成功の鍵となります。