「探す時間」を「判断する時間」へ。属人化を解消し、データ駆動型の業務改善サイクルを確立
- 事業拡大に伴う業務の複雑化により、以下の課題が顕在化していました。
- 情報の散逸： 規定や手順書が複数の場所に点在し、必要な情報へのアクセスに多大な時間を要している。
- 主管部門への負荷集中： 正しい手順が不明確なため、特定の担当者や部門への問い合わせが急増。
- ナレッジの属人化： 経験則に基づく判断が多く、ベテラン社員の離職や異動が業務継続のリスクとなっている。
- 改善サイクルを内包したRAGシステムをご提案しました。
- データ連携と基盤構築
- Salesforce上の社内ドキュメントをDatabricksへシームレスに連携。最新のEmbeddingモデルを用いてチャンク化し、Databricks Vector Searchに蓄積することで、高度なセマンティック検索を実現しました。
- ユーザー体験とエスカレーション設計
- StreamlitとFastAPI（ECS Fargate）を採用し、軽量かつスケーラブルなフロントエンドを開発。ボットで解決できない場合はユーザーがフィードバックを入力でき、その内容は自動的にSalesforceへ連携され、担当窓口が迅速にフォローできる体制を整えました。
- 「LLM as a judge」による継続的改善
- AIの回答精度を定量的かつ自動で評価する仕組みを導入しました。
- 収集： 会話履歴とユーザーフィードバックを収集。
- 評価： 別のLLMが「正確性」「関連性」などの評価KPIを自動採点（LLM as a judge）。
- 可視化： 評価結果をDelta Tableに蓄積し、ダッシュボードでKPIを可視化。
- 改善： 精度が低いカテゴリを特定し、プロンプト調整や参照データの拡充といった具体的な改善アクションへ繋げています。
