AIを導入している企業の多くは、利用者数を把握しています。しかし、そのAIが本当に成果を上げているかを把握できている企業は、ごくわずかです。

総利用量の把握は比較的容易です。しかし、その背後にある運用レイヤー—ワークフローの成否、ユーザーがどこでフリクションを感じているか、コスト増加の要因—はほとんど見えていません。

この課題は、エンタープライズAIガバナンスのリーダー、CoE（センター・オブ・エクセレンス）の関係者、そして現場の運用チームを対象とした調査でも一貫して浮き彫りになりました。各組織はアクティブユーザー数やプロンプト量、機能の採用率といった表面的な指標は把握できています。しかし、それが実際に成果改善につながっているのか、あるいは組織全体でフリクションを生み出しているのかは、把握できていませんでした。

インタビューに応じたリーダーたちは、これをアクセスの問題とは捉えていませんでした。彼らが重視していたのはアカウンタビリティの問題であり、問いは 「誰がAIを使っているか？」から「AIは価値を生み出しているか、そしてどうすれば証明できるか？」 へと移っていました。

運用可視性レイヤーの構築。

このギャップを埋めるには、単なる利用状況のレポートを超え、真の運用可視性を確立する必要があります。これは、分析プラットフォーム、クラウド基盤、カスタマージャーニーシステムに対してオブザーバビリティレイヤーを構築してきたのと同じアプローチです。AIにも今、独自のオブザーバビリティ基盤が求められています—誰がどのようにAIを活用しているか、ユーザーはどこでフリクションを感じているか、AIのアクティビティがビジネス成果にどう結びついているか。アドビのエージェント型AIモニタリングダッシュボードが、その答えを提供します。

エージェント型AIモニタリングダッシュボードは、エンタープライズAIガバナンスチーム向けに設計された新しい運用可視性ツールです。導入状況のシグナル、ワークフローのパフォーマンス、ユーザーフィードバック、コスト消費を一か所に集約します。Adobe CX Enterpriseアプリケーションのホームページから、組織が権限を付与したユーザーがアクセスでき、4つの機能を備えています。

• 概要ダッシュボード：導入トレンド、プロンプト量、フィードバックシグナルをひと目で確認できます
• ユーザーダッシュボード：ユーザーを新規・リピート・復帰・非アクティブに分類し、試験的な利用と継続的な定着を区別します
• フィードバックダッシュボード：ユーザーが肯定的または否定的に評価したインタラクションとその理由を把握できます
• AIクレジットダッシュボード：消費トレンドと残りのエンタイトルメントをトラッキングし、先を見越したプランニングを支援します

この4つのビューを組み合わせることで、エンタープライズチームはシグナルから深い理解へと進むための一元的な基盤を手に入れることができます—何が起きているかだけでなく、なぜそうなのかまで把握できます。

エンタープライズAIオブザーバビリティの構築ブロック。

上記の各機能は、可視性の課題におけるそれぞれの側面に対応しています。具体的な活用方法を見ていきましょう。

導入状況とエンゲージメントの可視性

組織は、チームやワークフロー全体でのAI導入状況、アクティブユーザー数、会話のトレンド、エンゲージメントパターン、そして時系列のシグナルを把握する必要があります。これらのデータは、COEチームが導入が進んでいる領域、有効化が必要な領域、そして最も高い価値を生み出すワークフローを特定するうえで不可欠です。

当社の調査では、企業が初期段階の試験的利用と継続的な業務活用を明確に区別する傾向が強まっていることが明らかになりました。長期的な定着に最も深く関わっていたのは、AIが継続的に業務負荷を軽減し、ワークフローにシームレスに溶け込み、安定した成果を出し続けられるかどうかであり、初期の関心や試験的な利用ではありませんでした。

Usersダッシュボードはこの課題に直接対応し、ユーザーを新規・リピート・復帰・非アクティブに分類します。これにより、COEチームは初期ロールアウト後に導入が深化しているのか、それとも停滞しているのかをトラッキングすることができます。

ワークフローとインタラクションの可視性

導入状況の把握だけでは十分ではありません。組織はさらに、ユーザーがワークフロー全体でAIとどのように関わっているか、プロンプトが再試行される箇所、ワークフローが失敗または未完了になる箇所、そして信頼性の問題に発展する前にフリクションが蓄積される箇所を把握する必要があります。AIが単純なQ&Aを超えて多段階のエージェント型ワークフローへと進化するにつれ、この把握はますます重要になります。

当社の調査に参加したチームは、ワークフローが失敗する「場所」だけでなく「理由」を理解することが不可欠だと口を揃えました。脱落を検知しても根本原因のコンテキストが示されず、システムの推論が不明瞭で、ビジネスコンテキストが欠落し、オーケストレーションの問題が解消されないままでは、COEチームは適切な対処ができません。繰り返しの再試行やワークフロー離脱は、従来の満足度メトリクスが問題を捉えるずっと前から、フリクションのシグナルを発していることが多いのです。

複数のダッシュボードにまたがる会話リプレイ機能は、まさにこの課題のために設計されています。集計された失敗件数を提示するだけでなく、COEチームが大まかなトレンドから個々のインタラクションへと掘り下げ、実際のプロンプト、生成されたレスポンス、提出されたポジティブまたはネガティブなフィードバックを確認することができます。これにより、フリクションを単に数えるのではなく、コンテキストに即して深く理解することが可能になります。

コストと消費状況の透明性

AIの利用が拡大するにつれ、コストの可視性はガバナンス上の必須要件となります。企業のチームは、クレジット消費のトレンドを把握し、利用頻度の高いワークフローを特定し、事業部門をまたいだ急増をトラッキングし、AIのアクティビティと予算プランニングを連携させる必要があります。このレイヤーが欠けていては、AIを責任ある形でスケールさせることは難しく、調達部門や財務部門との連携はさらに困難になります。

AIクレジットダッシュボードでは、日次・月次の消費トレンドを追跡し、急増を検知して残余エンタイトルメントを可視化することができます。これにより、組織は超過に慌てて対応するのではなく、計画的にリソースを管理することができます。

ガバナンスと運用管理

AIがカスタマーエクスペリエンスのワークフローにより深く組み込まれるにつれ、COEチームは組織全体でAIがどのように活用されているかを一元的に把握する必要があります。調査によると、ガバナンスチームはポリシーのレビュアーから運用の管理者へと急速に役割を広げており、ワークフローの健全性、行動パターン、エスカレーションシグナル、そして新たなリスクを継続的に把握することが求められています。

繰り返し浮かび上がったテーマのひとつは、「運用の可視性こそがエンタープライズ信頼の礎である」というものです。継続的に行動を監視し、障害を文脈の中で調査し、ガバナンスの仕組みが管理対象システムのペースに追いついているという確信を持てるとき、組織はAIのスケールアップに積極的に取り組むことができます。

フィードバックダッシュボードは、単なる「いいね」「よくない」のシグナルにとどまらず、それぞれの背景にあるカテゴリとユーザーが提出した詳細なノーツも表示します。これにより、COEチームは行動パターンを可視化し、観察にとどまらず具体的なアクションを取ることができます。また、ダッシュボードへのアクセスは権限ベースで承認済みユーザーに限定されているため、可視性レイヤーがガバナンスモデルを強化し、新たなリスクを生まない設計になっています。

これからの道のり。

エンタープライズAIのオブザーバビリティはまだ発展途上にあります。現在の焦点は可視性の確保、つまり導入状況の把握、利用状況の監視、ワークフローパフォーマンスの分析にあります。エージェント型AIのモニタリングダッシュボードはその第一歩として、導入シグナル、インタラクションの詳細、フィードバックの質、クレジットの消費をひとつの場所に集約し、組織が継続的な改善の基盤を築くことができます。

オブザーバビリティはやがて、受動的なレポートから、フリクションを早期に特定し、最適化の機会を発見し、本番環境でのAIパフォーマンスを継続的に向上させるインテリジェントな運用システムへと進化していきます。モニタリングレイヤーは、エージェントそのものと同様に、エンタープライズAIの不可欠な基盤となっていくでしょう。

探求すべきテーマはまだ数多くあります。オブザーバビリティがガバナンスフレームワークとどう連携するか、COEチームがこれらのシグナルをどのように活用して普及を推進するか、そして組織がAIのアクティビティを測定可能なビジネス成果に結びつけるにはどうすればよいか、それぞれについては後続の投稿で掘り下げていきます。

エンタープライズAIの未来は、エージェントの能力の高さだけでは決まりません。組織がそれを取り巻くシステムをどれだけ深く理解し、適切にガバナンスし、継続的に改善できるか、そこにこそ真価が問われます。

https://business.adobe.com/fragments/resources/cards/thank-you-collections/generative-ai