エージェントの評価の設定

スキルを向上させる準備はできていますか? このトレーニングは、構造化されたテストメソッドと Gen AI 対応のスコアリングを使用して、UiPath Studio Web エージェントのパフォーマンスを評価できるようになるように設計されています。評価セットの構築、評価器の構成、合格率やエージェントのヘルス スコアなどのパフォーマンス メトリックの解釈方法を学習します。

このトレーニングでは、信頼性と継続的改善に重点を置き、LLM による評価、JSONの類似性、完全一致の評価器の種類を使用して、エージェントの回答をスコアリングする方法、特に生成AI (Gen AI) を使用して人間が作成するような動的な回答を生成する方法について説明します。このコースでは、構造化データの検証、出力の意味的な比較、パフォーマンスのしきい値の設定など、どのような場合でも、エージェントを運用環境に対応させることができます。

このトレーニングでは、UiPath Studio Web の Community Cloud バージョンを使用します。デモ用の機能とワークフローは、2025 年 9 月までに Enterprise バージョンで利用可能になる予定です。

このコースを活用するには、次のことを行う必要があります。

• エージェント開発とプロンプト エンジニアリングを理解する

• オートメーションの概念 (変数、制御フロー、配列など) に精通している

• 「UiPath Studio Web ではじめてのエージェントを構築する」および「エージェンティック プロンプト エンジニアリング」 コースを修了している

このトレーニングは、UiPath Studio Web でエージェントを構築する開発者およびオートメーションの技術専門家を対象としています。AI を活用した、構造化された評価プロセスを実装して、エージェントのパフォーマンスを大規模に検証しようとするユーザーに最適です。

このコースでは、次の主要な領域について説明します。

• Studio Web エージェントの評価セットを定義および整理する

• 評価器の種類を理解する: LLM による評価、完全一致およびJSON の類似性

• 再利用可能な評価器とスコアリング ロジックを設定する

• 生成 AI アクティビティで構築された エージェントを評価する

• 評価を実行して解釈することで、精度と信頼性を向上させる

• テスト カバレッジとフィードバック ループにベスト プラクティスを適用する

このコースを修了すると、次のことができるようになります:

• エージェントのパフォーマンスをテストするための評価セットを設計および設定する

• エージェントのユース ケースと出力形式に基づいて評価器の種類を選択する

• LLM による評価を適用し、 Gen AI を使用して自然言語の出力を評価する

• 構造化された出力を JSON の類似性または完全一致と比較する

• 評価メトリックを追跡し、反復処理してエージェントの精度を向上させる

• Studio Web を使用した実際のエージェントによる評価の演習ができるようになる