効果的な Genie スペースをキュレーションする

Genie スペースをキュレーションする目的は、ビジネス ユーザーが自然言語で質問し、データに基づく正確で一貫した回答を受け取ることができる環境を作成することです。 Genie スペースでは、高度なクエリを生成し、一般的な世界の知識を理解する高度なモデルを使用します。

ビジネス上の質問のほとんどはドメイン固有であるため、スペース キュレーターの役割は、一般的な世界の知識と、特定のドメインまたは特定の企業で使用される専門用語との間のギャップを埋めることです。 キュレーターはメタデータと指示を使用して、Genie がビジネス ユーザーの質問を正確に解釈して応答できるようにします。 この記事では、成功するスペースを開発するためのベスト プラクティスと原則について説明します。

新しいスペースを定義するためのベスト プラクティス

次のセクションでは、効果的なスペースを作成するための推奨事項を示します。

小規模から始める

Genie スペースのキュレーションは反復的なプロセスです。 新しいスペースを作成するときは、最小限の指示と限られた数の質問で、できるだけ小さく始めます。 その後、フィードバックと監視に基づいて繰り返しながら追加することができます。 このアプローチにより、スペースの作成と保守が効率化され、実際のユーザーのニーズに応じてスペースを効果的にキュレーションできるようになります。

小さな Genie スペースを作成する場合は、次のガイドラインに従ってください。

• 焦点を絞る: スペースで処理したい質問に答えるために必要なテーブルのみを含めてください。 テーブル数は 5 つ以下を目安にします。 選択を絞り込むほど、より良い結果が得られます。 スペースを狭く少量のデータに集中させることが理想的であるため、含まれるテーブルの列数を制限します。
• 繰り返しを計画する: スペースは進めていくうちに改善されていくため、最初から完璧を目指さないようにしてください。 最小限のテーブルと指示を含めてください。
• 適切に注釈が付けられたテーブルに基づいて構築する: Genie は Unity Catalog の列名と説明を使用して応答を生成します。 明確な列名と説明は、高品質の応答を生成するのに役立ちます。 列の説明は、正確なコンテキスト情報を提供するものでなければなりません。 曖昧または不必要な詳細は避けてください。 AI によって生成された説明の正確性と明確性を検査し、手動で提供する内容と一致する場合にのみ使用してください。

ドメインの専門家にスペースを定義してもらう

効果的なスペース作成者は、データとそこから得られる分析情報を理解する必要があります。 SQL に精通したデータ アナリストは、通常、スペースをキュレーションするための知識とスキルを備えています。

スペースの目的を定義する

スペースの具体的な対象ユーザーと目的を特定すると、使用するデータ、指示、テスト質問を決定するのに役立ちます。 スペースは、さまざまなドメインにまたがる一般的な質問ではなく、特定のトピックや対象ユーザーに関する質問に答える必要があります。

テストして調整する

自分自身がスペースの最初のユーザーであるべきです。 新しいスペースを作成したら、質問を開始します。 質問に応じて生成された SQL を慎重に調べてください。 Genie がデータ、質問、またはビジネス用語を誤って解釈した場合は、生成された SQL を編集するか、その他の具体的な指示を提供することで介入できます。 信頼できる応答が得られるまでテストと編集を続けてください。

質問をレビューした後、その質問をベンチマークの質問として追加し、全体的な精度についてスペースを体系的にテストしてスコアを付けることができます。 バリエーションやさまざまな質問の言い回しを使用して、Genie の応答をテストできます。 「Genie スペースでベンチマークを使用する」をご覧ください。

誤った応答を修正する方法については、「トラブルシューティング」を参照してください。

ユーザー テストの実施

テストを通じて応答品質を確認した後、ビジネス ユーザーを募集して Genie スペースを試してもらいます。 スムーズなユーザー体験を提供し、継続的な改善のためのフィードバックを収集するには、次のガイドラインを使用します。

• 行った作業はルームを改善するのに役立つという期待を設定します。
• スペースが答えるように設計されている特定のトピックと質問に焦点を絞ってテストするように依頼します。
• 誤った応答を受け取った場合は、チャットで追加の指示や説明を追加して回答を改善するようユーザーに促します。 正しい応答が提供された場合は、今後の操作において同様のエラーを最小限に抑えるために、最終的なクエリに賛成票を投じてもらう必要があります。
• 組み込みのフィードバック メカニズムを使用して、応答に賛成票または反対票を投じるようにユーザーに指示します。
• 追加のフィードバックや未解決の質問をスペースの作成者と直接共有するようユーザーに勧めます。 作成者と編集者は、フィードバックを使用して、指示、例、信頼されたアセットを改善できます。

ルームをテストしてフィードバックを提供するためのガイドラインを記載したトレーニング資料または書面による文書を提供することを検討してください。 ビジネス ユーザーがスペースをテストすると、[履歴] タブに質問した内容が表示されます。Genie が質問とデータを正しく解釈して正確な回答を提供できるように、引き続き命令を追加してください。 Genie スペースを監視する方法の詳細については、「履歴とフィードバックのレビュー」を参照してください。

トラブルシューティング

次のセクションでは、一般的な問題を解決する方法について説明します。

誤って解釈されたビジネス用語

ほとんどの企業またはドメインには、ビジネス固有のイベントに関するコミュニケーションに使用する特定の省略表現があります。 たとえば、年について言及する場合、それは常に会計年度を意味する可能性があり、この会計年度は 1 月ではなく 2 月または 3 月に始まる可能性があります。 Genie がこれらの質問に自然かつ正確に答えられるようにするには、ビジネス用語を Genie が理解できる単語や概念に明示的にマッピングする指示を含めます。 「指示を提供する」を参照してください。

誤ったテーブルまたは列の使用

Genie が誤ったテーブルからデータをプルしようとしたり、誤った列に対して分析を実行しようとしたりしている場合は、次のいずれかの方法でデータを調整できます。

• 明確で正確な説明を提供する: テーブルと関連するメタデータをチェックして、そこで使用されている用語がユーザーが送信した質問の用語と一致していることを確認します。 そうでない場合は、説明を改善するか、テーブルで使用されている用語を質問で使用されている用語にマッピングする指示を追加します。
• クエリの例を追加する: Genie が特定の質問に応答する方法を学習するために使用できるサンプル SQL クエリを提供します。 「指示を提供する」を参照してください。
• スペースからテーブルまたは列を削除する: 一部のテーブルには重複する列または概念が含まれており、Genie が応答にどのデータを使用するかを判断するのが困難な場合があります。 可能であれば、不要な、または重複するテーブルや列を削除します。 必要な列のみを含むビューを作成できます。

エラーのフィルター処理

生成されたクエリには、多くの場合、特定の値に従って結果をフィルター処理する WHERE 句が含まれます。 Genie は実際のデータを見ることができないため、WHERE 句を設定して誤った値をフィルター処理する可能性があります。 たとえば、テーブルで "CA" などの省略形が使用されている場合、"California" という名前を一致させようとすることがあります。

このような状況では、次のいずれかの方法を試してください。

• 列値のセットが比較的小さい場合は、各列の説明に対して有効な文字列を列挙します。 特にスペースや数字が含まれている場合は、文字列値を引用符で囲みます。 一般的な列挙では、すべての州の値をリストするのではなく、"3 文字の国 ISO コードを使用する" と示すだけで十分な場合もあります。

誤った結合

Unity Catalog で外部キー参照が定義されていない場合、異なるテーブルを結合する方法がスペースで認識されない可能性があります。

次のソリューションを 1 つ以上実装してみてください。

• 可能な場合は、Unity Catalog で外部キー参照を定義します。 「CONSTRAINT 句」を参照してください。
• 標準的な方法でテーブルを結合するクエリの例を提供します。
• テーブルの外部キー リレーションシップが Unity Catalog で指定されていない場合は、指示に記載します。

これらのいずれも問題が解決しない場合は、テーブルをビューに事前結合し、代わりにそれをスペースの入力として使用します。 この戦略は、自己結合などのより複雑な結合シナリオに役立ちます。

メトリック計算の問題

メトリックの計算とロールアップの方法は無作為に複雑になる可能性があります。そして、スペースが理解できない多くのビジネス詳細が含まれる可能性があります。 これは、誤ったレポートにつながる可能性があります。

次のソリューションを 1 つ以上実装してみてください。

• メトリックがベース テーブルから集計される場合は、各ロールアップ値を計算する SQL クエリの例を提供します。
• メトリックが事前に計算され、集計テーブルに格納されている場合は、テーブルのコメントでこれを説明します。 そのテーブルのメトリックをさらにロールアップできる場合は、各メトリックに対して有効な集計を指定します。
• 生成しようとしている SQL が非常に複雑な場合は、スペースのメトリックを既に集計したビューを作成してみてください。

指示の無視

コメントでテーブルと列について説明し、一般的な指示を提供したとしても、スペースでそれらが適切に使用されていない可能性があります。

次の方法を 1 つ以上試してください。

• テーブルを正しく使用するクエリの例を提供します。 クエリの例は、スペースにデータの使用方法を教える場合に特に効果的です。
• テーブルからビューを作成し、データをより簡略化したビューを提供します。
• 指示を見直し、無関係なテーブルや指示を削除してスペースに焦点を合わせます。
• 新しいチャットを開始してみます。 以前の操作は、特定のチャットでの Genie の応答に影響を与える可能性がありますが、新しいチャットを開始すると、新しい指示をテストするための空白の開始点が得られます。

パフォーマンスの問題

Genie が非常に長いクエリやテキスト応答を生成する必要がある場合、応答に長い時間がかかったり、思考フェーズでタイムアウトになったりすることがあります。

パフォーマンスを向上させるには、次の 1 つ以上のアクションを試してください。

• 信頼されたアセットまたはビューを使用して、複雑なクエリをカプセル化します。 「AI/BI Genie スペースで信頼されたアセットを使用する」を参照してください。
• 可能な限り、SQL クエリの例の長さを短くします。
• Genie が遅いまたは失敗の応答を生成し始めた場合は、新しいチャットを開始します。

ミッション クリティカルな質問に対する信頼性の低い回答

信頼されたアセットを使用して、ユーザーが求めると予期される特定の質問に対して検証済みの回答を提供します。 「AI/BI Genie スペースで信頼されたアセットを使用する」を参照してください。

トークン制限の警告

トークンは、Genie が言語の処理と理解に使用するテキストの基本的な単位です。 Genie 空間に命令またはメタデータとして含まれるテキストは、トークンに変換されます。 スペース内のトークンの数が上限に近付いている場合、製品から警告が表示されます。 Genie は、スマート コンテキスト フィルタリングを適用して、メタデータを表すトークンと、Genie 空間に含まれるいくつかの種類の命令を選択します。 制限を超えた場合でも、スペースは引き続き質問に対する回答を生成する必要があります。

Genie スペースがトークンの制限に近づくと、Genie はテーブル スキーマの部分と質問に最も関連する命令のみを含めて優先順位を付ける可能性があります。 これにより、重要なコンテキストがフィルターで除外された場合の応答品質が低下する可能性があります。トークン数を減らすには、次のプラクティスを検討してください。

• 不要な列を削減する: テーブル内の不要な列は、トークンの使用に大きく影響する可能性があります。 生テーブルから冗長なフィールドまたは必須ではないフィールドを除外するビューを作成します。
• 列の説明を効率化する: 列の説明は重要ですが、列名で既に伝わる情報を重複して伝えないようにします。 たとえば、列が account_name という名前である場合、"アカウントの名前" などの説明は冗長であるため、省略することができます。
• 手順を簡略化する: 手順が明確で簡潔であることを確認します。 不要な単語を使用しないようにします。
• SQL ステートメントの例を排除する: さまざまな種類の質問に対応しながら、重複する例や冗長な例を削除するために、さまざまな SQL ステートメントの例を含めます。