自動化のためにプロンプトで人間がレビューする
この記事では、Power Automate の GPT によるテキストの作成 機能を導入する際の人間によるレビューの重要な役割を強調します。 この機能は、AI Builder からの テキスト生成 モデル (Azure OpenAI Service 搭載) を利用します。 これらのモデルは非常に効果的ですが、誤解を招く情報や捏造された情報を生成する場合があり、即時インジェクション攻撃を受けやすいです。
重要
- AI Builder プロンプトは、 Azure OpenAI サービスによって提供されるGPT-3.5 TurboおよびGPT-4 (プレビュー) モデルで実行されています。
- この機能は 一部の地域に限定されています。
- この機能は、使用制限または容量帯域幅調整の対象となる場合があります。
プロンプト インジェクション攻撃
プロンプト インジェクション攻撃は、サードパーティがすべての入力ソースに対するモデル固有の信頼を利用するときに発生します。 攻撃者は、正規のユーザーが AI ソリューションに対話を要求するコンテンツにプロンプトを挿入し、AI ソリューションの出力と、場合によってはその動作を変更します。
たとえば、シチズン開発者が GPT でテキストを作成 アクションを使用して、電子メール、ソーシャル メディア、フォーラムなどのさまざまなプラットフォームから収集された顧客の苦情に対する回答を作成するシナリオを考えてみましょう。 攻撃者は、これらのソースのいずれかからコンテンツにプロンプトを挿入する可能性があります。 このシナリオでは、モデルを欺いて、意図した応答から逸脱した応答を生成する可能性があります。 応答は不適切、不正確、または有害である可能性があります。 誤った情報が顧客に送信されると、会社の評判や顧客リレーションシップ に悪影響を及ぼす可能性があります。
AI モデルの捏造
幻覚としても知られる捏造は、テキスト生成モデル を含む AI モデルが直面するもう 1 つの課題です。 捏造は、AI モデルが、提供された入力または既存のデータに基づいていない情報を生成する場合に発生します。つまり、本質的に情報を 発明 または 幻覚 とします。
たとえば、AI モデルが特定のテキストに基づいて歴史的出来事の概要を生成するよう要求された場合、ソース テキストで言及されていない詳細や出来事が含まれる可能性があります。 たとえば、フローは記録のトランスクリプトに基づいて会議の概要を作成します。 入力データには、出席者、議論された記事、下された決定に関する詳細が含まれます。 ただし、モデルは、会議で議論されなかったアクションアイテムや決定を含む概要を生成する可能性があります。 この状況は捏造の一例であり、モデルが入力データには存在しない情報を 幻覚 させています。
捏造のリスクを軽減するには、責任ある AI 実践を実装することが重要です。 これには、プロンプトとフローの厳密なテストが含まれ、モデルに可能な限り多くの基礎情報を提供し、最終的に人間による監視のための堅牢なシステムを実装します。
責任ある AI 実践を通じてリスクに対処する
私たちは、リスクを軽減する手段として、責任ある AI の実践を提唱します。 モデルによって生成されるコンテンツを調整するための戦略が用意されているにもかかわらず、捏造された応答を生成したり、プロンプト インジェクション攻撃に屈したりするモデルの傾向を管理することは依然として複雑な課題です。 私たちはこれらのリスクを認識し、人間による監視と制御への取り組みを再確認します。
シームレスな自動化の必要性を認識し、当社は安全システムを積極的に強化し、これらの課題についてのより深い理解を求めています。 私たちの目的は、設計による責任ある AI の原則に沿って、適切な安全対策を講じてテキスト生成モデルをさらに改良し、可能な限り開発者に制御を戻すことです。