흐름 개발

  • 아티클

프롬프트 흐름은 LLM(대규모 언어 모델)을 기반으로 하는 AI 애플리케이션의 전체 개발 주기를 간소화하도록 설계된 개발 도구입니다. LLM 기반 AI 애플리케이션의 모멘텀이 전 세계적으로 계속 증가함에 따라 프롬프트 흐름은 AI 애플리케이션의 프로토타입 제작, 실험, 반복 및 배포 프로세스를 간소화하는 포괄적인 솔루션을 제공합니다.

프롬프트 흐름을 사용하면 다음을 수행할 수 있습니다.

  • 시각화된 그래프를 통해 LLM, 프롬프트 및 Python 도구를 연결하는 실행 가능한 흐름을 오케스트레이션합니다.
  • 흐름을 쉽게 테스트, 디버그 및 반복합니다.
  • 프롬프트 변형을 만들고 각 변형의 성능을 비교합니다.

이 문서에서는 Azure Machine Learning 스튜디오에서 첫 번째 프롬프트 흐름을 만들고 개발하는 방법을 알아봅니다.

프롬프트 흐름 만들기 및 개발

스튜디오의 왼쪽 탐색 모음에서 프롬프트 흐름 탭을 선택합니다. 만들기를 선택하여 첫 번째 프롬프트 흐름을 만듭니다. 갤러리에서 사용할 수 있는 샘플을 복제하거나 처음부터 흐름을 만드는 방식으로 흐름을 만들 수 있습니다. 로컬 또는 파일 공유에 이미 흐름 파일이 있는 경우 파일을 가져와 흐름을 만들 수도 있습니다.

처음부터 또는 갤러리에서 프롬프트 흐름을 만드는 스크린샷.

흐름 작성

왼쪽에는 흐름을 작성할 수 있는 기본 작업 영역인 플랫 보기(예: 흐름에 도구 추가, 프롬프트 편집, 흐름 입력 데이터 설정, 흐름 실행, 출력 보기 등)가 있습니다.

프롬프트 흐름 기본 작업 영역의 스크린샷.

오른쪽 상단에는 흐름 파일 보기가 있습니다. 각 흐름은 ‘flow.dag.yaml’ 파일, 소스 코드 파일 및 시스템 폴더가 포함된 폴더로 나타낼 수 있습니다. 새 파일을 추가하고, 기존 파일을 편집하고, 파일을 삭제할 수 있습니다. 로컬로 파일을 내보내거나 로컬에서 파일을 가져올 수도 있습니다.

플랫 보기에서 노드를 인라인 편집하는 것 외에도 원시 파일 모드 토글을 켜고 파일 열기 탭에서 파일 이름을 선택하여 파일을 편집할 수도 있습니다.

오른쪽 하단에는 시각화 전용 그래프 보기가 있습니다. 여기에는 개발 중인 흐름 구조가 표시됩니다. 확대, 축소, 자동 레이아웃 등을 수행할 수 있습니다.

참고 항목

그래프 보기를 직접 편집할 수는 없지만 평면화 보기에서 해당 노드 카드를 찾을 노드를 선택한 다음 인라인 편집을 수행할 수 있습니다.

컴퓨팅 세션

작성을 시작하기 전에 먼저 컴퓨팅 세션을 시작해야 합니다. 컴퓨팅 세션은 필요한 모든 종속성 패키지가 들어 있는 Docker 이미지가 포함된 프롬프트 흐름을 실행하는 데 필요한 컴퓨팅 리소스 역할을 합니다. 흐름 실행에 꼭 필요한 요소입니다.

스튜디오의 컴퓨팅 세션 시작 스크린샷.

흐름 입력 및 출력

흐름 입력은 흐름 전체에 전달되는 데이터입니다. 이름과 형식을 지정하여 입력 스키마를 정의합니다. 각 입력의 입력 값을 설정하여 흐름을 테스트합니다. 나중에 ${input.[input name]} 구문을 사용하여 흐름 노드에서 흐름 입력을 참조할 수 있습니다.

흐름 출력은 흐름 전체에서 생성된 데이터로, 흐름 실행의 결과를 요약합니다. 흐름 실행 또는 일괄 실행이 완료된 후 출력 테이블을 보고 내보낼 수 있습니다. ${[node name].output} 구문 또는 ${[node name].output.[field name]}을 사용하여 흐름 단일 노드 출력을 참조하여 흐름 출력 값을 정의합니다.

흐름 입력 및 출력의 스크린샷.

다양한 도구를 사용하여 흐름 개발

흐름에서 LLM, Python, Serp API, 콘텐츠 안전 등 다양한 종류의 도구를 사용할 수 있습니다.

도구를 선택하면 흐름에 새 노드를 추가합니다. 노드 이름을 지정하고 노드에 필요한 구성을 설정해야 합니다.

예를 들어 LLM 노드의 경우 연결, 배포, 프롬프트 설정 등을 선택해야 합니다. 연결은 Azure OpenAI와 상호 작용하는 데 필요한 비밀 키 또는 기타 중요한 자격 증명을 안전하게 저장하고 관리하는 데 도움이 됩니다. 아직 연결이 없는 경우 먼저 연결을 만들고 Azure OpenAI 리소스에 채팅 또는 완료 배포가 있어야 합니다. LLM 및 프롬프트 도구를 사용하면 Jinja 를 템플릿 언어로 사용하여 동적으로 프롬프트를 생성할 수 있습니다. 예를 들어 고정 텍스트 대신 {{}}를 사용하여 입력 이름을 묶어 즉석에서 바꿀 수 있습니다.

Python 도구를 사용하려면 Python 스크립트를 설정하고 입력 값을 설정해야 합니다. 다음과 같이 입력과 출력을 사용하여 Python 함수를 정의해야 합니다.

Python 노드에 대한 Python 스크립트를 작성하는 스크린샷.

프롬프트 또는 Python 스크립트 작성을 완료한 후 시스템에서 프롬프트 템플릿과 Python 함수 입력에 따라 자동으로 노드 입력을 구문 분석할 수 있도록 입력 유효성 검사 및 구문 분석을 선택할 수 있습니다. 노드 입력 값은 다음과 같은 방법으로 설정할 수 있습니다.

  • 입력 상자에 직접 값 설정
  • ${input.[input name]} 구문을 사용하여 흐름 입력 참조
  • ${[node name].output} 또는 ${[node name].output.[field name]} 구문을 사용하여 노드 출력 참조

노드 출력을 참조하여 노드를 함께 연결할 수 있습니다. 예를 들어 Python 노드 입력에서 LLM 노드 출력을 참조할 수 있으므로, Python 노드는 LLM 노드 출력을 사용할 수 있으며 그래프 보기에서는 두 노드가 함께 연결된 것을 볼 수 있습니다.

흐름에 조건부 제어 사용

프롬프트 흐름은 흐름을 실행하는 간소화된 방법뿐만 아니라 개발자를 위한 강력한 기능, 즉 사용자가 흐름에서 노드를 실행할 조건을 설정할 수 있는 조건부 제어라는 기능을 제공합니다.

조건부 제어의 핵심은 흐름의 각 노드를 활성화 구성 과 연결하는 기능을 제공합니다. 이 구성은 기본적으로 노드를 실행해야 하는 시기를 결정하는 "when" 문입니다. 이 기능의 힘은 특정 작업의 실행이 이전 작업의 결과에 따라 달라지는 복잡한 흐름이 있을 때 실현됩니다. 조건부 제어를 활용하여 지정된 조건이 충족되는 경우에만 특정 노드를 실행하도록 구성할 수 있습니다.

특히 노드 카드에서 활성화 구성 단추를 선택하여 노드에 대한 활성화 구성을 설정할 수 있습니다. "when" 문을 추가하고 조건을 설정할 수 있습니다. 흐름 입력 또는 노드 출력을 참조하여 조건을 설정할 수 있습니다. 예를 들어 ${input.[input name]} 조건을 특정 값으로 또는 ${[node name].output} 조건을 특정 값으로 설정할 수 있습니다.

조건이 충족되지 않으면 노드를 건너뜁니다. 노드 상태는 "무시됨"으로 표시됩니다.

조건부 제어를 활성화하는 활성화 구성 설정 스크린샷.

흐름 테스트

다음 두 가지 방법으로 흐름을 테스트할 수 있습니다.

  • 단일 노드를 실행합니다.
    • 단일 노드를 실행하려면 플랫 보기의 노드에서 실행 아이콘을 선택합니다. 실행이 완료되면 노드 출력 섹션에서 결과를 빠르게 확인할 수 있습니다.
  • 전체 흐름을 실행합니다.
    • 전체 흐름을 실행하려면 오른쪽 상단의 실행 단추를 선택합니다.

테스트 결과 및 추적 보기(미리 보기)

전체 흐름 실행의 경우 흐름을 실행한 후 실행 배너에서 실행 상태를 확인할 수 있습니다. 그런 다음 추적 보기를 선택하여 추적을 봄으로써 결과를 확인하고 흐름 실행을 관찰할 수 있습니다. 여기서 전체 흐름과 각 노드의 입력 및 출력과 함께 디버깅을 위한 자세한 정보를 볼 수 있습니다. 실행 중에 및 실행이 완료된 후에 사용할 수 있습니다.

두 위치에 있는 출력 보기 단추의 스크린샷.

추적 보기 이해

프롬프트 흐름의 추적 종류는 흐름으로 지정됩니다. 추적 보기 내에서 흐름 오케스트레이션에 사용되는 도구의 명확한 순서를 관찰할 수 있습니다.

흐름 루트 아래의 각 수준 2 범위는 함수 호출 형식으로 실행되는 흐름의 노드를 나타내므로 범위 종류는 함수로 식별됩니다. 범위 트리에서 각 노드 실행 기간을 확인할 수 있습니다.

범위 트리에서 LLM 호출은 LLM 범위로 쉽게 식별 가능합니다. 이는 LLM 호출 기간 및 관련 토큰 비용에 대한 정보를 제공합니다.

범위를 클릭하면 오른쪽에서 자세한 정보를 볼 수 있습니다. 여기에는 입력 및 출력, 원시 JSON 및 예외가 포함되며 모두 관찰 및 디버깅에 유용합니다. 추적 세부 정보 스크린샷.

참고 항목

프롬프트 흐름 SDK에서 LLM, 함수, 포함, 검색, 흐름을 포함한 여러 범위 형식을 정의했습니다. 그리고 지정된 특성과 이벤트에 실행 정보가 포함된 범위를 시스템이 자동으로 만듭니다.

범위 형식에 대해 자세히 알아보려면 추적 범위 사양을 참조하세요.

흐름 실행이 완료된 후 결과 확인을 위해 테스트 결과 보기 단추를 선택하면 목록에서 모든 과거 실행 기록을 확인할 수 있습니다. 기본적으로 지난 7일 동안 만들어진 실행 기록이 표시됩니다. 필터를 선택하여 조건을 변경할 수 있습니다.

흐름 테스트 결과 스크린샷.

실행 기록의 이름을 선택하여 추적 보기에서 자세한 정보를 볼 수도 있습니다.

채팅 흐름 개발

채팅 흐름은 표준 흐름의 기능을 기반으로 빌드되고 채팅 입력/출력 및 채팅 기록 관리에 대한 향상된 지원을 제공하는 대화형 애플리케이션 개발을 위해 설계되었습니다. 채팅 흐름을 사용하면 채팅 입출력을 처리하는 챗봇을 쉽게 만들 수 있습니다.

채팅 흐름 작성 페이지에서는 표준 흐름 및 평가 흐름과 구분하기 위해 채팅 흐름에 "채팅" 레이블이 지정됩니다. 채팅 흐름을 테스트하려면 "채팅" 단추를 선택하여 대화용 채팅 상자를 트리거합니다.

채팅 흐름 작성 페이지의 스크린샷.

채팅 입력/출력 및 채팅 기록

표준 흐름과 채팅 흐름을 구별하는 가장 중요한 요소는 채팅 입력, 채팅 기록 및 채팅 출력입니다.

  • 채팅 입력: 채팅 입력은 사용자가 챗봇에 제출한 메시지나 쿼리를 의미합니다. 채팅 입력을 효과적으로 처리하는 것은 성공적인 대화를 위해 매우 중요합니다. 사용자 의도를 이해하고, 관련 정보를 추출하고, 적절한 응답을 트리거하는 작업이 포함되기 때문입니다.
  • 채팅 기록: 채팅 기록은 사용자 입력과 AI 생성 출력을 모두 포함하여 사용자와 챗봇 간의 모든 상호 작용 기록입니다. 대화 내용을 추적하고 AI가 상황에 맞는 응답을 생성할 수 있도록 하려면 채팅 기록을 유지하는 것이 필수적입니다.
  • 채팅 출력: 채팅 출력은 입력에 대한 응답으로 사용자에게 전송되는 AI 생성 메시지를 의미합니다. 상황에 맞게 적절하고 매력적인 채팅 결과를 생성하는 것은 긍정적인 사용자 환경을 위해 필수적입니다.

채팅 흐름에는 여러 입력이 있을 수 있지만 채팅 기록 및 채팅 입력은 채팅 흐름에서 필수입니다.

  • 채팅 흐름 입력 섹션에서 흐름 입력을 채팅 입력으로 표시할 수 있습니다. 그러면 채팅 상자에 입력하여 채팅 입력 값을 채울 수 있습니다.

  • 프롬프트 흐름은 사용자가 채팅 기록을 관리하는 데 도움이 될 수 있습니다. 입력 섹션의 chat_history는 채팅 기록을 표시하기 위해 예약되어 있습니다. 사용자 채팅 입력, 생성된 채팅 출력, 기타 흐름 입출력을 포함하여 채팅 상자의 모든 상호 작용은 자동으로 채팅 기록에 저장됩니다. 사용자는 입력 섹션에서 chat_history 값을 수동으로 설정할 수 없습니다. 이는 입출력 목록으로 구성됩니다.

    [
{
    "inputs": {
    "<flow input 1>": "xxxxxxxxxxxxxxx",
    "<flow input 2>": "xxxxxxxxxxxxxxx",
    "<flow input N>""xxxxxxxxxxxxxxx"
    },
    "outputs": {
    "<flow output 1>": "xxxxxxxxxxxx",
    "<flow output 2>": "xxxxxxxxxxxxx",
    "<flow output M>": "xxxxxxxxxxxxx"
    }
},
{
    "inputs": {
    "<flow input 1>": "xxxxxxxxxxxxxxx",
    "<flow input 2>": "xxxxxxxxxxxxxxx",
    "<flow input N>""xxxxxxxxxxxxxxx"
    },
    "outputs": {
    "<flow output 1>": "xxxxxxxxxxxx",
    "<flow output 2>": "xxxxxxxxxxxxx",
    "<flow output M>": "xxxxxxxxxxxxx"
    }
}
]

참고 항목

채팅 기록을 자동으로 저장하거나 관리하는 기능은 채팅 상자에서 테스트를 수행할 때 작성 페이지에서 사용되는 기능입니다. 일괄 실행의 경우 사용자가 일괄 실행 데이터 세트 내에 채팅 기록을 포함해야 합니다. 테스트에 사용할 수 있는 채팅 기록이 없는 경우 일괄 실행 데이터 세트 내에서 chat_history를 빈 목록 []으로 설정하기만 하면 됩니다.

채팅 기록을 사용한 작성자 프롬프트

상황을 인식하고 매력적인 챗봇 응답을 만들려면 채팅 기록을 프롬프트에 통합하는 것이 필수적입니다. 프롬프트에서 chat_history를 참조하여 과거 상호 작용을 검색할 수 있습니다. 이를 통해 이전 입출력을 참조하여 상황에 맞는 응답을 만들 수 있습니다.

Jinja 언어의 for-loop 문법을 사용하여 chat_history의 입출력 목록을 표시합니다.

{% for item in chat_history %}
user:
{{item.inputs.question}}
assistant:
{{item.outputs.answer}}
{% endfor %}

채팅 상자로 테스트

채팅 상자는 챗봇과의 대화를 시뮬레이션하여 채팅 흐름을 테스트하는 대화형 방법을 제공합니다. 채팅 상자를 사용하여 채팅 흐름을 테스트하려면 다음 단계를 따릅니다.

  1. 채팅 단추를 선택하여 채팅 상자를 엽니다.
  2. 테스트 입력을 채팅 상자에 입력하고 Enter 키를 선택하여 챗봇으로 보냅니다.
  3. 챗봇의 응답을 검토하여 상황에 맞게 적절하고 정확한지 확인합니다.
  4. 추적 보기를 통해 빠르게 관찰하고 디버깅할 수 있습니다.

채팅 흐름 채팅 상자 환경의 스크린샷.

다음 단계