기존 run에서 시작하기
먼저 다중 턴 대화를 제대로 추적했는지 확인한 다음, tracing project로 이동하세요. tracing project에 도착하면 다음과 같이 run을 열고 LLM call을 선택한 후 playground에서 여세요:
그런 다음 system prompt를 편집하고, tool 및/또는 output schema를 조정하여 다중 턴 대화의 출력이 어떻게 변경되는지 관찰할 수 있습니다.
dataset에서 시작하기
시작하기 전에 dataset을 설정했는지 확인하세요. 다중 턴 대화를 평가하려면 input에 메시지 목록을 포함하는 key가 있는지 확인하세요. dataset을 생성한 후 playground로 이동하여 평가할 dataset을 로드하세요. 그런 다음 prompt에 messages list variable을 추가하고, 메시지 목록을 포함하는 input의 key와 동일한 이름으로 지정하세요:
prompt를 실행하면 각 example의 메시지가 ‘Messages List’ variable 위치에 list로 추가됩니다.
수동으로 생성하기
다중 턴 대화를 수동으로 생성하는 방법은 두 가지가 있습니다. 첫 번째 방법은 단순히 prompt에 메시지를 추가하는 것입니다:
이 방법은 빠른 반복에 유용하지만, 다중 턴 대화가 하드코딩되어 있어 유연성이 떨어집니다. 대신 prompt가 모든 다중 턴 대화와 작동하도록 하려면 ‘Messages List’ variable을 추가하고 거기에 다중 턴 대화를 추가할 수 있습니다:
이렇게 하면 system prompt나 tool만 조정하면서 모든 다중 턴 대화가 Messages List variable 자리를 차지할 수 있어, 다양한 run에서 이 prompt를 재사용할 수 있습니다.
다음 단계
이제 다중 턴 상호작용을 위한 playground 설정 방법을 알았으므로, 출력을 수동으로 검사하고 판단하거나 결과를 분류하기 위해 evaluator를 추가할 수 있습니다. 또한 평가를 실행하기 위해 playground를 사용하는 방법에 대해 자세히 알아보려면 이 how-to 가이드를 읽어보세요.Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.