Annotation queue는 사람 annotator가 특정 run에 피드백을 첨부할 수 있도록 간소화되고 집중된 뷰를 제공하는 강력한 LangSmith 기능입니다. trace를 인라인으로 언제든지 annotate할 수 있지만, annotation queue는 run을 그룹화한 다음 annotator가 검토하고 피드백을 제공할 수 있는 또 다른 옵션을 제공합니다.

​
Annotation queue 생성하기

Annotation queue를 생성하려면 홈페이지 또는 왼쪽 탐색 바를 통해 Annotation queues 섹션으로 이동합니다. 그런 다음 오른쪽 상단의 + New annotation queue를 클릭합니다.

​
Basic Details

Queue의 name과 description을 양식에 입력합니다. 또한 queue에 default dataset을 할당할 수 있으며, 이를 통해 특정 run의 input과 output을 LangSmith workspace의 dataset으로 보내는 프로세스를 간소화할 수 있습니다.

​
Annotation Rubric

먼저 annotator를 위한 고수준 지침을 작성합니다. 이는 모든 run의 사이드바에 표시됩니다. 다음으로 ”+ Desired Feedback”을 클릭하여 annotation queue에 feedback key를 추가합니다. Annotator는 각 run에서 이러한 feedback key를 제공받게 됩니다. 각각에 대한 설명과 피드백이 범주형인 경우 각 카테고리에 대한 간단한 설명을 추가합니다. annotation queue rubric Reviewer는 다음과 같이 보게 됩니다: rubric for annotators

​
Collaborator Settings

여러 annotator와 관련된 몇 가지 설정이 있습니다:
  • Number of reviewers per run: 이는 run이 queue에서 제거되기 위해 “Done”으로 표시해야 하는 reviewer의 수를 결정합니다. “All workspace members review each run”을 체크하면 모든 workspace member가 “Done”으로 표시할 때까지 run이 queue에 남아 있습니다.
    • Reviewer는 다른 reviewer가 남긴 피드백을 볼 수 없습니다.
    • Run에 대한 comment는 모든 reviewer에게 표시됩니다.
  • Enable reservations on runs: Reservation을 활성화하는 것을 권장합니다. 이렇게 하면 여러 annotator가 동시에 동일한 run을 검토하는 것을 방지할 수 있습니다.
  1. Reservation은 어떻게 작동하나요?
Reviewer가 run을 보면 지정된 “reservation length” 동안 해당 reviewer에게 run이 예약됩니다. 위에서 지정한 대로 run당 여러 reviewer가 있는 경우, run은 동시에 여러 reviewer(run당 reviewer 수까지)에게 예약될 수 있습니다.
  1. 시간이 초과되면 어떻게 되나요?
Reviewer가 run을 보고 “Done”으로 표시하지 않고 run을 떠나면 지정된 “reservation length” 후에 reservation이 만료됩니다. 그러면 run은 queue로 다시 릴리스되어 다른 reviewer가 예약할 수 있습니다.
“Requeue at end”를 클릭하면 현재 run만 현재 사용자의 queue 끝으로 이동하며, 다른 사용자의 queue 순서에는 영향을 주지 않습니다. 또한 현재 사용자가 해당 run에 대해 가지고 있는 reservation도 해제됩니다.
이러한 설정으로 인해 annotation queue에서 개인에게 표시되는 run 수가 queue의 총 run 수 및 다른 사람의 queue 크기와 다를 수 있으며(그럴 가능성이 높습니다). Annotation Queues 섹션에서 연필 아이콘을 클릭하여 언제든지 이러한 설정을 업데이트할 수 있습니다.

​
Annotation queue에 run 할당하기

Annotation queue에 run을 할당하려면 다음 중 하나를 수행합니다:
  1. 모든 trace view의 오른쪽 상단에 있는 Add to Annotation Queue를 클릭합니다. Root span뿐만 아니라 trace의 모든 중간 run(span)을 annotation queue에 추가할 수 있습니다.
  2. Run table에서 여러 run을 선택한 다음 페이지 하단의 Add to Annotation Queue를 클릭합니다.
  3. 특정 filter와 sampling 조건을 통과하는 run을 자동으로 annotation queue에 할당하는 automation rule을 설정합니다.
  4. Dataset 페이지에서 하나 또는 여러 experiment를 선택하고 Annotate를 클릭합니다. 결과 팝업에서 새 queue를 생성하거나 기존 queue에 run을 추가할 수 있습니다:
애플리케이션에서 특정 사용자 피드백 점수(예: 좋아요, 싫어요)가 있는 run을 annotation queue에 할당하는 것은 매우 좋은 아이디어입니다. 이렇게 하면 사용자 불만을 야기하는 문제를 식별하고 해결할 수 있습니다. LLM 애플리케이션에서 사용자 피드백을 캡처하는 방법에 대해 자세히 알아보려면 이 가이드를 따르세요.

​
Annotation queue에서 run 검토하기

Annotation queue에서 run을 검토하려면 홈페이지 또는 왼쪽 탐색 바를 통해 Annotation Queues 섹션으로 이동합니다. 그런 다음 검토하려는 queue를 클릭합니다. 그러면 검토가 필요한 queue의 run에 대한 집중적이고 순환적인 뷰로 이동합니다. Comment를 첨부하고, 특정 피드백 기준에 대한 점수를 첨부하고, run을 dataset에 추가하거나 run을 검토됨으로 표시할 수 있습니다. 또한 “View run” 옆의 Trash 아이콘을 클릭하여 현재 reservation이나 queue 설정에 관계없이 모든 사용자에 대해 queue에서 run을 제거할 수도 있습니다. 표시된 키보드 단축키는 검토 프로세스를 간소화하는 데 도움이 될 수 있습니다.

​
Video 가이드

Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I