LangSmith를 사용하면 애플리케이션 내에서 trace에 피드백을 수동으로 주석으로 달 수 있습니다. 이는 사용자의 코멘트나 특정 이슈에 대한 메모와 같이 trace에 컨텍스트를 추가하는 데 유용할 수 있습니다. trace에 인라인으로 주석을 달거나 annotation queue로 trace를 전송하여 한 번에 하나씩 run을 면밀히 검사하고 피드백을 기록할 수 있습니다. Feedback tag는 workspace와 연결됩니다.
root span뿐만 아니라 trace의 모든 중간 run(span)에 사용자 피드백을 첨부할 수 있습니다.이는 RAG pipeline의 retrieval 단계나 generation 단계와 같이 LLM 애플리케이션의 특정 부분을 비평하는 데 유용합니다.
trace에 인라인으로 주석을 달려면 trace의 일부인 특정 run에 대한 trace view의 오른쪽 상단에 있는 Annotate를 클릭하세요. 그러면 workspace와 연결된 feedback tag 중에서 선택하고 특정 tag에 대한 점수를 추가할 수 있는 창이 열립니다. 독립적인 코멘트를 추가할 수도 있습니다. workspace에 대한 feedback tag를 설정하려면 이 가이드를 따르세요. 창 내에서 직접 새로운 feedback criteria를 설정할 수도 있습니다. 레이블이 지정된 키보드 단축키를 사용하여 annotation 프로세스를 간소화할 수 있습니다.
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I