LLM-as-a-judge 평가자가 항상 정확한 것은 아닙니다. 이러한 이유로 사람이 평가자가 남긴 점수를 수동으로 감사하고 필요한 경우 수정하는 것이 유용한 경우가 많습니다. LangSmith를 사용하면 UI 또는 SDK에서 평가자 점수를 수정할 수 있습니다.

​
비교 뷰에서

비교 뷰에서 피드백 태그를 클릭하면 피드백 세부 정보가 표시됩니다. 그런 다음 오른쪽의 “edit” 아이콘을 클릭하여 수정 뷰를 엽니다. “Make correction” 아래의 텍스트 상자에 원하는 점수를 입력할 수 있습니다. 원하는 경우 수정에 대한 설명을 첨부할 수도 있습니다. 이는 few-shot 평가자를 사용하는 경우 유용하며 few_shot_explanation 프롬프트 변수 대신 few-shot 예제에 자동으로 삽입됩니다. Audit Evaluator Comparison View

​
실행 테이블에서

실행 테이블에서 “Feedback” 열을 찾아 피드백 태그를 클릭하면 피드백 세부 정보가 표시됩니다. 다시 오른쪽의 “edit” 아이콘을 클릭하여 수정 뷰를 엽니다. Audit Evaluator Runs Table

​
SDK에서

SDK의 update_feedback 함수를 사용하여 correction dict로 수정할 수 있습니다. UI에 렌더링되려면 숫자에 해당하는 score 키를 지정해야 합니다. 
import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I