이 내용을 살펴보기 전에 다음 문서를 읽어보시면 도움이 될 수 있습니다:
Feedback은 특정 trace 또는 중간 run(span)에 대한 평가 기준과 점수를 저장하는 LangSmith의 방식입니다. Feedback은 다음과 같은 다양한 방법으로 생성될 수 있습니다:
  1. LLM 애플리케이션에서 trace와 함께 전송
  2. 앱에서 사용자가 인라인으로 또는 annotation queue에서 생성
  3. 오프라인 평가 중 자동 evaluator에 의해 생성
  4. 온라인 evaluator에 의해 생성
Feedback은 다음 필드를 포함하는 간단한 형식으로 저장됩니다:
Field NameTypeDescription
idUUID레코드 자체의 고유 식별자
created_atdatetime레코드가 생성된 시간
modified_atdatetime레코드가 마지막으로 수정된 시간
session_idUUID실행이 속한 실험 또는 추적 프로젝트의 고유 식별자
run_idUUID세션 내 특정 실행의 고유 식별자
keystring피드백의 기준을 설명하는 키, 예: “correctness”
scorenumber피드백 키와 연관된 숫자 점수
valuestring점수와 연관된 값을 저장하기 위해 예약됨. 범주형 피드백에 유용함.
commentstring레코드와 연관된 코멘트 또는 주석. 주어진 점수에 대한 정당화가 될 수 있음.
correctionobject수정 세부 정보를 저장하기 위해 예약됨 (있는 경우)
feedback_sourceobject피드백 소스에 대한 정보를 포함하는 객체
feedback_source.typestring피드백이 발생한 소스의 유형, 예: “api”, “app”, “evaluator”
feedback_source.metadataobject추가 메타데이터를 위해 예약됨, 현재
feedback_source.user_idUUID피드백을 제공하는 사용자의 고유 식별자
다음은 위 형식의 feedback 레코드에 대한 JSON 표현 예시입니다: 
{
  "created_at": "2024-05-05T23:23:11.077838",
  "modified_at": "2024-05-05T23:23:11.232962",
  "session_id": "c919298b-0af2-4517-97a2-0f98ed4a48f8",
  "run_id": "e26174e5-2190-4566-b970-7c3d9a621baa",
  "key": "correctness",
  "score": 1.0,
  "value": null,
  "comment": "I gave this score because the answer was correct.",
  "correction": null,
  "id": "62104630-c7f5-41dc-8ee2-0acee5c14224",
  "feedback_source": {
    "type": "app",
    "metadata": null,
    "user_id": "ad52b092-1346-42f4-a934-6e5521562fab"
  }
}
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I