온라인 평가자 설정하기

• LLM-as-a-judge: LLM을 사용하여 트레이스를 평가하며, 인간과 유사한 판단(예: 독성, 환각, 정확성)에 대한 확장 가능한 대체 수단으로 활용합니다. 두 가지 수준의 세분화가 지원됩니다:
  • Run level: 단일 실행을 평가합니다.
  • Thread level: 스레드 내 모든 트레이스를 평가합니다.
• Custom Code: LangSmith 내에서 Python으로 직접 평가자를 작성합니다. 주로 데이터의 구조나 통계적 특성을 검증할 때 사용됩니다.

​

온라인 평가자 보기

​

온라인 평가자 구성하기

​

1. 온라인 평가자 페이지로 이동

​

2. 평가자 이름 지정

​

3. 필터 생성

• 사용자가 피드백을 남긴 실행(run) 중 응답이 만족스럽지 않다고 표시된 경우
• 특정 툴 호출이 발생한 실행(run). 자세한 내용은 툴 호출 필터링 참고
• 특정 메타데이터와 일치하는 실행(run)(예: plan_type으로 트레이스를 기록하고, 엔터프라이즈 고객의 트레이스에만 평가를 적용하고 싶은 경우). 자세한 내용은 트레이스에 메타데이터 추가하기 참고

​

4. (선택 사항) 샘플링 비율 설정

​

5. (선택 사항) 과거 실행에 규칙 적용

• 평가자 이름 추가
• 평가자를 적용할 실행(run)을 필터링하거나 샘플링 비율을 설정(선택 사항)
• Apply Evaluator 선택

​

6. 평가자 유형 선택

• LLM-as-a-judge 평가자 구성하기
• Custom code 평가자 구성하기

​

LLM-as-a-judge 온라인 평가자 구성하기

​

Custom code 평가자 구성하기

​

평가 함수 작성하기

numpy (v2.2.2): "numpy"
pandas (v1.5.2): "pandas"
jsonschema (v4.21.1): "jsonschema"
scipy (v1.14.1): "scipy"
sklearn (v1.26.4): "scikit-learn"

• Run (참고): 평가할 샘플 실행(run)을 나타냅니다.

• Feedback(s) Dictionary: 반환하고자 하는 피드백 유형이 key, 해당 피드백 key에 대해 부여할 점수가 value인 딕셔너리입니다. 예를 들어, {"correctness": 1, "silliness": 0}은 실행(run)에 두 가지 피드백을 생성하며, 하나는 올바름을, 다른 하나는 어리석지 않음을 나타냅니다.

import json

def perform_eval(run):
  output_to_validate = run['outputs']
  is_valid_json = 0

  # assert you can serialize/deserialize as json
  try:
    json.loads(json.dumps(output_to_validate))
  except Exception as e:
    return { "formatted": False }

  # assert output facts exist
  if "facts" not in output_to_validate:
    return { "formatted": False }

  # assert required fields exist
  if "years_mentioned" not in output_to_validate["facts"]:
    return { "formatted": False }

  return {"formatted": True}

​

평가 함수 테스트 및 저장

​

동영상 가이드

​

멀티턴 온라인 평가자 구성하기

1. Semantic Intent: 사용자가 무엇을 하려고 했는지
2. Semantic Outcome: 실제로 어떤 일이 발생했는지, 과제가 성공했는지
3. Trajectory: 대화가 어떻게 전개되었는지, 툴 호출의 흐름 포함

​

사전 조건

• 트레이싱 프로젝트가 threads를 사용해야 합니다.
• 스레드 내 각 트레이스의 최상위 입력 및 출력에 messages 키가 있어야 하며, 메시지 리스트를 포함해야 합니다. LangChain, OpenAI Chat Completions, Anthropic Messages 형식을 지원합니다.
  • 각 트레이스의 최상위 입력 및 출력에 대화의 최신 메시지만 포함되어 있다면, LangSmith가 자동으로 여러 턴의 메시지를 스레드로 결합합니다.
  • 각 트레이스의 최상위 입력 및 출력에 전체 대화 기록이 포함되어 있다면, LangSmith가 해당 내용을 직접 사용합니다.

​

구성 방법

1. Tracing Projects 탭으로 이동하여 트레이싱 프로젝트를 선택하세요.
2. 트레이싱 프로젝트 페이지 오른쪽 상단에서 + New > New Evaluator > Evaluate a multi-turn thread를 클릭하세요.
3. 평가자 이름 지정
4. 필터 또는 샘플링 비율 적용
   필터 또는 샘플링을 사용하여 평가자 비용을 제어하세요. 예를 들어, N 턴 이하의 스레드만 평가하거나 전체 스레드의 10%만 샘플링할 수 있습니다.
5. 유휴 시간(Idle time) 구성
   스레드 레벨 평가자를 처음 구성할 때, 유휴 시간—스레드의 마지막 트레이스 이후 평가 준비가 완료된 것으로 간주되는 시간—을 정의합니다. 이 값은 앱에서 예상되는 사용자 상호작용 길이를 반영해야 하며, 프로젝트 내 모든 평가자에 적용됩니다.

6. 모델 구성
   평가자에 사용할 공급자와 모델을 선택하세요. 스레드는 길어질 수 있으므로, 컨텍스트 윈도우가 큰 모델을 사용해야 제한에 걸리지 않습니다. 예를 들어, OpenAI의 GPT-4.1 mini 또는 Gemini 2.5 Flash는 모두 1M+ 토큰 컨텍스트 윈도우를 제공하므로 좋은 선택입니다.
7. LLM-as-a-judge 프롬프트 구성
   평가하고자 하는 내용을 정의하세요. 이 프롬프트는 스레드를 평가하는 데 사용됩니다. 또한 평가자에 전달되는 messages 리스트의 범위를 구성하여 전달되는 내용을 제어할 수 있습니다:
   • 모든 메시지: 전체 메시지 리스트를 전달
   • Human과 AI 페어: 사용자와 어시스턴트 메시지만 전달(시스템 메시지, 툴 호출 등 제외)
   • 첫 번째 Human과 마지막 AI: 첫 번째 사용자 메시지와 마지막 어시스턴트 답변만 전달
8. 피드백 구성 설정
   피드백 key의 이름, 수집할 피드백 형식, 선택적으로 피드백에 대한 reasoning 활성화를 구성하세요.

8. 평가자 저장

​

제한 사항

• 실행(run)은 1주일 이내여야 함: 스레드가 유휴 상태가 되면, 최근 7일 이내의 실행(run)만 평가 대상이 됩니다.
• 한 번에 최대 500개 스레드 평가: 5분 내 유휴 상태로 표시된 스레드가 500개를 초과하면, 500개를 초과하는 부분은 자동으로 샘플링됩니다.
• 워크스페이스당 최대 10개의 멀티턴 온라인 평가자

​

문제 해결