Self-hosted 버전 요구사항알림에 액세스하려면 Helm chart 버전 0.10.3 이상이 필요합니다.
개요
LLM 애플리케이션의 효과적인 관찰 가능성을 위해서는 장애, 성능 저하 및 회귀를 사전에 감지해야 합니다. LangSmith의 알림 기능은 다음과 같은 중요한 문제를 식별하는 데 도움이 됩니다:- 모델 제공업체의 API rate limit 위반
- 애플리케이션의 지연 시간 증가
- 최종 사용자 경험을 반영하는 피드백 점수에 영향을 미치는 애플리케이션 변경 사항
알림 구성하기
1단계: 알림 생성으로 이동
먼저 알림을 구성하려는 Tracing 프로젝트로 이동합니다. 페이지 오른쪽 상단의 알림 아이콘을 클릭하여 해당 프로젝트의 기존 알림을 확인하고 새 알림을 설정합니다.2단계: 메트릭 유형 선택
| 메트릭 유형 | 설명 | 사용 사례 |
|---|---|---|
| Errored Runs | 오류 상태의 실행 추적 | 애플리케이션의 장애를 모니터링합니다. |
| Feedback Score | 평균 피드백 점수 측정 | 최종 사용자의 피드백 또는 온라인 평가 결과를 추적하여 회귀에 대해 알림을 받습니다. |
| Latency | 평균 실행 시간 측정 | 애플리케이션의 지연 시간을 추적하여 급증 및 성능 병목 현상에 대해 알림을 받습니다. |
RateLimitExceeded 오류가 발생하는 support_agent로 태그된 모든 llm 실행에 대한 오류 알림 필터를 생성할 수 있습니다.
2단계: 알림 조건 정의
알림 조건은 여러 구성 요소로 이루어져 있습니다:- 집계 방법: Average, Percentage 또는 Count
- 비교 연산자:
>=,<=또는 임계값 초과 - 임계값: 알림을 트리거하는 숫자 값
- 집계 기간: 메트릭 계산을 위한 시간 기간 (현재 5분 또는 15분 중 선택)
- Feedback Key (Feedback Score 알림만 해당): 모니터링할 특정 피드백 메트릭
3단계: 알림 채널 구성
LangSmith는 다음 알림 채널을 지원합니다: 알림이 담당 팀원에게 도달하도록 적절한 채널을 선택하세요.모범 사례
- 애플리케이션의 중요도에 따라 민감도를 조정하세요
- 더 넓은 임계값으로 시작하여 관찰된 패턴을 기반으로 개선하세요
- 알림 라우팅이 적절한 당직 담당자에게 도달하는지 확인하세요
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.