- 사전 구축 대시보드: 모든 tracing 프로젝트에 대해 자동으로 생성됩니다.
- 커스텀 대시보드: 필요에 맞게 조정할 수 있는 완전히 구성 가능한 차트 모음입니다.
사전 구축 대시보드
사전 구축 대시보드는 각 프로젝트에 대해 자동으로 생성되며 trace 수, 오류율, token 사용량 등과 같은 필수 메트릭을 다룹니다. 기본적으로 tracing 프로젝트의 사전 구축 대시보드는 tracing 프로젝트 페이지 오른쪽 상단의 Dashboard 버튼을 사용하여 액세스할 수 있습니다.
사전 구축 대시보드는 수정할 수 없습니다. 향후 기본 대시보드를 복제하여 커스터마이징할 수 있는 시작점으로 사용할 수 있도록 할 계획입니다.
대시보드 섹션
사전 구축 대시보드는 다음 섹션으로 구성됩니다:| 섹션 | 표시 내용 |
|---|---|
| Traces | Trace 수, 지연 시간 및 오류율. trace는 단일 작업과 관련된 run의 모음입니다. 예를 들어, 사용자 요청이 agent를 트리거하면 해당 agent 호출에 대한 모든 run이 동일한 trace의 일부가 됩니다. |
| LLM Calls | LLM 호출 수 및 지연 시간. run type이 “llm”인 모든 run을 포함합니다. |
| Cost & Tokens | token 유형별로 분류된 총 token 수 및 trace당 token 수와 비용. 비용은 LangSmith의 비용 추적을 사용하여 측정됩니다. |
| Tools | tool 이름별로 분류된 tool run의 run 수, 오류율 및 지연 시간 통계. run type이 “tool”인 run을 포함합니다. 가장 자주 발생하는 상위 5개 tool로 제한됩니다. |
| Run Types | root run의 직계 자식인 run의 run 수, 오류율 및 지연 시간 통계. 이는 agent의 높은 수준의 실행 경로를 이해하는 데 도움이 됩니다. 가장 자주 발생하는 상위 5개 run 이름으로 제한됩니다. 이 표 다음의 이미지를 참조하세요. |
| Feedback Scores | 가장 자주 발생하는 상위 5개 feedback 유형에 대한 집계 통계. 차트는 숫자형 feedback의 평균 점수와 범주형 feedback의 카테고리 수를 표시합니다. |
Group by
run tag 또는 metadata별 group by를 사용하여 애플리케이션에 중요한 속성에 대해 데이터를 분할할 수 있습니다. 전역 group by 설정은 대시보드 오른쪽 상단에 표시됩니다. Tool 및 Run Type 차트에는 이미 group by가 적용되어 있으므로 전역 group by는 적용되지 않습니다. 전역 group by는 다른 모든 차트에 적용됩니다.run에 metadata를 추가할 때는 특정 run(예: LLM 호출)뿐만 아니라 trace에도 동일한 metadata를 포함하는 것이 좋습니다. Metadata와 tag는 부모에서 자식 run으로 또는 그 반대로 전파되지 않습니다. 따라서 예를 들어 trace 차트와 LLM 호출 차트 모두를 일부 metadata key로 그룹화하려면 trace(root run)와 LLM run 모두에 해당 metadata가 첨부되어 있어야 합니다.
커스텀 대시보드
애플리케이션에 가장 중요한 메트릭을 추적하기 위한 맞춤형 차트 모음을 만듭니다.새 대시보드 만들기
- 왼쪽 사이드바의 Monitor 탭으로 이동합니다.
- + New Dashboard 버튼을 클릭합니다.
- 대시보드에 이름과 설명을 지정합니다.
- Create를 클릭합니다.
대시보드에 차트 추가하기
- 대시보드 내에서 + New Chart 버튼을 클릭하여 차트 생성 패널을 엽니다.
- 차트에 이름과 설명을 지정합니다.
- 차트를 구성합니다.
차트 구성
tracing 프로젝트 선택 및 run 필터링
- 메트릭을 추적할 하나 이상의 tracing 프로젝트를 선택합니다.
- Chart filters 섹션을 사용하여 일치하는 run을 세분화합니다. 이 필터는 차트의 모든 데이터 시리즈에 적용됩니다. trace 필터링에 대한 자세한 내용은 애플리케이션에서 trace 필터링하기 가이드를 참조하세요.
메트릭 선택
- 드롭다운 메뉴에서 메트릭을 선택하여 차트의 y축을 설정합니다. 프로젝트와 메트릭을 선택하면 차트 미리보기와 일치하는 run을 볼 수 있습니다.
- 특정 메트릭(예: 지연 시간, token 사용량, 비용)의 경우 동일한 단위를 가진 여러 메트릭을 비교할 수 있습니다. 예를 들어, prompt token과 completion token을 볼 수 있는 하나의 차트를 원할 수 있습니다. 각 메트릭은 별도의 선으로 표시됩니다.
데이터 분할
차트에서 여러 시리즈를 생성하는 방법(즉, 차트에서 여러 선을 생성하는 방법)은 두 가지가 있습니다:- Group by: run tag 또는 metadata, run 이름 또는 run type별로 run을 그룹화합니다. Group by는 선택한 필드를 기반으로 데이터를 자동으로 여러 시리즈로 분할합니다. group by는 빈도별 상위 5개 요소로 제한됩니다.
- Data series: 개별 필터를 사용하여 여러 시리즈를 수동으로 정의합니다. 이는 단일 메트릭 내에서 세분화된 데이터를 비교하는 데 유용합니다.
차트 유형 선택
- 시각화를 위해 선 차트와 막대 차트 중에서 선택합니다
차트 저장 및 관리
Save를 클릭하여 차트를 대시보드에 저장합니다.- 차트 오른쪽 상단의 세 점 버튼을 클릭하여 차트를 편집하거나 삭제합니다.
- 차트 오른쪽 상단의 세 줄 버튼을 클릭하고 + Clone을 선택하여 차트를 복제합니다. 이렇게 하면 원본과 동일한 구성을 가진 새 차트 생성 패널이 열립니다.
tracing 프로젝트에서 대시보드로 링크하기
tracing 프로젝트에서 직접 모든 대시보드로 링크할 수 있습니다. 기본적으로 tracing 프로젝트의 사전 구축 대시보드가 선택됩니다. 대신 링크하려는 커스텀 대시보드가 있는 경우:- tracing 프로젝트에서 Dashboard 버튼 옆의 세 점을 클릭합니다.
- 새 기본값으로 설정할 대시보드를 선택합니다.
예시: 사용자 여정 모니터링
특정 노드에서 agent가 내린 결정을 매핑하기 위해 모니터링 차트를 사용합니다. 이메일 어시스턴트 agent를 고려해 보세요. 특정 노드에서 이메일에 대해 다음과 같은 결정을 내립니다:- 이메일 회신 보내기
- 사용자에게 알림
- 응답 불필요
-
메트릭 선택:
Run count메트릭을 선택합니다. -
차트 필터: 이름이
triage_input인 모든 trace를 포함하도록 tree 필터를 추가합니다. 이는triage_input노드에 도달한 trace만 포함한다는 의미입니다. 또한Is Root가true인 차트 필터를 추가하여 trace의 노드 수로 인해 count가 부풀려지지 않도록 합니다.
-
데이터 시리즈:
triage_input노드에서 내린 각 결정에 대한 데이터 시리즈를 생성합니다. 결정의 출력은 output 객체의triage.response필드에 저장되며, 결정 값은no,email또는notify입니다. 이러한 각 결정은 차트에서 별도의 데이터 시리즈를 생성합니다.
triage_input 노드에서 내린 결정을 시각화할 수 있습니다.
비디오 가이드
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.