Observability 개념

이 페이지에서는 LangSmith에 trace를 로깅할 때 이해해야 할 주요 개념을 다룹니다. trace는 애플리케이션이 입력을 받아 중간 처리를 거쳐 최종 출력을 생성하기까지의 단계 순서를 기록합니다. trace 내의 각 단계는 run으로 표현됩니다. 여러 trace는 project 내에서 함께 그룹화되며, 다중 턴 대화의 trace는 thread로 함께 연결될 수 있습니다. 다음 다이어그램은 인덱스에서 문서를 검색하고 답변을 생성하는 간단한 RAG 앱의 맥락에서 이러한 개념을 보여줍니다.

​

Runs

_run_은 LLM 애플리케이션 내에서 단일 작업 단위 또는 작업을 나타내는 span입니다. 이는 LLM 또는 chain에 대한 단일 호출부터 prompt 포맷팅 호출, runnable lambda 호출에 이르기까지 무엇이든 될 수 있습니다. OpenTelemetry에 익숙하다면 run을 span으로 생각할 수 있습니다.

​

Traces

_trace_는 단일 작업에 대한 run의 모음입니다. 예를 들어, chain을 트리거하는 사용자 요청이 있고 해당 chain이 LLM을 호출한 다음 output parser를 호출하는 등의 작업을 수행하는 경우, 이러한 모든 run은 동일한 trace의 일부가 됩니다. OpenTelemetry에 익숙하다면 LangSmith trace를 span의 모음으로 생각할 수 있습니다. Run은 고유한 trace ID로 trace에 바인딩됩니다.

​

Threads

_thread_는 단일 대화를 나타내는 trace의 시퀀스입니다. 많은 LLM 애플리케이션은 사용자와 LLM 애플리케이션이 다중 턴 대화를 나누는 챗봇과 같은 인터페이스를 가지고 있습니다. 대화의 각 턴은 자체 trace로 표현되지만, 이러한 trace는 동일한 thread의 일부로 함께 연결됩니다. thread의 가장 최근 trace는 최신 메시지 교환입니다. trace를 thread로 그룹화하려면 trace를 함께 연결하는 고유 식별자 값과 함께 특수 metadata 키(session_id, thread_id 또는 conversation_id)를 전달합니다. thread 구성 방법 알아보기.

​

Projects

_project_는 trace의 모음입니다. project를 단일 애플리케이션 또는 서비스와 관련된 모든 trace의 컨테이너로 생각할 수 있습니다. 여러 project를 가질 수 있으며 각 project는 여러 trace를 가질 수 있습니다.

​

Feedback

_Feedback_을 사용하면 특정 기준에 따라 개별 run에 점수를 매길 수 있습니다. 각 feedback 항목은 feedback tag와 feedback score로 구성되며 고유한 run ID로 run에 바인딩됩니다. Feedback은 연속적이거나 이산적(범주형)일 수 있으며, 조직 내의 여러 run에서 feedback tag를 재사용할 수 있습니다. 다음과 같은 여러 방법으로 run에 대한 feedback을 수집할 수 있습니다:

1. LLM 애플리케이션에서 trace와 함께 전송.
2. 앱에서 사용자가 인라인으로 또는 annotation queue에서 생성.
3. 오프라인 평가 중 자동 evaluator가 생성.
4. 온라인 evaluator가 생성.

애플리케이션에서 feedback이 저장되는 방식에 대해 자세히 알아보려면 Feedback 데이터 형식 가이드를 참조하세요.

​

Tags

_Tags_는 run에 첨부할 수 있는 문자열 모음입니다. LangSmith UI에서 다음을 수행하기 위해 tag를 사용할 수 있습니다:

• 더 쉬운 검색을 위해 run을 분류합니다.
• run을 필터링합니다.
• 분석을 위해 run을 함께 그룹화합니다.

trace에 tag를 첨부하는 방법 알아보기.

​

Metadata

_Metadata_는 run에 첨부할 수 있는 키-값 쌍의 모음입니다. metadata를 사용하여 run을 생성한 애플리케이션의 버전, run이 생성된 환경 또는 run과 연결하려는 기타 정보와 같은 run에 대한 추가 정보를 저장할 수 있습니다. tag와 마찬가지로 metadata를 사용하여 LangSmith UI에서 run을 필터링하거나 분석을 위해 run을 함께 그룹화할 수 있습니다. trace에 metadata를 추가하는 방법 알아보기.

​

데이터 저장 및 보존

2024년 5월 22일 수요일 이후에 수집된 trace의 경우, LangSmith(SaaS)는 trace가 LangSmith trace 데이터베이스에 삽입된 날짜 및 시간으로부터 최대 400일 동안 trace 데이터를 보존합니다. 400일 후에는 trace가 LangSmith에서 영구적으로 삭제되며, 과거 사용량 및 비용과 같은 정확한 통계를 표시하기 위한 목적으로 제한된 양의 metadata가 보존됩니다.

​

LangSmith에서 trace 삭제

만료 날짜 이전에 LangSmith에서 trace를 제거해야 하는 경우 해당 trace가 포함된 project를 삭제하면 됩니다. 다음 방법 중 하나로 project를 삭제할 수 있습니다:

• LangSmith UI에서 project의 overflow 메뉴에서 Delete 옵션을 선택합니다.
• delete_tracer_sessions API endpoint를 사용합니다.
• LangSmith SDK의 delete_project() (Python) 또는 deleteProject() (JS/TS)를 사용합니다.

LangSmith는 개별 trace의 셀프 서비스 삭제를 지원하지 않습니다. 만료 날짜 이전에 LangSmith project에서 단일 trace(또는 trace 세트)를 삭제해야 하는 경우, 계정 소유자는 조직 ID 및 trace ID와 함께 LangSmith Support에 문의해야 합니다.

---