Portkey를 사용하여 LangChain LLM 호출을 로깅, 추적 및 모니터링하는 방법에 대한 단계별 가이드입니다.
먼저 Portkey, OpenAI 및 Agent 도구를 import 해봅시다
Portkey API Key 받기
- 여기에서 Portkey에 가입하세요
- 대시보드에서 왼쪽 하단의 프로필 아이콘을 클릭한 다음 “Copy API Key”를 클릭하세요
- 아래에 붙여넣으세요
Trace ID 설정
- 아래에 요청에 대한 trace id를 설정하세요
- Trace ID는 단일 요청에서 발생하는 모든 API 호출에 공통으로 사용될 수 있습니다
Portkey Headers 생성
Portkey에서 로깅 및 추적이 작동하는 방식
로깅- Portkey를 통해 요청을 보내면 기본적으로 모든 요청이 로깅됩니다
- 각 요청 로그에는
timestamp,model name,total cost,request time,request json,response json및 추가 Portkey 기능이 포함됩니다
- Trace id는 각 요청과 함께 전달되며 Portkey 대시보드의 로그에서 확인할 수 있습니다
- 원하는 경우 각 요청에 대해 고유한 trace id를 설정할 수도 있습니다
- trace id에 사용자 피드백을 추가할 수도 있습니다. 자세한 내용은 여기를 참조하세요
고급 LLMOps 기능 - 캐싱, 태깅, 재시도
로깅 및 추적 외에도 Portkey는 기존 워크플로우에 프로덕션 기능을 추가하는 더 많은 기능을 제공합니다: 캐싱 이전에 처리된 고객 쿼리에 대해 OpenAI로 다시 보내는 대신 캐시에서 응답합니다. 정확한 문자열 또는 의미적으로 유사한 문자열을 매칭합니다. 캐시는 비용을 절감하고 지연 시간을 20배까지 줄일 수 있습니다. 문서 재시도 실패한 API 요청을 **최대 5번**까지 자동으로 재처리합니다. 네트워크 과부하를 방지하기 위해 재시도 시도 간격을 두는 exponential backoff 전략을 사용합니다. 문서
태깅
사전 정의된 태그를 사용하여 각 사용자 상호작용을 세부적으로 추적하고 감사합니다. 문서
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.