Infino

Infino는 메트릭과 애플리케이션 로그를 함께 저장하는 오픈소스 관측성 플랫폼입니다.

• 메트릭 추적: LLM 모델이 요청을 처리하는 데 걸린 시간, 오류, 토큰 수, 특정 LLM에 대한 비용 표시를 캡처합니다.
• 데이터 추적: 각 LangChain 상호작용에 대한 프롬프트, 요청 및 응답 데이터를 로깅하고 저장합니다.
• 그래프 시각화: 요청 지속 시간, 오류 발생, 토큰 수 및 비용과 같은 메트릭을 시간에 따라 나타내는 기본 그래프를 생성합니다.

​

설치 및 설정

pip install infinopy

• Docker가 설치되어 있는지 확인하세요
• 터미널에서 다음을 실행하세요:
  Copy

  docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest
  

​

Infino 사용하기

from langchain.callbacks import InfinoCallbackHandler