채팅 기록을 기억하고, 이해하고, 데이터를 추출합니다. 개인화된 AI 경험을 제공합니다.
Zep은 AI Assistant 앱을 위한 장기 메모리 서비스입니다. Zep을 사용하면 AI assistant가 아무리 오래된 과거 대화라도 기억할 수 있도록 하면서, 동시에 hallucination, 지연 시간 및 비용을 줄일 수 있습니다.

​
Zep 작동 방식

Zep은 채팅 기록을 저장하고 불러오며, 이러한 채팅 기록에서 요약 및 기타 artifact를 자동으로 생성합니다. 또한 메시지와 요약을 embedding하여 과거 대화에서 관련 컨텍스트를 검색할 수 있도록 합니다. Zep은 이 모든 작업을 비동기적으로 수행하여 사용자의 채팅 경험에 영향을 주지 않습니다. 데이터는 데이터베이스에 저장되어 성장 수요에 따라 확장할 수 있습니다. Zep은 또한 Document Collections라는 문서 vector 검색을 위한 간단하고 사용하기 쉬운 추상화를 제공합니다. 이는 Zep의 핵심 메모리 기능을 보완하도록 설계되었지만, 범용 vector 데이터베이스로 설계되지는 않았습니다. Zep을 사용하면 prompt 구성에 더 의도적으로 접근할 수 있습니다:
  • 앱에 맞게 사용자 정의된 수의 최근 메시지를 자동으로 추가;
  • 위 메시지 이전의 최근 대화 요약;
  • 그리고/또는 전체 채팅 세션에서 추출된 문맥상 관련 있는 요약 또는 메시지;
  • 그리고/또는 Zep Document Collections의 관련 비즈니스 데이터.

​
Zep Cloud란?

Zep Cloud는 Zep Open Source를 핵심으로 하는 관리형 서비스입니다. Zep Open Source의 메모리 관리 기능 외에도 Zep Cloud는 다음을 제공합니다:
  • Fact Extraction: 사전에 데이터 스키마를 정의하지 않고도 대화에서 자동으로 fact table을 구축합니다.
  • Dialog Classification: 채팅 대화를 즉시 정확하게 분류합니다. 사용자 의도와 감정을 이해하고, 사용자를 세분화하는 등의 작업을 수행합니다. 의미론적 컨텍스트를 기반으로 chain을 라우팅하고 이벤트를 트리거합니다.
  • Structured Data Extraction: 정의한 스키마를 사용하여 채팅 대화에서 비즈니스 데이터를 빠르게 추출합니다. Assistant가 작업을 완료하기 위해 다음에 무엇을 물어봐야 하는지 이해합니다.

​
Zep Open Source

Zep은 자체 호스팅 옵션이 있는 오픈 소스 버전을 제공합니다. 자세한 내용은 Zep Open Source repo를 참조하세요. Zep Open Source 호환 Retriever 및 Vector Store 예제도 찾을 수 있습니다.

​
Zep Cloud 설치 및 설정

Zep Cloud Docs
  1. Zep Cloud SDK 설치:
pip install zep_cloud
또는 
poetry add zep_cloud

​
Retriever

Zep의 Memory Retriever는 Zep Session에서 메시지를 검색하고 이를 사용하여 prompt를 구성할 수 있게 해주는 LangChain Retriever입니다. Retriever는 개별 메시지와 대화 요약 모두에 대한 검색을 지원합니다. 후자는 관련 과거 대화에 대한 풍부하지만 간결한 컨텍스트를 LLM에 제공하는 데 유용합니다. Zep의 Memory Retriever는 similarity search와 Maximum Marginal Relevance (MMR) reranking을 모두 지원합니다. MMR search는 검색된 메시지가 다양하고 서로 너무 유사하지 않도록 하는 데 유용합니다. 사용 예제를 참조하세요. 
from langchain_community.retrievers import ZepCloudRetriever

​
Vector store

Zep의 Document VectorStore API를 사용하면 vector 유사도 검색을 사용하여 문서를 저장하고 검색할 수 있습니다. Zep은 거리 함수, embedding 유형 또는 인덱싱 모범 사례를 이해할 필요가 없습니다. 청크된 문서를 전달하기만 하면 Zep이 나머지를 처리합니다. Zep은 similarity search와 Maximum Marginal Relevance (MMR) reranking을 모두 지원합니다. MMR search는 검색된 문서가 다양하고 서로 너무 유사하지 않도록 하는 데 유용합니다. 
from langchain_community.vectorstores import ZepCloudVectorStore
사용 예제를 참조하세요.
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I