Llama.cpp

llama.cpp python 라이브러리는 @ggerganov의 llama.cpp에 대한 간단한 Python 바인딩입니다. 이 패키지는 다음을 제공합니다:

• ctypes 인터페이스를 통한 C API에 대한 저수준 접근
• 텍스트 완성을 위한 고수준 Python API
  • OpenAI와 유사한 API
  • LangChain 호환성
  • LlamaIndex 호환성
• OpenAI 호환 웹 서버
  • 로컬 Copilot 대체
  • Function Calling 지원
  • Vision API 지원
  • 다중 모델 지원

​

설치 및 설정

• Python 패키지 설치
  Copy

  pip install llama-cpp-python
  

• 지원되는 모델 중 하나를 다운로드하고 지침에 따라 llama.cpp 형식으로 변환하세요

​

Chat models

from langchain_community.chat_models import ChatLlamaCpp

​

LLMs

from langchain_community.llms import LlamaCpp

​

Embedding models

from langchain_community.embeddings import LlamaCppEmbeddings