Anyscale은 프로덕션 준비가 완료된 API를 통해 LLM을 실행, 미세 조정 및 확장할 수 있는 플랫폼입니다. Anyscale Endpoints는 비용 효율적인 방식으로 다양한 오픈 소스 모델을 제공합니다.
Anyscale은 또한 고급 채팅 에이전트를 위해 LangChain과 Anyscale을 설정하는 방법에 대한 예제를 제공합니다.

​
Installation and Setup

  • Anyscale Service URL, route 및 API key를 받아서 환경 변수로 설정하세요 (ANYSCALE_SERVICE_URL,ANYSCALE_SERVICE_ROUTE, ANYSCALE_SERVICE_TOKEN).
  • 자세한 내용은 Anyscale 문서를 참조하세요.
openai package를 설치해야 합니다: 
pip install openai

​
LLM

사용 예제를 참조하세요. 
from langchain_community.llms.anyscale import Anyscale

​
Embeddings

사용 예제를 참조하세요. 
from langchain_community.embeddings import AnyscaleEmbeddings
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I