OctoAI는 효율적인 컴퓨팅에 대한 쉬운 액세스를 제공하며 사용자가 선택한 AI 모델을 애플리케이션에 통합할 수 있도록 합니다. OctoAI 컴퓨팅 서비스는 AI 애플리케이션을 쉽게 실행, 조정 및 확장할 수 있도록 도와줍니다. 이 노트북은 OctoAI endpoints를 위한 langchain.chat_models.ChatOctoAI 사용법을 보여줍니다.

​
Setup

예제 앱을 실행하기 위해 두 가지 간단한 단계를 수행해야 합니다:
  1. OctoAI 계정 페이지에서 API Token을 받으세요.
  2. 아래 코드 셀에 API token을 붙여넣거나 octoai_api_token 키워드 인자를 사용하세요.
참고: 사용 가능한 모델과 다른 모델을 사용하려면, Build a Container from Python과 Create a Custom Endpoint from a Container를 따라 모델을 컨테이너화하고 직접 커스텀 OctoAI endpoint를 만든 다음 OCTOAI_API_BASE 환경 변수를 업데이트할 수 있습니다. 
import os

os.environ["OCTOAI_API_TOKEN"] = "OCTOAI_API_TOKEN"

from langchain_community.chat_models import ChatOctoAI
from langchain.messages import HumanMessage, SystemMessage

​
Example

chat = ChatOctoAI(max_tokens=300, model_name="mixtral-8x7b-instruct")

messages = [
    SystemMessage(content="You are a helpful assistant."),
    HumanMessage(content="Tell me about Leonardo da Vinci briefly."),
]
print(chat(messages).content)
레오나르도 다 빈치(1452-1519)는 역사상 가장 위대한 화가 중 한 명으로 여겨지는 이탈리아의 박식가였습니다. 그러나 그의 천재성은 예술을 훨씬 넘어섰습니다. 그는 또한 과학자, 발명가, 수학자, 엔지니어, 해부학자, 지질학자, 지도 제작자이기도 했습니다. 다 빈치는 모나리자, 최후의 만찬, 암굴의 성모와 같은 그림으로 가장 잘 알려져 있습니다. 그의 과학 연구는 시대를 앞서갔으며, 그의 노트에는 다양한 기계, 인체 해부학, 자연 현상에 대한 상세한 그림과 설명이 담겨 있습니다. 정규 교육을 받지 못했음에도 불구하고, 다 빈치의 끝없는 호기심과 관찰력은 그를 많은 분야의 선구자로 만들었습니다. 그의 작품은 오늘날에도 예술가, 과학자, 사상가들에게 계속해서 영감을 주고 영향을 미치고 있습니다.
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I