ModelScope (홈페이지 | GitHub)는 “Model-as-a-Service” (MaaS) 개념을 기반으로 구축되었습니다. AI 커뮤니티의 가장 진보된 머신러닝 모델들을 한데 모으고, 실제 애플리케이션에서 AI 모델을 활용하는 프로세스를 간소화하는 것을 목표로 합니다. 이 저장소에서 오픈소스로 공개된 핵심 ModelScope 라이브러리는 개발자가 모델 추론, 학습 및 평가를 수행할 수 있도록 하는 인터페이스와 구현을 제공합니다. 이 문서는 ModelScope Chat Endpoint를 시작하는 데 도움이 됩니다.

​
개요

​
Integration 세부 정보

ProviderClassPackageLocalSerializableDownloadsVersion
ModelScopeModelScopeChatEndpointlangchain-modelscope-integration❌❌PyPI - DownloadsPyPI - Version

​
설정

ModelScope chat endpoint에 액세스하려면 ModelScope 계정을 생성하고, SDK token을 받고, langchain-modelscope-integration integration package를 설치해야 합니다.

​
자격 증명

ModelScope로 이동하여 ModelScope에 가입하고 SDK token을 생성하세요. 완료되면 MODELSCOPE_SDK_TOKEN environment variable을 설정하세요: 
import getpass
import os

if not os.getenv("MODELSCOPE_SDK_TOKEN"):
    os.environ["MODELSCOPE_SDK_TOKEN"] = getpass.getpass(
        "Enter your ModelScope SDK token: "
    )

​
설치

LangChain ModelScope integration은 langchain-modelscope-integration package에 있습니다: 
pip install -qU langchain-modelscope-integration

​
인스턴스화

이제 model object를 인스턴스화하고 chat completion을 생성할 수 있습니다: 
from langchain_modelscope import ModelScopeChatEndpoint

llm = ModelScopeChatEndpoint(
    model="Qwen/Qwen2.5-Coder-32B-Instruct",
    temperature=0,
    max_tokens=1024,
    timeout=60,
    max_retries=2,
    # other params...
)

​
호출

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to Chinese. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]
ai_msg = llm.invoke(messages)
ai_msg

AIMessage(content='我喜欢编程。', additional_kwargs={'refusal': None}, response_metadata={'token_usage': {'completion_tokens': 3, 'prompt_tokens': 33, 'total_tokens': 36, 'completion_tokens_details': None, 'prompt_tokens_details': None}, 'model_name': 'qwen2.5-coder-32b-instruct', 'system_fingerprint': None, 'finish_reason': 'stop', 'logprobs': None}, id='run-60bb3461-60ae-4c0b-8997-ab55ef77fcd6-0', usage_metadata={'input_tokens': 33, 'output_tokens': 3, 'total_tokens': 36, 'input_token_details': {}, 'output_token_details': {}})

print(ai_msg.content)

我喜欢编程。

​
API reference

모든 ModelScopeChatEndpoint 기능 및 구성에 대한 자세한 문서는 다음 reference를 참조하세요: modelscope.cn/docs/model-service/API-Inference/intro
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I