DeepSparse - Docs by LangChain

설치 및 설정
LLMs

이 페이지는 LangChain 내에서 DeepSparse inference runtime을 사용하는 방법을 다룹니다. 설치 및 설정, 그리고 DeepSparse 사용 예제의 두 부분으로 나뉩니다.

설치 및 설정

pip install deepsparse로 Python 패키지를 설치합니다
SparseZoo model을 선택하거나 Optimum 사용하여 지원되는 모델을 ONNX로 내보냅니다

LLMs

DeepSparse LLM wrapper가 존재하며, 다음과 같이 접근할 수 있습니다:

from langchain_community.llms import DeepSparse

모든 모델에 대해 통합된 인터페이스를 제공합니다:

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none')

print(llm.invoke('def fib():'))

config 매개변수를 사용하여 추가 매개변수를 전달할 수 있습니다:

config = {'max_generated_tokens': 256}

llm = DeepSparse(model='zoo:nlg/text_generation/codegen_mono-350m/pytorch/huggingface/bigpython_bigquery_thepile/base-none', config=config)

Edit the source of this page on GitHub.

Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.

⌘I