Beam API wrapper를 호출하여 클라우드 배포 환경에서 gpt2 LLM 인스턴스를 배포하고 후속 호출을 수행합니다. Beam 라이브러리 설치와 Beam Client ID 및 Client Secret 등록이 필요합니다. wrapper를 호출하면 모델 인스턴스가 생성되어 실행되며, 프롬프트와 관련된 텍스트가 반환됩니다. 이후 Beam API를 직접 호출하여 추가 호출을 수행할 수 있습니다. 아직 계정이 없다면 계정을 생성하세요. 대시보드에서 API 키를 가져오세요. Beam CLI 설치 
!curl https://raw.githubusercontent.com/slai-labs/get-beam/main/get-beam.sh -sSfL | sh
API Keys를 등록하고 beam client id와 secret 환경 변수를 설정하세요: 
import os

beam_client_id = "<Your beam client id>"
beam_client_secret = "<Your beam client secret>"

# Set the environment variables
os.environ["BEAM_CLIENT_ID"] = beam_client_id
os.environ["BEAM_CLIENT_SECRET"] = beam_client_secret

# Run the beam configure command
!beam configure --clientId={beam_client_id} --clientSecret={beam_client_secret}
Beam SDK 설치: 
pip install -qU  beam-sdk
langchain에서 직접 Beam을 배포하고 호출하세요! 참고: cold start의 경우 응답을 반환하는 데 몇 분이 걸릴 수 있지만, 이후 호출은 더 빠릅니다! 
from langchain_community.llms.beam import Beam

llm = Beam(
    model_name="gpt2",
    name="langchain-gpt2-test",
    cpu=8,
    memory="32Gi",
    gpu="A10G",
    python_version="python3.8",
    python_packages=[
        "diffusers[torch]>=0.10",
        "transformers",
        "torch",
        "pillow",
        "accelerate",
        "safetensors",
        "xformers",
    ],
    max_length="50",
    verbose=False,
)

llm._deploy()

response = llm._call("Running machine learning on a remote GPU")

print(response)
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I