현재 Amazon Bedrock 모델을 text completion 모델로 사용하는 방법을 설명하는 페이지를 보고 계십니다. Bedrock에서 사용 가능한 많은 인기 모델은 chat completion 모델입니다.이 페이지를 찾고 계실 수 있습니다.
Amazon Bedrock은 AI21 Labs, Anthropic, Cohere, Meta, Stability AI, Amazon과 같은 주요 AI 기업의 고성능 foundation 모델(FM)을 단일 API를 통해 선택할 수 있는 완전 관리형 서비스이며, 보안, 개인정보 보호 및 책임 있는 AI를 갖춘 생성형 AI 애플리케이션을 구축하는 데 필요한 광범위한 기능을 제공합니다. Amazon Bedrock을 사용하면 사용 사례에 맞는 최고의 FM을 쉽게 실험하고 평가할 수 있으며, fine-tuning 및 Retrieval Augmented Generation(RAG)과 같은 기술을 사용하여 데이터로 비공개로 커스터마이징하고, 엔터프라이즈 시스템 및 데이터 소스를 사용하여 작업을 실행하는 agent를 구축할 수 있습니다. Amazon Bedrock은 serverless이므로 인프라를 관리할 필요가 없으며, 이미 익숙한 AWS 서비스를 사용하여 생성형 AI 기능을 애플리케이션에 안전하게 통합하고 배포할 수 있습니다. 
pip install -qU langchain-aws

from langchain_aws import BedrockLLM

llm = BedrockLLM(
    credentials_profile_name="bedrock-admin", model_id="amazon.titan-text-express-v1"
)

​
Custom 모델

custom_llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    provider="cohere",
    model_id="<Custom model ARN>",  # ARN like 'arn:aws:bedrock:...' obtained via provisioning the custom model
    model_kwargs={"temperature": 1},
    streaming=True,
)

custom_llm.invoke(input="What is the recipe of mayonnaise?")

​
Guardrails for Amazon Bedrock

Guardrails for Amazon Bedrock은 사용 사례별 정책을 기반으로 사용자 입력 및 모델 응답을 평가하며, 기본 모델에 관계없이 추가적인 보호 계층을 제공합니다. Guardrails는 Anthropic Claude, Meta Llama 2, Cohere Command, AI21 Labs Jurassic, Amazon Titan Text를 포함한 여러 모델과 fine-tuned 모델에 적용할 수 있습니다. 참고: Guardrails for Amazon Bedrock은 현재 미리보기 단계이며 일반적으로 사용할 수 없습니다. 이 기능에 대한 액세스를 원하시면 일반적인 AWS Support 연락처를 통해 문의하시기 바랍니다. 이 섹션에서는 추적 기능을 포함하는 특정 guardrails를 사용하여 Bedrock language 모델을 설정합니다. 
from typing import Any

from langchain_core.callbacks import AsyncCallbackHandler


class BedrockAsyncCallbackHandler(AsyncCallbackHandler):
    # Async callback handler that can be used to handle callbacks from langchain.

    async def on_llm_error(self, error: BaseException, **kwargs: Any) -> Any:
        reason = kwargs.get("reason")
        if reason == "GUARDRAIL_INTERVENED":
            print(f"Guardrails: {kwargs}")


# Guardrails for Amazon Bedrock with trace
llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    model_id="<Model_ID>",
    model_kwargs={},
    guardrails={"id": "<Guardrail_ID>", "version": "<Version>", "trace": True},
    callbacks=[BedrockAsyncCallbackHandler()],
)
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I