Studio에서의 관찰 가능성

• Prompt 반복 작업: Graph node 내부의 prompt를 직접 수정하거나 LangSmith playground를 사용하여 수정합니다.
• Dataset에 대한 실험 실행: LangSmith dataset에 대해 assistant를 실행하여 결과를 점수화하고 비교합니다.
• LangSmith trace 디버그: 추적된 실행을 Studio로 가져오고 선택적으로 로컬 agent로 복제합니다.
• Dataset에 node 추가: Thread 기록의 일부를 평가 또는 추가 분석을 위한 dataset 예제로 변환합니다.

​

Prompt 반복 작업

• 직접 node 편집
• Playground 인터페이스

​

직접 node 편집

​

Graph Configuration

langgraph_nodes

• 설명: Configuration 필드가 연결된 graph의 node를 지정합니다.
• 값 타입: 문자열 배열, 각 문자열은 graph의 node 이름입니다.
• 사용 컨텍스트: Pydantic model의 json_schema_extra 딕셔너리 또는 dataclass의 metadata["json_schema_extra"] 딕셔너리에 포함합니다.
• 예제:
  Copy

  system_prompt: str = Field(
      default="You are a helpful AI assistant.",
      json_schema_extra={"langgraph_nodes": ["call_model", "other_node"]},
  )
  

langgraph_type

• 설명: Configuration 필드의 타입을 지정하며, UI에서 처리되는 방식을 결정합니다.
• 값 타입: 문자열
• 지원되는 값:
  • "prompt": 필드에 UI에서 특별히 처리되어야 하는 prompt 텍스트가 포함되어 있음을 나타냅니다.
• 사용 컨텍스트: Pydantic model의 json_schema_extra 딕셔너리 또는 dataclass의 metadata["json_schema_extra"] 딕셔너리에 포함합니다.
• 예제:
  Copy

  system_prompt: str = Field(
      default="You are a helpful AI assistant.",
      json_schema_extra={
          "langgraph_nodes": ["call_model"],
          "langgraph_type": "prompt",
      },
  )
  

## Using Pydantic
from pydantic import BaseModel, Field
from typing import Annotated, Literal

class Configuration(BaseModel):
    """The configuration for the agent."""

    system_prompt: str = Field(
        default="You are a helpful AI assistant.",
        description="The system prompt to use for the agent's interactions. "
        "This prompt sets the context and behavior for the agent.",
        json_schema_extra={
            "langgraph_nodes": ["call_model"],
            "langgraph_type": "prompt",
        },
    )

    model: Annotated[
        Literal[
            "anthropic/claude-sonnet-4-5",
            "anthropic/claude-3-5-haiku-latest",
            "openai/o1",
            "openai/gpt-4o-mini",
            "openai/o1-mini",
            "openai/o3-mini",
        ],
        {"__template_metadata__": {"kind": "llm"}},
    ] = Field(
        default="openai/gpt-4o-mini",
        description="The name of the language model to use for the agent's main interactions. "
        "Should be in the form: provider/model-name.",
        json_schema_extra={"langgraph_nodes": ["call_model"]},
    )

## Using Dataclasses
from dataclasses import dataclass, field

@dataclass(kw_only=True)
class Configuration:
    """The configuration for the agent."""

    system_prompt: str = field(
        default="You are a helpful AI assistant.",
        metadata={
            "description": "The system prompt to use for the agent's interactions. "
            "This prompt sets the context and behavior for the agent.",
            "json_schema_extra": {"langgraph_nodes": ["call_model"]},
        },
    )

    model: Annotated[str, {"__template_metadata__": {"kind": "llm"}}] = field(
        default="anthropic/claude-3-5-sonnet-20240620",
        metadata={
            "description": "The name of the language model to use for the agent's main interactions. "
            "Should be in the form: provider/model-name.",
            "json_schema_extra": {"langgraph_nodes": ["call_model"]},
        },
    )

​

UI에서 prompt 편집

1. 관련 configuration 필드가 있는 node에서 톱니바퀴 아이콘을 찾습니다.
2. 클릭하여 configuration 모달을 엽니다.
3. 값을 편집합니다.
4. 저장하여 현재 assistant 버전을 업데이트하거나 새 버전을 생성합니다.

​

Playground

1. Thread를 선택합니다.
2. Node에서 View LLM Runs를 클릭합니다. 이렇게 하면 node 내부에서 수행된 모든 LLM 호출(있는 경우)이 나열됩니다.
3. LLM 실행을 선택하여 playground에서 엽니다.
4. Prompt를 수정하고 다양한 model 및 tool 설정을 테스트합니다.
5. 업데이트된 prompt를 graph로 다시 복사합니다.

​

Dataset에 대한 실험 실행

​

전제 조건

• LangSmith dataset: Dataset에는 테스트하려는 입력과 선택적으로 비교를 위한 참조 출력이 포함되어야 합니다. 입력의 schema는 assistant에 필요한 입력 schema와 일치해야 합니다. Schema에 대한 자세한 내용은 여기를 참조하세요. Dataset 생성에 대한 자세한 내용은 How to Manage Datasets를 참조하세요.
• (선택 사항) Evaluator: LangSmith의 dataset에 evaluator(예: LLM-as-a-Judge, heuristic 또는 custom function)를 연결할 수 있습니다. 이들은 graph가 모든 입력을 처리한 후 자동으로 실행됩니다.
• 실행 중인 애플리케이션: 실험은 다음에 대해 실행할 수 있습니다:
  • LangSmith에 배포된 애플리케이션.
  • langgraph-cli를 통해 시작된 로컬에서 실행 중인 애플리케이션.

​

실험 설정

1. 실험을 시작합니다. Studio 페이지의 오른쪽 상단에 있는 Run experiment 버튼을 클릭합니다.
2. Dataset을 선택합니다. 나타나는 모달에서 실험에 사용할 dataset(또는 특정 dataset split)을 선택하고 Start를 클릭합니다.
3. 진행 상황을 모니터링합니다. Dataset의 모든 입력이 이제 활성 assistant에 대해 실행됩니다. 오른쪽 상단의 배지를 통해 실험 진행 상황을 모니터링합니다.
4. 실험이 백그라운드에서 실행되는 동안 Studio에서 계속 작업할 수 있습니다. 언제든지 화살표 아이콘 버튼을 클릭하여 LangSmith로 이동하고 자세한 실험 결과를 확인할 수 있습니다.

​

LangSmith trace 디버그

​

배포된 thread 열기

1. LangSmith trace를 열고 root run을 선택합니다.
2. Run in Studio를 클릭합니다.

​

원격 trace로 로컬 agent 테스트

​

전제 조건

• LangSmith로 추적된 thread
• 로컬에서 실행 중인 agent.

​

Thread 복제

1. LangSmith trace를 열고 root run을 선택합니다.
2. Run in Studio 옆의 드롭다운을 클릭합니다.
3. 로컬 agent의 URL을 입력합니다.
4. Clone thread locally를 선택합니다.
5. 여러 graph가 있는 경우 대상 graph를 선택합니다.

​

Dataset에 node 추가

1. Thread를 선택합니다.
2. Add to Dataset을 클릭합니다.
3. Dataset에 추가하려는 입력/출력이 있는 node를 선택합니다.
4. 선택한 각 node에 대해 예제를 생성할 대상 dataset을 선택합니다. 기본적으로 특정 assistant 및 node에 대한 dataset이 선택됩니다. 이 dataset이 아직 존재하지 않으면 생성됩니다.
5. Dataset에 추가하기 전에 필요에 따라 예제의 입력/출력을 편집합니다.
6. 페이지 하단의 Add to dataset을 선택하여 선택한 모든 node를 각각의 dataset에 추가합니다.