pairwise evaluation 실행 방법

​

사전 요구사항

• 비교할 experiment를 아직 생성하지 않았다면, 빠른 시작 또는 사용 방법 가이드를 확인하여 evaluation을 시작하세요.
• 이 가이드는 langsmith Python 버전 >=0.2.0 또는 JS 버전 >=0.2.9가 필요합니다.

​

evaluate() comparative args

​

Pairwise evaluator 정의

​

Evaluator args

• inputs: dict: dataset의 단일 example에 해당하는 input의 dictionary입니다.
• outputs: list[dict]: 주어진 input에 대해 각 experiment가 생성한 dict output의 두 항목 목록입니다.
• reference_outputs / referenceOutputs: dict: 사용 가능한 경우 example과 연결된 reference output의 dictionary입니다.
• runs: list[Run]: 주어진 example에 대해 두 experiment가 생성한 전체 Run 객체의 두 항목 목록입니다. 각 run의 중간 단계 또는 metadata에 액세스해야 하는 경우 사용합니다.
• example: Example: example input, output(사용 가능한 경우) 및 metadata(사용 가능한 경우)를 포함한 전체 dataset Example입니다.

​

Evaluator output

• dict: 다음 키를 가진 dictionary:
  • key, 로그될 feedback key를 나타냅니다
  • scores, run ID에서 해당 run의 점수로의 매핑입니다.
  • comment, 문자열입니다. 모델 추론에 가장 일반적으로 사용됩니다.

• list[int | float | bool]: 점수의 두 항목 목록입니다. 목록은 runs / outputs evaluator args와 동일한 순서를 가진다고 가정합니다. evaluator 함수 이름이 feedback key로 사용됩니다.

​

Pairwise evaluation 실행

• Python: langsmith>=0.2.0 필요
• TypeScript: langsmith>=0.2.9 필요

from langchain_classic import hub
from langchain.chat_models import init_chat_model
from langsmith import evaluate

# See the prompt: https://smith.langchain.com/hub/langchain-ai/pairwise-evaluation-2
prompt = hub.pull("langchain-ai/pairwise-evaluation-2")
model = init_chat_model("gpt-4o")
chain = prompt | model

def ranked_preference(inputs: dict, outputs: list[dict]) -> list:
    # Assumes example inputs have a 'question' key and experiment
    # outputs have an 'answer' key.
    response = chain.invoke({
        "question": inputs["question"],
        "answer_a": outputs[0].get("answer", "N/A"),
        "answer_b": outputs[1].get("answer", "N/A"),
    })
    if response["Preference"] == 1:
        scores = [1, 0]
    elif response["Preference"] == 2:
        scores = [0, 1]
    else:
        scores = [0, 0]
    return scores

evaluate(
    ("experiment-1", "experiment-2"),  # Replace with the names/IDs of your experiments
    evaluators=[ranked_preference],
    randomize_order=True,
    max_concurrency=4,
)

​

Pairwise experiment 보기