- 부정적인 피드백이 있는 모든 trace를 사람이 검토할 수 있도록 annotation queue로 전송
- 모든 trace의 10%를 annotation queue로 전송하여 사람이 검토하고 문제를 발견
- 오류가 있는 모든 trace를 확장된 데이터 보존 기간으로 업그레이드
온라인 평가를 구성하려면 온라인 평가 페이지를 방문하세요.
automation 규칙이 trace 내의 어떤 run과 일치하면, 해당 trace는 자동으로 확장된 데이터 보존 기간으로 업그레이드됩니다. 이 업그레이드는 trace 가격에 영향을 미치지만, automation 기준을 충족하는 trace(일반적으로 분석에 가장 가치 있는 trace)가 조사를 위해 보존되도록 보장합니다.
Automation 규칙 보기
Tracing Projects 탭으로 이동하여 tracing project를 선택합니다. 해당 tracing project의 기존 automation 규칙을 보려면 Automations 탭을 클릭합니다.
규칙 생성하기
1. 규칙 생성으로 이동
Tracing Projects 탭으로 이동하여 tracing project를 선택합니다. tracing project 페이지의 오른쪽 상단에 있는 + New를 클릭한 다음 New Automation을 클릭합니다.2. 규칙 이름 지정
3. Filter 생성
Automation 규칙 filter는 프로젝트의 trace에 적용되는 filter와 동일한 방식으로 작동합니다. filter에 대한 자세한 내용은 이 가이드를 참조하세요.4. Sampling rate 구성
Sampling rate를 구성하여 automation action을 트리거하는 필터링된 run의 비율을 제어합니다. automation에 대해 0에서 1 사이의 sampling rate를 지정할 수 있습니다. 이는 automation action으로 전송되는 필터링된 run의 비율을 제어합니다. 예를 들어, sampling rate를 0.5로 설정하면 filter를 통과한 trace의 50%가 action으로 전송됩니다.5. (선택사항) 과거 run에 규칙 적용
Apply to past runs를 토글하고 “Backfill from” 날짜를 입력하여 과거 run에 규칙을 적용합니다. 이는 규칙 생성 시에만 가능합니다. 참고: backfill은 백그라운드 작업으로 처리되므로 결과가 즉시 표시되지 않습니다. backfill의 진행 상황을 추적하려면 automation 로그를 확인할 수 있습니다.6. 규칙이 적용될 때 트리거할 action 선택
Automation 규칙으로 수행할 수 있는 네 가지 action이 있습니다:- Add to dataset: trace의 input과 output을 dataset에 추가합니다.
- Add to annotation queue: trace를 annotation queue에 추가합니다.
- Trigger webhook: trace 데이터로 webhook을 트리거합니다. webhook에 대한 자세한 내용은 이 가이드를 참조하세요.
- Extend data retention: 기본 보존 기간을 사용하는 일치하는 trace의 데이터 보존 기간을 연장합니다 (자세한 내용은 데이터 보존 문서 참조). 다른 모든 규칙도 앞서 언급한 데이터 보존 문서에 설명된 자동 업그레이드 메커니즘을 통해 일치하는 trace의 데이터 보존 기간을 연장하지만, 이 규칙은 추가 작업을 수행하지 않습니다.
Automation 로그 보기
로그를 통해 규칙이 예상대로 작동하는지 확인할 수 있습니다. tracing project 내의 Automations 탭으로 이동하여 생성한 규칙의 Logs 버튼을 클릭하면 automation 로그를 볼 수 있습니다. 로그 탭에서 다음을 수행할 수 있습니다:- 선택한 기간 동안 특정 규칙에 의해 처리된 모든 run 보기
- 특정 규칙 실행에서 오류가 발생한 경우 오류 아이콘 위로 마우스를 가져가면 오류 메시지를 볼 수 있습니다
- 규칙의 생성 타임스탬프로 필터링하여 backfill 작업의 진행 상황을 모니터링할 수 있습니다. 이는 backfill이 규칙이 생성된 시점부터 시작되기 때문입니다.
- View run 버튼을 사용하여 automation 규칙이 적용된 run을 검사합니다. dataset에 run을 example로 추가하는 규칙의 경우 생성된 example을 볼 수 있습니다.
비디오 가이드
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.