개요

이 개요에서는 LangSmith 내에서 사용자, 조직, 워크스페이스를 관리하는 것과 관련된 주제를 다룹니다.

​

리소스 계층 구조

​

조직 (Organizations)

조직은 LangSmith 내에서 사용자를 논리적으로 그룹화한 것으로, 자체 결제 설정을 가집니다. 일반적으로 회사마다 하나의 조직이 있습니다. 한 조직은 여러 워크스페이스를 가질 수 있습니다. 자세한 내용은 설정 가이드를 참고하세요. 처음 로그인할 때, 개인 조직이 자동으로 생성됩니다. 다른 사람과 협업하고 싶다면 별도의 조직을 만들고 팀원을 초대할 수 있습니다. 개인 조직과 공유 조직에는 몇 가지 중요한 차이점이 있습니다:

기능	개인 조직	공유 조직
최대 워크스페이스 수	1	요금제에 따라 다름 (자세한 내용은 가격 페이지 참조)
협업	사용자 초대 불가	사용자 초대 가능
결제: 유료 요금제	개발자 요금제만 가능	모든 요금제 사용 가능

​

워크스페이스 (Workspaces)

워크스페이스는 조직 내에서 사용자와 리소스를 논리적으로 그룹화한 것입니다. 워크스페이스는 리소스와 접근 제어의 신뢰 경계를 분리합니다. 사용자는 워크스페이스 내에서 권한을 부여받아 해당 워크스페이스의 리소스(트레이싱 프로젝트, 데이터셋, 어노테이션 큐, 프롬프트 등)에 접근할 수 있습니다. 자세한 내용은 설정 가이드를 참고하세요. 조직 내 각 팀마다 별도의 워크스페이스를 만드는 것을 권장합니다. 리소스를 더 체계적으로 관리하려면 Resource Tags를 사용해 워크스페이스 내 리소스를 그룹화할 수 있습니다. 다음 이미지는 샘플 워크스페이스 설정 페이지를 보여줍니다: 다음 다이어그램은 조직, 워크스페이스, 그리고 워크스페이스 내에 범위가 지정된 다양한 리소스 간의 관계를 설명합니다: 아래 표는 각 범위(조직 또는 워크스페이스)에서 사용 가능한 기능을 자세히 보여줍니다:

리소스/설정	범위
트레이스 프로젝트	워크스페이스
어노테이션 큐	워크스페이스
배포	워크스페이스
데이터셋 & 실험	워크스페이스
프롬프트	워크스페이스
리소스 태그	워크스페이스
API 키	워크스페이스
시크릿, 피드백 설정, 모델, 규칙, 공유 URL 등 설정	워크스페이스
사용자 관리: 워크스페이스에 사용자 초대	워크스페이스
RBAC: 워크스페이스 역할 할당	워크스페이스
데이터 보존, 사용량 제한	워크스페이스*
요금제 및 결제, 크레딧, 인보이스	조직
사용자 관리: 조직에 사용자 초대	조직**
워크스페이스 추가	조직
조직 역할 할당	조직
RBAC: 커스텀 역할 생성/편집/삭제	조직

* 데이터 보존 설정과 사용량 제한은 곧 조직 수준에서도 제공될 예정입니다
** 셀프 호스팅 설치에서는 기능 플래그를 통해 워크스페이스 수준에서 조직에 사용자를 초대할 수 있습니다. 자세한 내용은 셀프 호스팅 사용자 관리 문서를 참고하세요.

​

리소스 태그 (Resource tags)

리소스 태그를 사용하면 워크스페이스 내에서 리소스를 체계적으로 관리할 수 있습니다. 각 태그는 리소스에 할당할 수 있는 key-value 쌍입니다. 태그는 UI와 API에서 워크스페이스 범위의 리소스(프로젝트, 데이터셋, 어노테이션 큐, 배포, 실험)를 필터링하는 데 사용할 수 있습니다. 새 워크스페이스에는 기본적으로 두 개의 태그 키가 제공됩니다: Application과 Environment. 이름에서 알 수 있듯이, 이 태그들은 리소스가 속한 애플리케이션과 환경에 따라 분류하는 데 사용할 수 있습니다. 필요에 따라 더 많은 태그를 추가할 수 있습니다. LangSmith의 리소스 태그는 AWS와 같은 클라우드 서비스의 태그와 매우 유사합니다.

​

사용자 관리 및 RBAC

​

사용자 (Users)

사용자는 LangSmith에 접근할 수 있는 사람입니다. 사용자는 하나 이상의 조직과 해당 조직 내 워크스페이스의 멤버가 될 수 있습니다. 조직 멤버는 조직 설정에서 관리합니다: 워크스페이스 멤버는 워크스페이스 설정에서 관리합니다:

​

API 키

​

만료 날짜

API 키를 생성할 때 만료 날짜를 설정할 수 있습니다. 키에 만료 날짜를 추가하면 보안이 강화되고 무단 접근 위험이 최소화됩니다. 예를 들어, 임시 작업에 대해 높은 권한이 필요한 경우 만료 날짜를 설정할 수 있습니다. 기본적으로 키는 만료되지 않습니다. 만료된 후에는 API 키가 더 이상 유효하지 않으며, 재활성화하거나 만료일을 수정할 수 없습니다.

​

개인 액세스 토큰 (PATs)

개인 액세스 토큰(PAT)은 LangSmith API에 요청을 인증하는 데 사용됩니다. 사용자가 직접 생성하며, 사용자 단위로 범위가 지정됩니다. PAT는 생성한 사용자와 동일한 권한을 가집니다. 애플리케이션에서 인증 용도로 사용하기보다는, 개인 스크립트나 LangSmith API와 상호작용하는 도구에 사용하는 것을 권장합니다. PAT와 연결된 사용자가 조직에서 제거되면 해당 PAT도 더 이상 동작하지 않습니다. PAT는 lsv2_pt_로 시작합니다.

​

서비스 키 (Service keys)

서비스 키는 PAT와 유사하지만, 서비스 계정의 이름으로 LangSmith API에 요청을 인증하는 데 사용됩니다. 서비스 키는 관리자만 생성할 수 있습니다. LangGraph 에이전트나 기타 통합 등 LangSmith API와 상호작용해야 하는 애플리케이션/서비스에 사용하는 것을 권장합니다. 서비스 키는 단일 워크스페이스, 여러 워크스페이스, 또는 전체 조직에 범위를 지정할 수 있으며, 접근 권한이 있는 워크스페이스에 대해 LangSmith API 요청을 인증하는 데 사용할 수 있습니다. 서비스 키는 lsv2_sk_로 시작합니다.

​

조직 역할 (Organization roles)

조직 역할은 아래의 엔터프라이즈 기능(RBAC)과는 별개이며, 여러 워크스페이스 환경에서 사용됩니다. 조직 역할은 워크스페이스 멤버십 특성과 조직 수준 권한을 결정합니다. 자세한 내용은 조직 설정 가이드를 참고하세요. 선택한 조직 역할은 워크스페이스 멤버십에도 영향을 미칩니다:

• Organization Admin은 모든 조직 설정, 사용자, 결제, 워크스페이스를 관리할 수 있는 전체 권한을 가집니다. Organization Admin은 조직 내 모든 워크스페이스에 대해 Admin 권한을 가집니다
• Organization User는 조직 정보를 읽을 수 있지만, 조직 수준에서 쓰기 작업을 수행할 수 없습니다. Organization User는 일부 워크스페이스에 추가되어 워크스페이스 역할을 할당받을 수 있습니다(RBAC가 활성화된 경우), 이는 워크스페이스 수준 권한을 지정합니다.

아래 표는 모든 조직 권한을 보여줍니다:

	Organization User	Organization Admin
조직 설정 보기	✅	✅
조직 역할 보기	✅	✅
조직 멤버 보기	✅	✅
데이터 보존 설정 보기	✅	✅
사용량 제한 보기	✅	✅
모든 워크스페이스에 대한 관리자 접근		✅
결제 설정 관리		✅
워크스페이스 생성		✅
조직 역할 생성, 편집, 삭제		✅
조직에 신규 사용자 초대		✅
사용자 초대 삭제		✅
조직에서 사용자 제거		✅
데이터 보존 설정 업데이트*		✅
사용량 제한 업데이트*		✅

​

워크스페이스 역할 (RBAC)

역할은 사용자가 워크스페이스 내에서 가지는 권한 집합을 정의하는 데 사용됩니다. 수정할 수 없는 세 가지 기본 시스템 역할이 있습니다:

• Admin - 워크스페이스 내 모든 리소스에 대한 전체 접근 권한
• Viewer - 워크스페이스 내 모든 리소스에 대한 읽기 전용 접근 권한
• Editor - 워크스페이스 관리(사용자 추가/제거, 역할 변경, 서비스 키 설정) 제외한 모든 권한

조직 관리자는 다양한 리소스에 대해 특정 권한을 가진 커스텀 역할을 생성/편집할 수 있습니다. 역할은 조직 설정의 Roles 탭에서 관리할 수 있습니다: 역할 할당 및 생성에 대한 자세한 내용은 접근 제어 설정 가이드를 참고하세요.

​

모범 사례

​

환경 분리

기본 태그 키 Environment와 환경별 값(예: dev, staging, prod)을 사용하여 리소스 태그로 환경별로 리소스를 조직하세요. 이러한 태그 구조는 현재 트레이싱 프로젝트를 체계적으로 관리할 수 있게 하며, 속성 기반 접근 제어(ABAC)가 출시되면 권한을 쉽게 적용할 수 있습니다. 리소스 태그 기반 ABAC는 예를 들어, 프로덕션 트레이싱 프로젝트에 대한 접근을 세밀하게 제한할 수 있습니다. 환경 분리를 위해 워크스페이스를 사용하는 것은 권장하지 않습니다. 워크스페이스 간 리소스 공유가 불가능하기 때문입니다. 만약 staging에서 prod로 프롬프트를 승격하고 싶다면 커밋 태그를 사용하는 것을 추천합니다. 자세한 내용은 문서를 참고하세요.

​

사용량 및 결제

​

데이터 보존

이 섹션에서는 LangSmith에서 데이터 보존이 어떻게 동작하며, 가격이 어떻게 책정되는지 설명합니다.

​

데이터 보존이 중요한 이유

• 프라이버시: GDPR(유럽), CCPA(캘리포니아) 등 많은 데이터 프라이버시 규정에서는 수집 목적이 끝난 후 개인정보를 삭제할 것을 요구합니다. 보존 기간을 설정하면 이러한 규정 준수에 도움이 됩니다.
• 비용: LangSmith는 데이터 보존 기간이 짧은 트레이스에 대해 더 저렴한 요금을 부과합니다. 자세한 내용은 비용 최적화 튜토리얼을 참고하세요.

​

동작 방식

LangSmith는 데이터 보존에 따라 두 가지 트레이스 티어를 제공합니다:

	기본(Base)	확장(Extended)
가격	$.50 / 1k 트레이스	$5 / 1k 트레이스
보존 기간	14일	400일

보존 기간 종료 후 데이터 삭제 지정된 보존 기간이 끝나면, 트레이스는 트레이싱 프로젝트 UI나 API에서 더 이상 접근할 수 없습니다. 트레이스와 관련된 모든 사용자 데이터(예: 입력 및 출력)는 그 다음날 내부 시스템에서 삭제됩니다. 각 트레이스와 관련된 일부 메타데이터는 분석 및 결제 목적으로 무기한 보존될 수 있습니다. 데이터 보존 자동 업그레이드 일부 기능을 base 티어 트레이스에서 사용할 경우, 데이터 보존이 자동으로 extended 티어로 업그레이드됩니다. 이로 인해 보존 기간과 트레이스 비용이 모두 증가합니다. 트레이스가 업그레이드되는 모든 시나리오 목록:

• 피드백이 트레이스의 어떤 실행(run)에 추가된 경우(스레드 내 모든 트레이스 포함), 수동 어노테이션, 온라인 평가자, 또는 SDK를 통한 프로그래밍 방식 등 방식에 관계없이 적용됩니다.
• **어노테이션 큐**가 트레이스의 어떤 실행(run)을 받는 경우
• **자동화 규칙**이 트레이스 내 어떤 실행(run)에 매칭되는 경우

트레이스 자동 업그레이드 이유 자동 업그레이드 모델을 채택한 이유는 두 가지입니다:

1. 이러한 조건을 만족하는 트레이스는 본질적으로 더 흥미롭다고 생각하며, 사용자가 더 오래 보관할 수 있도록 하는 것이 좋다고 판단했습니다.
2. 의미 있는 상호작용이 없는 트레이스에 대해서는 훨씬 낮은 가격을 부과하고자 합니다. 자동 업그레이드는 LangSmith의 가치와 가격 모델을 일치시키는 방식입니다. 즉, 의미 있는 상호작용이 있는 트레이스만 더 높은 요금이 부과됩니다.

가격 모델에 대해 궁금한 점이나 의견이 있다면 [email protected]로 연락해 주세요! 데이터 보존이 다운스트림 기능에 미치는 영향

• 어노테이션 큐, 실행 규칙, 피드백: 이러한 기능을 사용하는 트레이스는 자동 업그레이드됩니다.
• 모니터링: 기본 티어 트레이스의 데이터 보존 기간이 끝난 후에도 모니터링 탭은 계속 동작합니다. 30일 이상 유지되는 트레이스 메타데이터를 기반으로 하므로, 기본 티어 트레이스에서도 모니터링 그래프가 정확하게 유지됩니다.
• 데이터셋: 데이터셋은 무기한 데이터 보존 기간을 가집니다. 즉, 트레이스의 입력과 출력을 데이터셋에 추가하면 절대 삭제되지 않습니다. LangSmith를 데이터 수집 용도로 사용하는 경우 데이터셋 기능을 적극 활용하세요.

​

결제 모델

과금 지표 LangSmith 인보이스에는 두 가지 과금 지표가 표시됩니다:

• LangSmith 트레이스(기본 요금)
• LangSmith 트레이스(확장 데이터 보존 업그레이드)

첫 번째 지표는 티어와 관계없이 모든 트레이스를 포함합니다. 두 번째 지표는 확장 보존 트레이스만 집계합니다. 기본 + 업그레이드로 측정하는 이유 가격 모델을 고려할 때, 인보이스에 base 티어와 extended 티어 트레이스 수를 직접 표시하지 않는 이유가 궁금할 수 있습니다. 이 방식이 더 직관적일 수 있지만, 트레이스 업그레이드 상황을 제대로 반영하지 못합니다. 예를 들어, 6월 30일에 기록된 base 티어 트레이스가 7월 3일에 extended 티어로 업그레이드된 경우, base 티어 트레이스는 6월 결제 기간에, 업그레이드는 7월 결제 기간에 발생합니다. 따라서 두 이벤트를 독립적으로 측정해야 정확한 과금이 가능합니다. 트레이스가 처음부터 확장 보존 트레이스로 기록된 경우, base와 extended 지표 모두 동일한 타임스탬프로 기록됩니다. 비용 분해 기본 요금은 트레이스당 0.05¢입니다. 업그레이드 가격은 기본 티어 트레이스의 10배(트레이스당 0.50¢)로 책정되어 있으며, 두 지표 모두 포함됩니다. 즉, 업그레이드당 0.45¢가 추가됩니다.

​

속도 제한 (Rate Limits)

LangSmith는 모든 사용자의 서비스 안정성을 위해 속도 제한을 적용합니다. 접근 및 안정성을 보장하기 위해, LangSmith는 다음과 같은 상황에서 HTTP 상태 코드 429(속도 또는 사용량 제한 초과)를 반환합니다:

​

시나리오

1분 단위 임시 처리량 제한 (애플리케이션 로드 밸런서 기준)

이 429는 API 키/액세스 토큰별로 1분 동안 고정된 API 호출 횟수를 초과할 때 발생합니다. 윈도우의 시작 시점은 약간씩 다를 수 있으며, 애플리케이션 배포 이벤트에 따라 변경될 수 있습니다. 최대 이벤트가 수신되면, 평가 윈도우 시작 후 60초가 될 때까지 429를 반환하며, 이후 프로세스가 반복됩니다. 이 429는 모든 LangSmith 사용자(요금제와 무관)에 대해 서비스 연속성을 보장하기 위한 애플리케이션 로드 밸런서의 메커니즘입니다.

메서드	엔드포인트	제한	윈도우
DELETE	Sessions	30	1분
POST 또는 PATCH	Runs	5000	1분
POST	Feedback	5000	1분
*	*	2000	1분

요금제별 시간당 트레이스 이벤트 제한

이 429는 시간당 최대 이벤트 수에 도달했을 때 발생하며, UTC 기준 매 시각 0분에 윈도우가 시작되고, 매 시간마다 초기화됩니다. 이벤트란 실행(run)의 생성 또는 업데이트를 의미합니다. 즉, 실행이 생성된 후 같은 시간 윈도우 내에서 업데이트되면 2개의 이벤트로 집계됩니다. 이 제한은 애플리케이션에서 발생하며, 요금제에 따라 다릅니다. Startup/Plus 및 Enterprise 요금제는 Free 및 Developer 요금제(개인용)보다 더 높은 시간당 제한을 가집니다.

요금제	제한	윈도우
Developer(결제 정보 없음)	50,000 이벤트	1시간
Developer(결제 정보 있음)	250,000 이벤트	1시간
Startup/Plus	500,000 이벤트	1시간
Enterprise	커스텀	커스텀

요금제별 시간당 트레이스 데이터 인입 제한

이 429는 트레이스 입력, 출력, 메타데이터의 인입 데이터 총량이 시간당 최대치를 초과할 때 발생하며, UTC 기준 매 시각 0분에 윈도우가 시작되고, 매 시간마다 초기화됩니다. 일반적으로 입력, 출력, 메타데이터는 실행 생성 및 업데이트 이벤트 모두에서 전송됩니다. 예를 들어, 실행이 생성 시 2.0MB, 같은 시간 윈도우 내 업데이트 시 3.0MB라면 총 5.0MB가 집계됩니다. 이 제한은 애플리케이션에서 발생하며, 요금제에 따라 다릅니다. Startup/Plus 및 Enterprise 요금제는 Free 및 Developer 요금제(개인용)보다 더 높은 시간당 제한을 가집니다.

요금제	제한	윈도우
Developer(결제 정보 없음)	500MB	1시간
Developer(결제 정보 있음)	2.5GB	1시간
Startup/Plus	5.0GB	1시간
Enterprise	커스텀	커스텀

요금제별 월간 고유 트레이스 제한

이 429는 월간 최대 트레이스 수에 도달했을 때 발생하며, UTC 기준 매월 1일에 윈도우가 시작되고, 매월 초기화됩니다. 이 제한은 애플리케이션에서 발생하며, 결제 정보가 없는 Developer 요금제에만 적용됩니다.

요금제	제한	윈도우
Developer(결제 정보 없음)	5,000 트레이스	1개월

자체 설정 월간 사용량 제한

이 429는 조직 관리자가 설정한 사용량 제한에 도달했을 때 발생하며, UTC 기준 매월 1일에 윈도우가 시작되고, 매월 초기화됩니다. 이 제한은 조직별 설정에 따라 다릅니다.

​

애플리케이션에서 429 응답 처리

일부 429 응답은 일시적이므로, LangSmith API를 직접 호출하는 애플리케이션에서는 지수 백오프와 지터를 적용한 재시도 로직을 구현하는 것이 좋습니다. 편의를 위해, LangSmith SDK를 사용하는 LangChain 애플리케이션에는 이 기능이 내장되어 있습니다.

​

사용량 제한 (Usage Limits)

LangSmith는 트레이싱에 대한 사용량 제한을 설정할 수 있습니다. 이는 사용량 제한이며, 비용 제한이 아닙니다. 즉, 특정 이벤트 발생 횟수를 제한할 수 있지만, 총 지출 금액을 제한하는 것은 아닙니다. LangSmith는 앞서 설명한 데이터 보존 가이드의 과금 지표와 동일하게 두 가지 월간 제한을 설정할 수 있습니다:

• 전체 트레이스 제한
• 확장 데이터 보존 트레이스 제한

이를 통해 전체 트레이스 수와 확장 데이터 보존 트레이스 수를 각각 제한할 수 있습니다.

​

사용량 제한의 특성

사용량 제한은 근사치로 적용되므로, 정확한 제한을 보장하지 않습니다. 드물게 제한 임계값을 초과한 트레이스가 처리된 후 제한이 적용되는 경우가 있을 수 있습니다.

​

확장 데이터 보존 트레이스 제한의 부작용

확장 데이터 보존 트레이스 제한에 도달하면, 트레이스 티어 자동 업그레이드를 유발할 수 있는 모든 기능이 비활성화됩니다. 자동 업그레이드가 새로운 확장 보존 트레이스를 생성하게 되므로, 제한을 초과해서는 안 되기 때문입니다. 따라서 다음 기능을 더 이상 사용할 수 없습니다:

1. 실행 규칙 매칭
2. 트레이스에 피드백 추가
3. 어노테이션 큐에 실행 추가

각 기능은 자동 업그레이드를 유발할 수 있으므로, 제한 도달 시 비활성화됩니다.

​

사용량 제한 업데이트

사용량 제한은 Settings 페이지의 Usage and Billing에서 업데이트할 수 있습니다. 제한 값은 캐시되므로, 새로운 제한이 적용되기까지 1~2분 정도 소요될 수 있습니다.

​

관련 콘텐츠

• 비용 최적화 튜토리얼

​

추가 자료

• 릴리즈 버전: LangSmith의 버전 지원 정책(Active, Critical, End of Life, Deprecated)에 대해 알아보세요.

---