외부 ClickHouse 데이터베이스에 연결하기

• LangSmith 관리형 ClickHouse
• 직접 또는 클라우드 제공업체 마켓플레이스를 통해 ClickHouse Cloud를 프로비저닝:
  • Azure Marketplace
  • Google Cloud Marketplace
  • AWS Marketplace
• 클라우드 제공업체의 VM에서

​

Requirements

• LangSmith 애플리케이션이 네트워크 액세스할 수 있는 프로비저닝된 ClickHouse 인스턴스(옵션은 위 참조).
• ClickHouse 데이터베이스에 대한 관리자 액세스 권한이 있는 사용자. 이 사용자는 필요한 테이블, 인덱스 및 뷰를 생성하는 데 사용됩니다.
• 독립형 ClickHouse와 외부 관리형 클러스터 배포를 모두 지원합니다. 클러스터 배포의 경우 모든 노드가 동일한 버전을 실행하고 있는지 확인하세요. 번들 ClickHouse 설치에서는 클러스터 설정이 지원되지 않습니다.
• ClickHouse 버전 >= 23.9만 지원합니다. ClickHouse 버전 >= 24.2를 사용하려면 LangSmith v0.6 이상이 필요합니다.
• ClickHouse 인스턴스에 설정해야 하는 몇 가지 구성 매개변수에 의존합니다. 자세한 내용은 아래와 같습니다:

<profiles>
  <default>
      <async_insert>1</async_insert> # Turn on async insert
      <async_insert_max_data_size>25000000</async_insert_max_data_size> # Flush data to disk after 25MB. You may need to adjust this based on your workload.
      <wait_for_async_insert>0</wait_for_async_insert> # Disable waiting for async insert by default
      <parallel_view_processing>1</parallel_view_processing> # Enable parallel view processing
      <materialize_ttl_after_modify>0</materialize_ttl_after_modify> # Disable TTL materialization after modify
      <wait_for_async_insert_timeout>120</wait_for_async_insert_timeout> # Set the timeout for waiting for async insert
      <lightweight_deletes_sync>0</lightweight_deletes_sync> # Disable lightweight deletes sync
      <allow_materialized_view_with_bad_select>1</allow_materialized_view_with_bad_select> # Allow materialized views with legacy SELECT statements that cause CH to fail
  </default>
</profiles>

​

HA Replicated Clickhouse Cluster

• 데이터 복제를 위해 Keeper 또는 Zookeeper로 설정되고 적절한 설정이 있는 Clickhouse 클러스터가 필요합니다. Clickhouse Replication Setup Docs를 참조하세요.
• LangSmith Configuration 섹션에서 cluster 설정, 특히 cluster 설정을 Clickhouse Cluster 이름과 일치하도록 설정해야 합니다. 이렇게 하면 Clickhouse migration을 실행할 때 Replicated 테이블 엔진을 사용합니다.
• HA 외에도 Clickhouse 노드 간에 로드 밸런싱을 하려면(읽기 또는 쓰기를 분산하기 위해) 로드 밸런서 또는 DNS 로드 밸런싱을 사용하여 Clickhouse 서버 간에 라운드 로빈하는 것이 좋습니다.
• 참고: LangSmith를 처음 시작하고 Clickhouse migration을 실행하기 전에 cluster 설정을 활성화해야 합니다. 테이블 엔진이 복제되지 않은 엔진 유형이 아닌 Replicated 테이블 엔진으로 생성되어야 하므로 이는 필수 요구 사항입니다.

​

LangSmith 관리형 ClickHouse

• LangSmith 관리형 ClickHouse를 사용하는 경우 LangSmith VPC와 ClickHouse VPC 간에 VPC peering 연결을 설정해야 합니다. 자세한 내용은 [email protected]로 문의하세요.
• Blob Storage도 설정해야 합니다. Blob Storage에 대한 자세한 내용은 Blob Storage documentation에서 확인할 수 있습니다.

​

Parameters

• Host: ClickHouse 데이터베이스의 호스트 이름 또는 IP 주소
• HTTP Port: ClickHouse 데이터베이스가 HTTP 연결을 수신하는 포트
• Native Port: ClickHouse 데이터베이스가 native connections을 수신하는 포트
• Database: LangSmith가 사용해야 하는 ClickHouse 데이터베이스의 이름
• Username: ClickHouse 데이터베이스에 연결하는 데 사용할 사용자 이름
• Password: ClickHouse 데이터베이스에 연결하는 데 사용할 비밀번호
• Cluster (선택 사항): 외부 Clickhouse 클러스터를 사용하는 경우 ClickHouse 클러스터의 이름. 설정하면 LangSmith는 클러스터에서 migration을 실행하고 인스턴스 간에 데이터를 복제합니다.

​

Configuration

clickhouse:
  external:
    enabled: true
    host: "host"
    port: "http port"
    nativePort: "native port"
    user: "default"
    password: "password"
    database: "default"
    tls: false
    cluster: "my_cluster_name"  # Optional: Set this if using an external Clickhouse cluster