Konko

Konko AI는 애플리케이션 개발자를 돕기 위한 완전 관리형 API를 제공합니다

1. 애플리케이션에 적합한 오픈 소스 또는 독점 LLM을 선택
2. 주요 애플리케이션 프레임워크와의 통합 및 완전 관리형 API를 통해 더 빠르게 애플리케이션 구축
3. 더 작은 오픈 소스 LLM을 미세 조정하여 비용의 일부로 업계 최고 수준의 성능 달성
4. Konko AI의 SOC 2 준수 멀티 클라우드 인프라를 사용하여 인프라 설정이나 관리 없이 보안, 개인정보 보호, 처리량 및 지연 시간 SLA를 충족하는 프로덕션 규모 API 배포

​

Installation and Setup

1. 웹 앱에 로그인하여 API 키를 생성하고 chat completions 및 completions를 위한 엔드포인트를 통해 모델에 액세스하세요.
2. Python3.8+ 환경을 활성화하세요
3. SDK를 설치하세요

pip install konko

4. API Key를 환경 변수로 설정하세요(KONKO_API_KEY,OPENAI_API_KEY)

export KONKO_API_KEY={your_KONKO_API_KEY_here}
export OPENAI_API_KEY={your_OPENAI_API_KEY_here} #Optional

​

LLM

​

Endpoint 사용 예제

• mistralai/Mistral-7B-v0.1을 사용한 Completion:
  Copy

  from langchain_community.llms import Konko
  llm = Konko(max_tokens=800, model='mistralai/Mistral-7B-v0.1')
  prompt = "Generate a Product Description for Apple Iphone 15"
  response = llm.invoke(prompt)
  

​

Chat Models

• Mistral-7B를 사용한 ChatCompletion:
  Copy

  from langchain.messages import HumanMessage
  from langchain_community.chat_models import ChatKonko
  chat_instance = ChatKonko(max_tokens=10, model = 'mistralai/mistral-7b-instruct-v0.1')
  msg = HumanMessage(content="Hi")
  chat_response = chat_instance([msg])