Meta AI의 LASER Language-Agnostic SEntence Representations Embeddings

LASER는 Meta AI Research 팀이 개발한 Python 라이브러리로, 2024년 2월 25일 기준 147개 이상의 언어에 대한 다국어 문장 임베딩을 생성하는 데 사용됩니다

• 지원되는 언어 목록은 github.com/facebookresearch/flores/blob/main/flores200/README.md#languages-in-flores-200에서 확인할 수 있습니다

​

Dependencies

pip install laser_encoders

​

Imports

from langchain_community.embeddings.laser import LaserEmbeddings

​

Laser 인스턴스화

​

Parameters

• lang: Optional[str]

  비어 있으면 기본적으로 다국어 LASER encoder model(“laser2”라고 함)을 사용합니다. 지원되는 언어 및 lang_codes 목록은 여기와 여기에서 확인할 수 있습니다 .

# Ex Instantiationz
embeddings = LaserEmbeddings(lang="eng_Latn")

​

Usage

​

document embedding 생성

document_embeddings = embeddings.embed_documents(
    ["This is a sentence", "This is some other sentence"]
)

​

query embedding 생성

query_embeddings = embeddings.embed_query("This is a query")