Hugging Face sentence-transformers는 최첨단 문장, 텍스트 및 이미지 embedding을 위한 Python framework입니다.
HuggingFaceEmbeddings class에서 이러한 embedding model을 사용할 수 있습니다.
로컬에서 sentence-transformers를 실행하는 것은 운영 체제 및 기타 전역 요인의 영향을 받을 수 있습니다. 숙련된 사용자에게만 권장됩니다.
Setup
langchain_huggingface package를 dependency로 설치해야 합니다:
pip install -qU langchain-huggingface
Usage
from langchain_huggingface import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")
text = "This is a test document."
query_result = embeddings.embed_query(text)
# show only the first 100 characters of the stringified vector
print(str(query_result)[:100] + "...")
[-0.038338568061590195, 0.12346471101045609, -0.028642969205975533, 0.05365273356437683, 0.008845377...
doc_result = embeddings.embed_documents([text, "This is not a test document."])
print(str(doc_result)[:100] + "...")
[[-0.038338497281074524, 0.12346471846103668, -0.028642890974879265, 0.05365274101495743, 0.00884535...
Troubleshooting
accelerate package를 찾을 수 없거나 import에 실패하는 문제가 발생하는 경우, 설치/업그레이드하면 도움이 될 수 있습니다:
pip install -qU accelerate
