이 가이드는 BeautifulSoup4 document loader 시작하기에 대한 간단한 개요를 제공합니다. 모든 __ModuleName__Loader 기능 및 구성에 대한 자세한 문서는 API reference를 참조하세요.

​
Overview

​
Integration details

ClassPackageLocalSerializableJS support
BSHTMLLoaderlangchain-community✅❌❌

​
Loader features

SourceDocument Lazy LoadingNative Async Support
BSHTMLLoader✅❌

​
Setup

BSHTMLLoader document loader에 접근하려면 langchain-community integration package와 bs4 python package를 설치해야 합니다.

​
Credentials

BSHTMLLoader class를 사용하는 데 필요한 credentials는 없습니다. 모델 호출의 자동 추적을 활성화하려면 LangSmith API key를 설정하세요: 
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

​
Installation

langchain-community와 bs4를 설치합니다. 
pip install -qU langchain-community bs4

​
Initialization

이제 model object를 인스턴스화하고 document를 로드할 수 있습니다:
  • TODO: 관련 params로 model instantiation을 업데이트하세요.
from langchain_community.document_loaders import BSHTMLLoader

loader = BSHTMLLoader(
    file_path="./example_data/fake-content.html",
)

​
Load

docs = loader.load()
docs[0]

Document(metadata={'source': './example_data/fake-content.html', 'title': 'Test Title'}, page_content='\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n')

print(docs[0].metadata)

{'source': './example_data/fake-content.html', 'title': 'Test Title'}

​
Lazy Load

page = []
for doc in loader.lazy_load():
    page.append(doc)
    if len(page) >= 10:
        # do some paged operation, e.g.
        # index.upsert(page)

        page = []
page[0]

Document(metadata={'source': './example_data/fake-content.html', 'title': 'Test Title'}, page_content='\nTest Title\n\n\nMy First Heading\nMy first paragraph.\n\n\n')

​
BS4에 separator 추가하기

soup에서 get_text를 호출할 때 사용할 separator를 전달할 수도 있습니다 
loader = BSHTMLLoader(
    file_path="./example_data/fake-content.html", get_text_separator=", "
)

docs = loader.load()
print(docs[0])

page_content='
, Test Title,
,
,
, My First Heading,
, My first paragraph.,
,
,
' metadata={'source': './example_data/fake-content.html', 'title': 'Test Title'}

​
API reference

모든 BSHTMLLoader 기능 및 구성에 대한 자세한 문서는 API reference를 참조하세요: python.langchain.com/api_reference/community/document_loaders/langchain_community.document_loaders.html_bs.BSHTMLLoader.html
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I