ScrapeGraph AI는 AI 기반 웹 스크래핑 기능을 제공하는 서비스입니다. 자연어 프롬프트를 사용하여 구조화된 데이터 추출, 웹페이지를 마크다운으로 변환, 로컬 HTML 콘텐츠 처리를 위한 도구를 제공합니다.

​
Installation and Setup

필요한 패키지를 설치합니다: 
pip install langchain-scrapegraph
API key를 설정합니다: 
export SGAI_API_KEY="your-scrapegraph-api-key"

​
Tools

사용 예제를 참조하세요. 사용 가능한 네 가지 도구가 있습니다: 
from langchain_scrapegraph.tools import (
    SmartScraperTool,    # Extract structured data from websites
    SmartCrawlerTool,    # Extract data from multiple pages with crawling
    MarkdownifyTool,     # Convert webpages to markdown
    AgenticScraperTool,  # Extract specifying steps
    GetCreditsTool,      # Check remaining API credits
)
각 도구는 특정 목적을 제공합니다:
  • SmartScraperTool: URL, 프롬프트 및 선택적 출력 스키마를 사용하여 웹사이트에서 구조화된 데이터 추출
  • SmartCrawlerTool: 깊이 제어, 페이지 제한, 도메인 제한과 같은 고급 크롤링 옵션으로 여러 페이지에서 데이터 추출
  • MarkdownifyTool: 모든 웹페이지를 깔끔한 마크다운 형식으로 변환
  • AgenticScraperTool: 단계를 지정하여 데이터 추출
  • GetCreditsTool: 남은 ScrapeGraph AI 크레딧 확인
Edit the source of this page on GitHub.
Connect these docs programmatically to Claude, VSCode, and more via MCP for real-time answers.
⌘I