BBoilerplate

큐레이션

Firecrawl

웹 검색·스크래핑·상호작용을 AI가 사용할 수 있는 Markdown·구조화 데이터로 바꾸는 API

TypeScript157k+
Firecrawl 대표 이미지

요약

Firecrawl은 웹을 검색하고, 페이지를 스크래핑하고, 상호작용한 결과를 AI 애플리케이션이 쓰기 좋은 Markdown·HTML·스크린샷·구조화 JSON으로 바꾸는 오픈소스 API입니다.

도구 소개

공식 README 기준으로 Search는 검색 결과와 전체 페이지 내용을 함께 가져오고, Scrape는 URL을 Markdown·HTML·스크린샷·구조화 JSON으로 변환합니다. Interact로 페이지를 AI 프롬프트나 코드로 조작할 수 있으며, Map·Batch Scrape로 사이트 URL 탐색과 대량 비동기 수집도 구성합니다. 호스팅 서비스와 셀프호스트 경로를 함께 제공합니다.

사용 포인트

  • 공식 공고·문서·뉴스룸의 최신 원문을 브리핑 재료로 모을 때
  • RAG 전에 URL·수집 시각·원문을 보존하며 자료를 정리할 때
  • 검색 결과를 Markdown 또는 구조화 JSON으로 바꿔 후속 자동화에 넘길 때
  • 페이지 이동과 버튼 클릭이 필요한 웹 조사 단계를 에이전트에 맡길 때

설치와 시작

공식 README는 firecrawl.dev에서 API 키를 발급하고 Playground로 먼저 시험하는 흐름을 안내합니다. Python SDK의 최소 검색 예시는 다음과 같습니다.

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")
search_result = app.search("firecrawl", limit=5)

셀프호스트나 CLI 사용은 공식 README와 문서를 기준으로 설정합니다. 실제 수집에서는 허용 도메인과 원문 URL 보존 규칙을 먼저 정합니다.

선정 사유

GitHub API에서 157,519 stars, 2026-07-28 업데이트, AGPL-3.0 라이선스를 확인했습니다. AI 답변 품질의 앞단인 최신 원문 수집·정제·출처 보존을 API로 다루며, 리서치 자동화와 교육 실습에 오래 사용할 수 있는 기반 도구라 선정했습니다.

참고