結論

Firecrawl(ファイアクロール)とは、URL を渡すと Web ページの中身を AI が読みやすい Markdown や JSON にして返す API サービスです。1ページの取得(scrape)、サイト全体の巡回(crawl)、URL 一覧の取得(map)、Web 検索(search)などがあり、料金は「クレジット」で数えます(scrape は1ページ1クレジット)。

この記事でわかること

  • 機能一覧と、5つのプランの料金・クレジットの計算例(Python で計算)
  • Python SDK が実際に送るリクエストの中身(手元のモックで記録)
  • 同じ目的の HTML→Markdown 変換を自作して比べた結果と、robots.txt の守り方

2026年11月16日更新|Python 3.13・firecrawl SDK 4.57.0・Chromium 153で手元確認

この記事で実際に動かしたもの:127.0.0.1 に置いた自作のページ、Python での HTML→Markdown 変換4通り、Firecrawl の Python SDK(127.0.0.1 の自作モックに向けて実行)、robots.txt の判定、クレジットの計算。Firecrawl の本物の API には接続していません。

Firecrawl は、AI に Web の情報を渡すときの「前処理」を引き受けるサービスです。HTML にはメニュー・広告・スクリプトなど、AI に読ませたくない部分が多く含まれます。Firecrawl はそれを取り除いて本文を Markdown にし、必要なら決めた形の JSON にして返します。

flowchart TD
    U[URL や検索語] --> F[Firecrawl の API]
    F --> E[scrape・crawl・map・search]
    E --> O[本文の Markdown・JSON]
    O --> L[LLM・RAG・エージェント]

よく調べられることの答えを先にまとめます。

知りたいこと 答え 詳しい節
Firecrawlとは Web ページを AI 向けの Markdown・JSON にして返す API Firecrawlとは
Firecrawl でできること scrape・crawl・map・search・agent・parse など できること(機能一覧)
Firecrawl の料金 Free 0ドル(毎月1,000クレジット)〜 Scale 月749ドル 料金とクレジット
クレジットの数え方 scrape・crawl は1ページ1、JSON 形式は1ページ+4 料金とクレジット
Firecrawl の使い方 SDK を入れて scrape(url, formats=["markdown"]) API の使い方
無料で使えるか Free プランあり。セルフホスト版(AGPL-3.0)もある セルフホスト
Claude などから使うには 公式の MCP サーバー・CLI がある MCPサーバー・CLI
使う前に確かめること 取得先の robots.txt と利用規約、データの扱い robots.txt と利用規約

確認環境:Ubuntu 24.04.5 LTS・Python 3.13.18 の venv に、Firecrawl の Python SDK(PyPI の firecrawl 4.57.0)、beautifulsoup4 4.15.0、markdownify 1.2.3、html2text 2025.4.15、trafilatura 2.3.1 を入れました。127.0.0.1 の自作の Web サーバー(Python の http.server)に架空のショップのページ・JavaScript で中身を出すページ・robots.txt・sitemap.xml を置き、HTML→Markdown 変換を4通りで比べています。JavaScript のページは Chromium 153.0.8010.12(Playwright 1.63.0・Node.js 22.23.4)で描画しました。SDK は api_url を 127.0.0.1 の自作モック(Firecrawl の公式ドキュメントにある応答の形を返すだけのもの)に向けて実行し、送られたリクエストを記録しています。Node.js 版の SDK(npm の firecrawl 4.54.0)は入れて型定義で引数の名前(apiKey・formats)だけを確かめました。Firecrawl の本物の API には接続しておらず、アカウントも作っていません。料金・機能・セルフホストの手順・ライセンスは firecrawl.dev・docs.firecrawl.dev・公式 GitHub で確かめた記載です。図は mermaid 11.16.0 で描画を確かめました(確認日 2026年11月16日)。

本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。

(記載例)出典:株式会社RJC「Firecrawlとは|WebページをAI向けMarkdownにする使い方と料金」

Firecrawlとは(意味と仕組み)

この節では、Firecrawl が何のサービスで、ふつうのスクレイピングと何が違うのかが分かります。

Firecrawl は、公式ドキュメントで「the context API for AI agents(AI エージェントのためのコンテキスト API)」と説明されているサービスです。同じページには「Search, scrape, and interact with the live web to get clean Markdown or structured data」とあり、Web を検索・取得・操作して、整った Markdown か構造化データ(決めた形の JSON)を得るためのものと分かります。

名前は「fire(火)」と「crawl(はう・巡回する)」を合わせたもので、Web を巡回するプログラム(クローラー)の意味の crawl が入っています。提供元は Firecrawl 社で、本体のソースコードは GitHub の firecrawl/firecrawl で公開されています。

自分でスクレイピングする

HTML を取得し、要る部分を CSS セレクターなどで選ぶ

JavaScript で出る中身にはブラウザの用意が要る

サイトごとに取り出し方を書く

Firecrawl に任せる

URL を渡すと本文の Markdown が返る

ページの描画やキャッシュは提供元の側で行う

JSON 形式なら、欲しい項目をスキーマで指定できる

使われる場面は、RAG(検索した文書を AI に渡して答えさせる仕組み)の文書集め、AI エージェントの Web 調べもの、サイトの更新の見張りなどです。AI に HTML をそのまま渡すと、メニューや広告の文字まで読ませることになり、扱う文字数も増えます。Markdown にすると見出し・表・リストの形を保ったまま、文字数を減らせます(あとの節で手元の数字を示します)。

Firecrawlでできること(機能一覧)

この節では、Firecrawl の機能(エンドポイント)の名前と役割が一覧で分かります。

公式ドキュメント(2026年11月16日時点)の機能は、Search・Scrape・Interact・Agent・Parse・Map・Crawl などです。API の入口は https://api.firecrawl.dev/v2 です。

機能 何をするか(公式の説明の要約) クレジット
Scrape 1つの URL の中身を Markdown・HTML・JSON などで取得 1ページ1
Crawl たどれる下のページを再帰的に見つけて取得 1ページ1
Map サイトの URL の一覧を取得(主にサイトマップから) 1回1(下の注を参照)
Search Web を検索し、結果のページの中身も返す 10件ごとに2
Interact 取得したページでクリック・入力などを続ける ブラウザ1分ごとに2
Agent URL なしで、AI が自分で Web を調べてデータを集める 毎日5回まで無料、以降は変動
Parse 手元の PDF・DOCX・XLSX などを Markdown・JSON に変換 PDF は1ページ1
Extract 複数の URL から決めた形のデータを取り出す(Beta) クレジット制(1クレジット=15トークン)

Map のクレジットは、公式のドキュメント(Map の節)と料金ページの FAQ が「1回の呼び出しで1クレジット(返る URL の数に関係なく)」と書く一方、料金ページの表には「1/ page」とも書かれていました(2026年11月16日時点)。大量に使う前に、料金ページの最新の表示で確かめるのが確実です。Extract のページには、後継として Agent(URL を指定しなくてよい)が紹介されています。

Scrape で選べる出力形式(formats)

Scrape の formats には、markdown・summary・html(整えた HTML)・rawHtml(手を加えない HTML)・screenshot・links・json・images などを指定できます。このほか branding・product・audio・video・query も公式ドキュメントに載っています。JSON 形式・question・highlights はそれぞれ1ページあたり4クレジットが上乗せされます。

1本文だけにする

onlyMainContent でヘッダー・ナビ・フッターを除いた本文を得る。

2キャッシュを使う

maxAge より新しい保存済みのページがあればすぐ返す。API の既定は172800000ミリ秒(2日)。0 で毎回取得。

3地域と言語

location の country は既定で "US"。日本向けのページは指定を見直す。

4データを残さない

zeroDataRetention の指定があり、1ページ1クレジット上乗せ(提供元の説明)。

Firecrawlの料金とクレジット(2026年11月16日時点)

この節では、Firecrawl のプランごとの料金・クレジット数・同時に送れる数と、クレジットの数え方が分かります。

料金ページの記載では、プランは Free・Hobby・Standard・Growth・Scale・Enterprise の6つです。価格は米ドルで、年払いにすると月あたりの額が下がります。

プラン 月払い(年払いの月額) クレジット/月 同時リクエスト 追加購入(5ドルあたり)
Free 0ドル 1,000(毎月) 2 なし
Hobby 19ドル(16ドル) 5,000 5 1,000クレジット
Standard 99ドル(83ドル) 100,000 25 2,000クレジット
Growth 399ドル(333ドル) 500,000 50 2,500クレジット
Scale 749ドル(599ドル) 1,000,000 100 5,000クレジット
Enterprise 個別見積もり 個別 個別 個別(大口の割引など)

料金ページは Free について「1,000 credits every month, refreshed monthly, no credit card required」と書いており、1,000クレジットは毎月入れ替わります。使い切らなかったクレジットの繰り越しは、Hobby・Standard・Growth ではできず、Scale は1か月分と記載されています。自分で買い足したクレジットは解約まで残り、解約すると失効する、とも書かれています。

1分あたりの上限(レート制限)

エンドポイント Free Hobby Standard Growth
/scrape・/map・/search 10 100 500 5,000
/crawl・/agent 2 20 100 1,000
/interact 2 20 100 1,000

Scale は /scrape 系が1分10,000、/crawl 系が2,000、/interact が1,500です。

クレジットが増えるもの・かからないもの

  • 上乗せ:JSON 形式・question・highlights は1ページ+4、個人情報を伏せる指定(PII redaction)は+4、audio・video は合計5、データを残さない指定(ZDR)は+1。
  • キャッシュから返っても1クレジットかかります(公式ドキュメントの記載)。
  • 結果が返らなかった scrape は課金されません。ただし取得先が403や404を返したページは、結果として返るので1クレジットかかります。
  • crawl は開始前に、残りのクレジットで limit の分をまかなえるかを確かめ、足りなければ402を返します。

クレジットの計算例(Python で計算)

料金ページの数字を使って、よくある使い方のクレジットと、月の必要量ごとの支払額を Python で計算しました。追加購入は5ドル単位で切り上げています。

import math
plans = {"Hobby": (19, 5000, 1000), "Standard": (99, 100000, 2000),
         "Growth": (399, 500000, 2500), "Scale": (749, 1000000, 5000)}

def credits(scrape=0, json_pages=0, search_results=0, map_calls=0):
    return scrape + json_pages * (1 + 4) + math.ceil(search_results / 10) * 2 + map_calls

def monthly(need):
    return {k: p + math.ceil(max(0, need - c) / x) * 5 for k, (p, c, x) in plans.items()}

print(credits(scrape=1000), credits(json_pages=1000), credits(search_results=1000))
print(monthly(20000))
print(monthly(40000))
1000 5000 200
{'Hobby': 94, 'Standard': 99, 'Growth': 399, 'Scale': 749}
{'Hobby': 194, 'Standard': 99, 'Growth': 399, 'Scale': 749}
1,000Markdown で1,000ページ1ページ1クレジット
5,000JSON 形式で1,000ページ1ページ1+4クレジット
22,000Hobby+追加が Standard を超える量月払いで104ドル対99ドル
月の必要量(クレジット) Hobby+追加 Standard Growth
800 Free で収まる — —
3,000 19ドル 99ドル 399ドル
20,000 94ドル 99ドル 399ドル
40,000 194ドル 99ドル 399ドル
150,000 744ドル 224ドル 399ドル
600,000 2,994ドル 1,349ドル 599ドル

1,000クレジットあたりの単価は、月払いで Hobby 3.80ドル・Standard 0.99ドル・Growth 約0.80ドル・Scale 約0.75ドルでした。JSON 形式は Markdown の5倍のクレジットを使うので、まず Markdown で取り、項目の取り出しは手元で行うという分け方もあります。為替・税・料金の改定でかわるため、契約の前に料金ページで最新の額を確かめます。

Firecrawlの使い方(始めるまでの流れ)

この節では、Firecrawl を使い始めるまでの手順が順番に分かります。

使い始める流れは「API キーを用意する → SDK を入れる → scrape を1回呼ぶ」です。公式ドキュメントは、始めるだけなら API キーは無くてもよく、キーを付けるとレート制限が上がる、と説明しています(Python SDK のページでは scrape・search・interact がキーなしで使えると記載)。

1

アカウントを作り API キーを控える

firecrawl.dev でサインアップし、ダッシュボードに出る fc- で始まる API キーを控える。キーはコードに直接書かず、環境変数 FIRECRAWL_API_KEY などに置く。

公式の手順

2

SDK を入れる

Python は pip install firecrawl、Node.js は npm install firecrawl。CLI は npm install -g firecrawl-cli。

手元で Python 版 4.57.0 を導入

3

1ページを scrape する

まず自分が取得してよいページを1つ選び、formats=["markdown"] で呼ぶ。返った Markdown と metadata(title・statusCode など)を見る。

1クレジット

4

map で範囲を決めてから crawl する

いきなり crawl せず、map で URL の一覧を見て、includePaths・limit で取る範囲を絞る。

map は1回1クレジット

5

使用量を見張る

ダッシュボードの使用量と、従量課金(pay-as-you-go)の月の上限を設定しておく。上限は請求の設定(Billing settings)で決める。

有料プランのみ

API キーの置き方は、関連記事「.envの使い方と注意点|APIキーを安全に管理する方法」で扱っています。

Firecrawl APIの使い方(cURL・Python・Node.js)

この節では、公式ドキュメントにある API の呼び出し方と、返ってくるデータの形が分かります。

REST API は POST https://api.firecrawl.dev/v2/scrape に JSON を送り、認証は Authorization: Bearer <APIキー> のヘッダーで行います。以下は公式ドキュメントの例です(この記事では本物の API へは送っていません)。

curl -s -X POST "https://api.firecrawl.dev/v2/scrape" \
  -H "Authorization: Bearer $FIRECRAWL_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://firecrawl.dev",
    "formats": ["markdown", "html"]
  }'
from firecrawl import Firecrawl

firecrawl = Firecrawl(api_key="fc-YOUR-API-KEY")
doc = firecrawl.scrape("https://firecrawl.dev", formats=["markdown", "html"])
print(doc)

cURL の応答は {"success": true, "data": {...}} の形で、SDK は data の中身をそのまま返します。data.markdown に本文、data.metadata に title・description・language・sourceURL・statusCode・contentType などが入ります。

決めた形で取り出す(JSON 形式)

公式ドキュメントでは、Pydantic のモデルから作ったスキーマを formats=[{"type": "json", "schema": Info.model_json_schema()}] のように渡す例が紹介されています。結果は json に入り、1ページあたり4クレジットが上乗せされます。Node.js でも new Firecrawl({ apiKey }) で作り、scrape(url, { formats: ['markdown'] }) と同じ形で呼べます。

SDK が送るリクエストの中身(手元のモックで記録)

SDK の api_url を 127.0.0.1 の自作モックに向けて実行し、SDK が実際に送る HTTP リクエストを記録しました。モックは公式ドキュメントの応答の形を返すだけで、Firecrawl の処理は再現していません。

from firecrawl import Firecrawl
fc = Firecrawl(api_key="fc-test-local", api_url="http://127.0.0.1:18563")
d = fc.scrape("http://127.0.0.1:18562/blog/sample.html", formats=["markdown"], only_main_content=True)
m = fc.map(url="http://127.0.0.1:18562/", limit=10)
c = fc.crawl(url="http://127.0.0.1:18562/", limit=5, poll_interval=1, timeout=30)
{"method": "POST", "path": "/v2/scrape",
 "headers": {"User-Agent": "python-requests/2.34.2", "Authorization": "Bearer fc-test-local"},
 "body": {"url": "http://127.0.0.1:18562/blog/sample.html", "onlyMainContent": true,
          "removeBase64Images": true, "fastMode": false, "blockAds": true,
          "storeInCache": true, "maxAge": 14400000, "formats": ["markdown"],
          "mobile": false, "origin": "python-sdk@4.57.0"}}
{"method": "POST", "path": "/v2/map",
 "body": {"url": "http://127.0.0.1:18562/", "sitemap": "include", "limit": 10, "origin": "python-sdk@4.57.0"}}
{"method": "POST", "path": "/v2/crawl",
 "body": {"url": "http://127.0.0.1:18562/", "ignoreQueryParameters": false, "deduplicateSimilarURLs": true,
          "crawlEntireDomain": false, "allowExternalLinks": false, "allowSubdomains": false,
          "ignoreRobotsTxt": false, "regexOnFullURL": false, "zeroDataRetention": false,
          "limit": 5, "origin": "python-sdk@4.57.0"}}
{"method": "GET", "path": "/v2/crawl/mock-1"}

1maxAge は SDK が明示して送る

SDK 4.57.0 は何も指定しなくても maxAge: 14400000(4時間)を送った。ドキュメントの API の既定(2日)とは違うので、鮮度が大事なら自分で指定する。

2crawl は開始と問い合わせの2段

crawl() は POST で仕事を登録し、返った id を GET で問い合わせ、終わるまで待った。

3robots.txt を守る指定が既定

crawl の本文には "ignoreRobotsTxt": false が入っていた。

戻り値は、scrape が Document、map が MapData、crawl が CrawlJob(status・completed・total・credits_used・data)という型でした。

crawl・map・scrapeの使い分け

この節では、似ている3つの機能をどう使い分けるかが分かります。

URL が分かっている1ページは scrape、サイトの URL の一覧が欲しいときは map、サイトの中身をまとめて取りたいときは crawl です。

  1. 1ページが1つ(URL が分かっている)→ scrape1ページ1クレジット。決まった項目が欲しいなら JSON 形式
  2. 2URL の一覧だけ欲しい → map1回1クレジット。search で URL を絞れる
  3. 3一覧から一部だけ取る → map + batch scrape取るページを自分で選べるので、クレジットを読みやすい
  4. 4ある範囲をまとめて取る → crawlincludePaths・limit で範囲を絞る
  5. 5どのサイトか分からない → search か agentsearch は10件ごとに2クレジット、agent は変動

crawl の主な指定(公式ドキュメントの既定値)

指定 既定 意味
limit 10000 取得する最大ページ数
maxDiscoveryDepth なし この深さのページは取るが、その先のリンクはたどらない
includePaths・excludePaths なし パスの正規表現で取る・除く
crawlEntireDomain false 下の階層だけでなく、兄弟・親のパスもたどる
allowSubdomains false サブドメインへのリンクもたどる
sitemap "include" "include"・"skip"・"only" から選ぶ
delay なし 取得の間を秒で空ける(同時実行は1になる)

limit の既定が10000なので、指定を忘れるとクレジットを大きく使うおそれがあります。crawl の結果は終わってから24時間 API で取得でき、ページごとの通知は webhook(crawl.page など)でも受け取れます。webhook には HMAC-SHA256 の署名(X-Firecrawl-Signature)が付き、処理の前に確かめるよう公式に書かれています。

セルフホスト(オープンソース版)とライセンス

この節では、Firecrawl を自分のサーバーで動かせるか、クラウド版と何が違うかが分かります。

Firecrawl の本体は GitHub で公開されており、Docker Compose で自分のサーバーに立てられます。GitHub の README には「primarily licensed under the GNU Affero General Public License v3.0 (AGPL-3.0)」とあり、SDK と一部の UI 部品は MIT ライセンスと書かれています。AGPL-3.0 の条件は GNU の原文と提供元の LICENSE で確かめ、社内での使い方は所属先の決まりに沿って判断します。

公式のセルフホストの手順(v2.11.162 を指定した版)は、次のとおりです。API は http://localhost:3002 で立ち上がります。

git clone https://github.com/firecrawl/firecrawl.git
cd firecrawl
git checkout v2.11.162
# .env に USE_DB_AUTHENTICATION=false と POSTGRES_* を書く(公式の手順どおり)
docker compose up --build -d
docker compose ps --all
機能 クラウド版 セルフホスト(既定の構成)
scrape・crawl・map・search 使える 使える
スクリーンショット・ページ操作 使える 既定の構成には無い(Fire-engine が別に要る)
Agent・Browser・interact 使える クラウド版を使うよう案内されている
LLM を使う抽出(JSON など) 使える OpenAI 互換のサービスか Ollama をつなぐ
サーバーの運用 提供元 自分(必要な台の大きさは公式に明記なし)

セルフホスト版に SDK からつなぐときは、Firecrawl(api_url="http://localhost:3002") のように api_url を変えます。手元でも、api_url を変えるだけで SDK の送り先がかわることを、上のモックで確かめました。

MCPサーバー・CLIでAIツールから使う

この節では、Claude などの AI ツールから Firecrawl を呼ぶ方法が分かります。

Firecrawl には公式の MCP サーバーがあり、MCP に対応した AI ツールの「道具」として scrape や search を呼べます。MCP は、AI アプリが外部のツールやデータにつなぐための共通の決まりです。公式ドキュメントには、ブラウザでサインインする(OAuth)つなぎ方の設定例が載っています。

{
  "mcpServers": {
    "firecrawl": {
      "type": "http",
      "url": "https://mcp.firecrawl.dev/v2/mcp-oauth"
    }
  }
}

API キーでつなぐ場合は https://mcp.firecrawl.dev/v2/mcp に Bearer トークンを付けると説明されています。CLI は firecrawl scrape https://example.com・firecrawl map・firecrawl crawl --wait・firecrawl search のように使えます(公式 GitHub の firecrawl/cli の記載)。

MCP の仕組みは関連記事「MCPとは?サーバーとクライアントの仕組みと設定例を図解」で扱っています。AI ツールに Web の取得を任せると、AI が自分の判断で多くのページを取りに行くことがあります。クレジットの上限と、取りに行ってよいサイトの範囲を先に決めておくと安心です。

同じ目的の処理をPythonで作って比べる(HTML→Markdown)

この節では、「HTML から本文を取り出して Markdown にする」処理を手元で作ったときに、何が起き、どこが難しいのかが分かります。

ここで作るのは Firecrawl の内部ではなく、同じ目的の例です。127.0.0.1 に、ヘッダー・ナビ・広告・人気記事・フッターの付いた架空のショップのお知らせページ(HTML 1,360文字)を置き、4通りで Markdown にしました。

from bs4 import BeautifulSoup
from markdownify import markdownify as md

s = BeautifulSoup(raw, "lxml")
for tag in s(["script", "style", "noscript", "header", "nav", "footer", "aside", "form", "iframe"]):
    tag.decompose()
main = s.find("main") or s.find("article") or s.body
text = md(str(main), heading_style="ATX", strip=["img"])
方法 Markdown の文字数 元の HTML に対する割合 メニュー・広告
A:markdownify でページ全体 534 39% 残った
B:html2text でページ全体 519 38% 残った
C:不要なタグを消して main だけ(自作) 274 20% 消えた
D:trafilatura(本文抽出のライブラリ) 266 20% 消えた

C の出力は次のとおりです。見出し・表・リスト・リンク・コードの形が残りました。

# 配送料の改定について

2026年12月1日のご注文から、配送料を次のとおり改定します。

## 改定後の配送料

| 地域 | 改定前 | 改定後 |
| --- | --- | --- |
| 関東 | 500円 | 550円 |
| 関西 | 600円 | 650円 |
| 沖縄 | 1,200円 | 1,300円 |

## 送料無料の条件

* 5,000円以上のご注文
* 会員ランクがゴールドの方

詳しくは[よくある質問](/faq#shipping)をご覧ください。

A では本文の前に「[トップ](/) [ブログ](/blog/) …」、後ろに「【広告】今だけ全品10%オフ!」や「© 2026 架空ショップ」が残りました。本文だけにすると文字数はページ全体の約半分になり、AI に渡す量も減ります。一方で、C の「main が無ければ article」という決まりは、このページの作りに合わせたものです。サイトごとに作りが違うので、決まりを書き足し続けることになります。リンクも /faq#shipping のように相対のままで、AI に渡すなら絶対 URL に直す処理が別に要ります。

JavaScript で中身を出すページは、取得しただけでは空になる

JavaScript が0.3秒後に在庫の表を書き込むページを同じ方法で取得すると、4通りとも Markdown は「読み込み中…」だけでした。Chromium で描画してから取り出すと、中身が取れました。

取得しただけ(A〜D 共通): 読み込み中…
Chromium で描画後:
# 在庫状況

商品Aの在庫は残り3個です。

* 商品A:3個
* 商品B:0個(入荷待ち)

自作でこれに対応するには、ブラウザを動かす仕組み(Playwright など)と、その運用が要ります。Firecrawl の README は、JavaScript の多いページへの対応を特長に挙げており、この手間を API の向こう側に任せられる点が使う理由になります。HTML の取り出し方の基本は、関連記事「Python BeautifulSoupスクレイピング|コピペ用コードとメソッド一覧」で扱っています。Markdown の記法は関連記事「Markdown記法一覧|マークダウンの書き方38種の早見表+その場でプレビュー」で確かめられます。

robots.txtと利用規約で守ること

この節では、Firecrawl で Web ページを取得する前に確かめることが分かります。

Firecrawl の README には「By default, Firecrawl respects robots.txt directives」とあり、既定で robots.txt に従います。同じ README は、取得するときにサイトの決まりを守るのは利用者自身の責任である、とも書いています。crawl のドキュメントでは、robots.txt を無視する指定(ignoreRobotsTxt)は Enterprise だけとされています。

手元でも、Python 標準の urllib.robotparser で、自作サイトの robots.txt(Disallow: /private/・Crawl-delay: 2)を読み、取得してよいかを判定しました。

crawl_delay: 2 | sitemaps: ['http://127.0.0.1:18562/sitemap.xml']
/blog/sample.html -> OK
/blog/js.html -> OK
/private/secret.html -> 除外
[('sample.html', 200, 0.0), ('js.html', 200, 2.0)]

サイトマップの2ページを、2秒あけて取得したことが分かります。robots.txt の書き方は関連記事「robots.txt・sitemap.xmlの書き方|テンプレートと検証手順」で扱っています。

  • 1取得先の利用規約を読む取得や再利用の条件はサイトごとに違う。可否は取得先の規約で確かめる
  • 2robots.txt を確かめるFirecrawl は既定で従うが、取る範囲は自分でも把握しておく
  • 3相手のサーバーに負荷をかけないlimit・delay・includePaths で量と速さを絞る
  • 4ログインが要るページを扱う前に止まって確かめる会員向けの情報は、規約と所属先の決まりを先に確かめる
  • 5送るデータの扱いを確かめるデータの保存や ZDR は提供元の説明として読み、機密情報・個人情報は最新の規約と所属先の決まりを確かめてから

crawl の始め方

避けるlimit を書かずにトップページから crawl を始める(既定は10000ページ)
→
代わりにmap で URL の一覧を見て、includePaths と小さな limit で試してから広げる

クレジットも相手のサーバーの負荷も読みやすくなる

Firecrawlのよくあるエラー・つまずき

この節では、Firecrawl を使っていて出るエラーと、その直し方が分かります。

Python SDK は、HTTP のステータスごとに別の例外を投げます。モックから401・402・429を返したときの、SDK 4.57.0 の例外の原文は次のとおりでした。

firecrawl.v2.utils.error_handler.UnauthorizedError | Unauthorized: Failed to scrape. Unauthorized: Invalid token - No additional error details provided.
firecrawl.v2.utils.error_handler.PaymentRequiredError | Payment Required: Failed to scrape. Insufficient credits to perform this request. - No additional error details provided.
firecrawl.v2.utils.error_handler.RateLimitError | Rate Limit Exceeded: Failed to scrape. Rate limit exceeded. - No additional error details provided.

例外の後半の文はモックが返した文面がそのまま入ったもので、本物の API の文面とは違うことがあります。例外の種類と前半の決まった文が、SDK の作りの確認になります。

症状・表示 原因 直し方
UnauthorizedError(401) API キーが違う・期限切れ・空白が混ざった ダッシュボードのキーを貼り直す。環境変数の読み込みを確かめる
PaymentRequiredError(402) クレジット不足。crawl は limit 分が足りないと始まる前に402 limit を下げる・追加購入・プランを見直す
RateLimitError(429) 1分あたりの上限や同時リクエスト数を超えた 間をあけて再試行。並列数をプランの同時数以下にする
404 SCRAPE_NO_CACHED_DATA minAge を付けて、キャッシュが無かった minAge を外して取得し直す
内容が前のまま キャッシュ(maxAge)の範囲内で、保存済みが返った maxAge=0 で毎回取得する
日本向けの表示にならない location.country の既定が "US" country と languages を指定する
crawl の結果が取れない 終わってから24時間を過ぎた 終わったら早めに取得して保存する。webhook を使う
クレジットが想定より減った JSON 形式(+4)や、403・404のページも1クレジット まず Markdown で取る。includePaths で範囲を絞る

Firecrawlを使うか判断する表

この節では、Firecrawl のクラウド版・セルフホスト版・自作のどれが合うかを、条件ごとに判断できます。

条件 合いやすい選び方 理由
まず試したい・量が少ない クラウド版の Free 毎月1,000クレジット、カード登録なし(公式の記載)
JavaScript の多いサイトを扱う クラウド版 描画やページ操作を提供元の側で行う
データを社外に出せない セルフホスト版か自作 自分のサーバーで動かせる。ただしスクリーンショット等は既定の構成に無い
1つのサイトの決まったページだけ 自作(requests+BeautifulSoup など) 作りが分かっていれば、取り出し方を固定できる
AI エージェントに Web を調べさせたい クラウド版+MCP サーバー search・scrape を道具として渡せる
月に数万ページ以上 Standard 以上を計算で選ぶ 手元の計算では22,000クレジットから Standard のほうが安い

取得した文書を AI に答えさせる仕組みの作り方は、関連記事「RAGの作り方|Pythonで動かす最小構成と精度の上げ方」で扱っています。

よくある質問

この節では、Firecrawl について検索されることの多い疑問に短く答えます。

Q. Firecrawlの読み方は?
A. 「ファイアクロール」です。英語の fire と crawl を合わせた名前です。

Q. Firecrawlは無料で使えますか?
A. 料金ページに Free プラン(毎月1,000クレジット、カード登録なし)があります。オープンソース版を自分のサーバーで動かす方法もあります(2026年11月16日時点)。

Q. API キーは必ず要りますか?
A. 公式ドキュメントは、始めるだけならキーなしでもよく、キーを付けるとレート制限が上がると説明しています。crawl などはキーを付けた例で説明されています。

Q. 1クレジットで何ができますか?
A. scrape か crawl で1ページ、または map を1回です。search は10件ごとに2クレジット、JSON 形式は1ページあたり4クレジットが上乗せされます。

Q. 日本語のページも取得できますか?
A. 手元のモックでは確かめられないため断定はしませんが、location の country・languages で地域と言語を指定できると公式に書かれています。既定は "US" です。

Q. PDF も Markdown にできますか?
A. できます。公式ドキュメントでは、Parse で手元の PDF・DOCX・XLSX を変換でき、PDF は1ページ1クレジットと説明されています。

Q. BeautifulSoup や Scrapy との違いは?
A. BeautifulSoup・Scrapy は自分のプログラムの中で動くライブラリ・フレームワークで、取り出し方は自分で書きます。Firecrawl は API で、URL を送ると本文の Markdown が返ります。どちらが上ということではなく、扱うサイトの数・JavaScript の有無・データを外に出せるかで選びます。

Q. 取得したデータは Firecrawl 側に残りますか?
A. キャッシュ(maxAge)の仕組みがあり、データを残さない指定(zeroDataRetention)も用意されていると公式に書かれています。扱いの詳細は提供元の最新の規約・説明で確かめ、機密情報・個人情報を送る前に所属先の決まりも確かめます。

Q. どのサイトでも取得してよいのですか?
A. 取得してよいかは取得先のサイトの利用規約と robots.txt によります。Firecrawl は既定で robots.txt に従いますが、サイトの決まりを守るのは利用者の責任と README に書かれています。

Q. 料金は日本円でいくらですか?
A. 料金ページは米ドルで表示されています。円での支払額は為替と税でかわるため、請求の画面で確かめます。

まとめ

この節では、Firecrawl について押さえておきたい点を5つにまとめます。

  1. Firecrawl は、Web ページを AI 向けの Markdown・JSON にして返す APIで、scrape・crawl・map・search・agent・parse などの機能がある。
  2. 料金はクレジット制。scrape・crawl は1ページ1、JSON 形式は+4、map は1回1、search は10件ごとに2。Free は毎月1,000クレジット(2026年11月16日時点)。
  3. 手元の計算では、月22,000クレジットから Hobby+追加より Standard が安い。JSON 形式は Markdown の5倍のクレジットを使う。
  4. 本体は AGPL-3.0 で公開され、セルフホストもできるが、スクリーンショット・ページ操作・Agent などは既定の構成に含まれない。
  5. 使う前に、取得先の robots.txt と利用規約、送るデータの扱いを確かめ、crawl は map と小さな limit から始める。

参考・出典

この節では、この記事で確かめた公式の情報源が分かります(確認日 2026年11月16日)。

  • Firecrawl Docs「Introduction」 https://docs.firecrawl.dev/introduction
  • Firecrawl「Pricing」 https://www.firecrawl.dev/pricing
  • Firecrawl Docs「Scrape」 https://docs.firecrawl.dev/features/scrape
  • Firecrawl Docs「Crawl」 https://docs.firecrawl.dev/features/crawl
  • Firecrawl Docs「Map」 https://docs.firecrawl.dev/features/map
  • Firecrawl Docs「Extract」 https://docs.firecrawl.dev/features/extract
  • Firecrawl Docs「Python SDK」 https://docs.firecrawl.dev/sdks/python
  • Firecrawl Docs「Node SDK」 https://docs.firecrawl.dev/sdks/node
  • Firecrawl Docs「Self-hosting」 https://docs.firecrawl.dev/contributing/self-host
  • Firecrawl Docs「MCP Server」 https://docs.firecrawl.dev/mcp-server
  • GitHub firecrawl/firecrawl(README・ライセンス) https://github.com/firecrawl/firecrawl
  • GitHub firecrawl/cli https://github.com/firecrawl/cli

本記事の内容は、ご自由にお使いください。
ご利用の際は、出典として本ページへのリンクを記載いただけますようお願いします。

(記載例)出典:株式会社RJC「Firecrawlとは|WebページをAI向けMarkdownにする使い方と料金」

株式会社RJC ― SI事業・SES事業・AI駆動開発。RJCは一緒に成長を楽しめる会社です。

WE ARE HIRING

RJCで一緒に開発しながら、
成長を楽しみませんか?

RJCは、Web・モバイル・AIを活用した開発プロジェクトで、テックリードやPM・PMOも活躍するシステム開発会社です。会社を知る、待遇を確かめる、話を聞いてみる。気になるところ見てみてください!

  • 127日年間休日
  • 12時間平均残業時間
  • 毎日ガチャ遊びココロも大切にする福利厚生。アマギフなどの賞品ラインナップ!

ほかにも、チケットレストラン、書籍読み放題、2年ごとの慰労報奨(休暇 or 金一封)、11期連続の黒字決算。

ABOUT RJC RJCがどんな会社か知る 考え方、研修、働き方、福利厚生、社員の前職まで。RJCのことが丸わかり! RJC丸わかりページへ JOB DESCRIPTION 仕事内容・待遇を見てみる 仕事内容、給与・待遇、選考の流れ。経験者も未経験も!応募前に知りたいこと、まとめました! 募集要項を見る ENTRY エントリーする エントリーは1〜2分・履歴書不要です。まずは話を聞いてみたい、という方でも歓迎です! エントリーフォームへ

成長のヒミツ、 ぜんぶ丸わかり