問題:網頁資料與模型呼叫往往分屬兩套系統
如果你在打造 RAG 管線、Agent 或研究工具,通常需要兩樣東西:來自網頁的新鮮資料,以及一個能推理這些資料的模型。在過去,這代表兩家供應商、兩套儀表板,還有中間的膠水程式碼。
Firecrawl 解決前半段:把任何網頁轉成乾淨、適合 LLM 的輸出,包括 JavaScript 渲染的動態頁面,讓你可以直接把結果丟給模型,不必浪費 token 在雜亂的 HTML 上。Eden AI 則負責後半段,用單一 API 與單一帳單涵蓋 Claude、GPT、Gemini、Mistral 等 500 多個模型。
改變:Firecrawl 成為 Eden AI 的原生網頁資料供應商
Firecrawl 在 2026 年 8 月 20 日宣布,現在可以直接在 Eden AI 內部使用,作為第一級的網頁資料供應商。不需要另外註冊 Firecrawl 帳號,也不用追蹤第二把 API key。
在 Eden AI 的目錄中,Firecrawl 提供七種能力:
- 網頁抓取:取得單一 URL 的乾淨 Markdown、文字或 HTML
- 網頁搜尋:搜尋網頁並取得帶有標題、URL 與內容的排序結果
- 網站地圖:找出網站上的 URL 清單
- 網頁爬蟲:從起始 URL 爬取整個網站並取得頁面內容
- 批次抓取:在一個請求中抓取多個 URL
- 結構化擷取:根據 prompt、schema 或兩者,將頁面轉成 JSON
- 深度研究:對查詢執行多步驟網頁研究,並回傳附有來源的發現
運作方式:同步與非同步的呼叫模式
所有呼叫都透過標準的 Eden AI 端點進行,使用同一個 EDEN_AI_API_KEY,並遵循平台上相同的 feature/subfeature/provider 模式。
抓取、搜尋與網站地圖是同步的。你可以直接 POST 到 /v3/universal-ai,內容會直接回傳在回應中。爬蟲、批次抓取、結構化擷取與深度研究則以非同步工作執行:先 POST 到 /v3/universal-ai/async,然後輪詢 /v3/universal-ai/async/{public_id} 直到狀態變成 success。
以同步的網頁抓取為例,一個請求就像這樣:
curl -X POST https://api.edenai.run/v3/universal-ai \
-H "Authorization: Bearer $EDEN_AI_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "model": "web/scraping/firecrawl", "input": { "url": "https://firecrawl.dev" } }'
回應使用與 Eden AI 其他功能相同的信封格式,包含每次呼叫的 cost 欄位,所以你的網頁資料與模型呼叫會出現在同一張帳單上。
實際應用:從 RAG 到自主研究
這個整合讓幾種常見的建置情境變得更直接:
- 即時網頁資料的 RAG:用 Firecrawl 爬取或抓取一組來源,嵌入 Markdown,然後用目錄中的任何模型回答問題。
- 網頁增強型 Agent:把搜尋與抓取當作工具交給 Agent,讓它在不知道答案時主動去找,而不是猜測。
- 大規模結構化擷取:批次抓取 URL 清單,用 prompt 或 schema 執行結構化擷取,再用模型後處理 JSON。適合潛在客戶開發、競爭追蹤與目錄監控。
- 市場監控:定期對網域執行網站地圖與爬蟲,然後讓模型摘要自上次執行以來的變化。
- 自主研究:給深度研究一段白話簡報,它會自行搜尋並閱讀網頁,回傳附有來源的發現,若你提供 schema 還能塑形輸出。
成本、合規與注意事項
Eden AI 提供一個公開的探索端點 api.edenai.run/v3/info/web,不需要帳號或 key 就能查看每個子功能、顯示名稱、同步或非同步模式、確切的 model string,以及每個模型的定價與區域。
用一行 curl 就能查詢整個目錄:
curl https://api.edenai.run/v3/info/web
Eden AI 是一家法國公司,其閘道在歐盟基礎設施上運作,並在涵蓋所有供應商的單一合約下提供符合 GDPR 的處理,這對歐洲團隊來說少了一次供應商審查。每個供應商會在公開探索端點中列出自己的區域,所以呼叫前可以先確認模型在哪裡執行。
有一點值得留意:這與 Eden AI 的 LLM 網頁搜尋選項不同。web_search_options 旗標是在 LLM 呼叫期間開啟模型內建的搜尋功能;而 Firecrawl 整合是獨立的網頁功能,會回傳實際的頁面內容,讓你能控制要抓取、爬取什麼,以及要傳給模型什麼。
如果你已經在使用 Eden AI 管理模型呼叫,把 Firecrawl 加進同一個 key 底下,可以省去不少整合功夫。但如果你需要直接呼叫 Firecrawl 的原始功能,仍然需要另外申請一把 Firecrawl key。
參考來源
本文由 AI 協助自上述來源整理,經人工審核後發布。
