Firecrawl 产品信息
什么是 Firecrawl ?
爬取、捕获、清理。我们爬取所有可访问的子页面，并为您提供每个页面干净的Markdown格式内容。无需提供站点地图。
Firecrawl 的核心功能
爬取并转换任何网站为整洁的Markdown或结构化数据。
爬取所有可访问的子页面，并为你提供每个页面干净的Markdown格式。
即使网站使用JavaScript渲染内容，也要收集数据。
返回干净、格式良好的markdown。
协调并行爬取过程，以实现最快的结果。
缓存内容，这样您就不必等待完整抓取，除非有新内容存在。
Firecrawl 的使用案例
#1
训练机器学习模型
#2
市场研究
#3
内容聚合
Firecrawl的价格
免费计划 500信用点 $0 /月 爬取 500页 每分钟爬取费用 5 /次 一次并发任务 /爬虫作业
爱好 3,000信用点 $19 /月 爬取 3,000页 10 /次爬取 每分钟 3个并发爬虫任务*
标准 最受欢迎 100,000信用 $99 /月 爬取 1,000,000页 每分钟爬取费用：$50 10个并发爬虫任务*
成长计划 500,000信用 $399/月 爬取 500,000页 每次爬取费用：$500 每分钟并发爬虫任务数：50个 * 高优先级支持
企业计划：无限信用。自定义RPM。与我们联系。优先支持。功能加速SLA。账户经理。定制速率限制和体积。自定义并发限制。访问beta功能。CEO的电话号码。
来自 Firecrawl 的常见问题解答
什么是Firecrawl？
- Firecrawl将整个网站转化为整洁的、适用于LLM（语言模型）的markdown或结构化数据。只需一个API，即可抓取、爬行和提取网络内容。对于希望借助网络数据增强其LLM应用的AI公司来说，这是一个理想的选择。
如何尝试Firecrawl？
- 你可以从Firecrawl开始，尝试我们的免费试用版，包括100页。这个试用让你亲身体验Firecrawl如何简化你的数据收集和转化流程。立即注册，今天就开始将网络内容转化为LLM准备的数据吧！
谁可以从使用Firecrawl中受益？
- Firecrawl专为LLM工程师、数据科学家、AI研究员和希望利用网络数据训练机器学习模型、进行市场研究、内容聚合等开发者设计。它简化了数据准备过程，让专业人士能够专注于洞察力和模型开发。
Firecrawl是开源的吗？
- 是的，它是。您可以在GitHub上查看仓库。请记住，这个仓库目前正处于开发初期阶段。我们正在将自定义模块合并到这个单体仓库中。
Firecrawl如何处理网站上的动态内容？
- 与传统网络爬虫不同，Firecrawl 配备了处理使用 JavaScript 渲染的动态内容的能力。它确保从所有可访问的子页面进行全面的数据收集，使其成为可靠工具，适用于依赖 JavaScript 传输内容的网站。
为什么它没有爬取所有页面？
- 火爬虫无法爬取网站所有页面的原因有几个。常见的原因包括速率限制和反爬取机制，这些会阻止爬虫访问某些页面。如果您在使用爬虫时遇到问题，请联系我们的支持团队，邮箱为[email protected]。
Firecrawl能否在没有网站地图的情况下爬取网站？
- 是的，Firecrawl可以访问并爬取一个网站所有可访问的子页面，即使没有网站地图也能做到。这个功能让用户能够从广泛的网络来源中收集数据，而无需太多的设置。
Firecrawl可以将网络数据转换成哪些格式？
- Firecrawl专注于将网络数据转化为整洁、格式良好的Markdown。这种格式特别适合LLM应用，它提供了一种结构化但又灵活的方式来表示网络内容。
Firecrawl是如何保证数据的清洁度的？
- Firecrawl采用先进的算法来清理和结构化抓取的数据，移除不必要的元素，并将内容格式化为易读的markdown。这个过程确保了数据可以直接用于LLM应用，无需进一步预处理。
Firecrawl适合大规模数据抓取项目吗？
- 当然可以。Firecrawl提供了多种定价计划，包括Scale计划，支持百万级页面的抓取。它具备缓存和定时同步等功能，旨在高效处理大规模数据抓取和持续更新，非常适合企业和大型项目使用。
它尊重robots.txt文件吗？
- 是的，Firecrawl爬虫尊重网站robots.txt文件中设置的规则。如果您注意到Firecrawl与您的网站交互方式有任何问题，您可以调整robots.txt文件来控制爬虫的行为。Firecrawl的用户代理名称为'FirecrawlAgent'。如果您发现任何不期望的行为，请通过[email protected]告诉我们。
Firecrawl采取了哪些措施来应对网页抓取的挑战，如速率限制和缓存？
- Firecrawl旨在解决常见的网络爬虫挑战，包括反向代理、速率限制和缓存。它智能地管理请求，并采用缓存技术，以减少带宽使用并避免触发反爬机制，确保可靠的数据收集。
Firecrawl处理验证码或身份验证吗？
- Firecrawl不处理验证码或身份验证，但这已经在路线图上。如果一个网站有验证码或身份验证，Firecrawl将无法访问该网站。
API密钥会过期吗？
- 火爬虫API密钥不会过期，除非被撤销。
我可以用同一个API密钥来抓取、爬取和提取内容吗？
- 是的，您可以使用API密钥进行抓取、爬行和提取。
Firecrawl是免费的吗？
- Firecrawl 免费提供前 300 个抓取的页面（300 免费积分）。之后，您可以升级到我们的标准计划或规模计划，以获得更多积分。
是否有按使用次数付费的计划，而不是月付？
- 不，我们目前没有提供按使用次数付费的计划。相反，你可以升级到我们的标准计划或规模计划，以获取更多积分。
每个计划我能得到多少积分？
- 免费计划每月提供300个免费信用（可以抓取300页）。标准计划每月有50,000个信用（可抓取50,000页），而规模计划每月则有25,000,000个信用（可抓取250,000,000页）。如果您认为需要更多的信用，请联系我们。
抓取、爬行和提取所需多少信用？
- 爬取费用为每页1个信用点。爬行费用为每页1个信用点。提取费用为每页1个信用点。
对于失败的请求（如抓取、爬行、提取），你们会收费吗？
- 我们不会对任何失败的请求（抓取、爬行、提取）收取费用。如果您有任何问题，请联系帮助支持：[email protected]。
你们接受什么样的支付方式？
- 我们通过Stripe接受支付，Stripe支持信用卡、借记卡以及PayPal。