Webclaw

Webclaw 是一个用 Rust 构建的高性能网页内容提取工具，专为 LLM 和 AI Agent 管线设计。核心优势是使用 Chrome 级 TLS 指纹识别技术，无需无头浏览器即可绕过 Cloudflare 等反爬保护，直接通过 HTTP 请求获取网页内容。支持三种输出格式：干净的 Markdown(最适合 LLM)、结构化 JSON 和原始 HTML。相比传统爬虫方案，Token 使用减少 67%。提供三种接入方式：CLI 命令行工具、REST API 和 MCP Server。作为 MCP Server 使用时，提供 10 个工具覆盖爬取、抓取、搜索、截图等场景。完全自托管，数据不经过第三方。适合需要为 AI Agent 提供可靠网页访问能力的开发者。