Tecnologías

¿Con qué está hecho crawl4ai?

Q: ¿Qué repos tienen un stack parecido a crawl4ai?

Los que más comparten su stack: datawhalechina/hello-agents, open-webui/open-webui y Significant-Gravitas/AutoGPT.

crawl4ai es un repo de Python hecho con FastAPI, uvicorn, AIOHTTP y anyio. Guarda sus datos en SQLite, inicia sesión con pyjwt, usa IA con rank-bm25 y mcp, arma su contenido con lxml, beautifulsoup4, pillow y pypdf, valida sus datos con email-validator y Pydantic, se prueba con playwright y fake-useragent, se despliega con Gunicorn, psutil y prometheus-fastapi-instrumentator y usa aiosqlite y Redis. Son 176,861 líneas escritas, con 286 archivos de prueba.

Leído el 4 de noviembre de 2026, en el commit cae74b2. Léela en markdown

Frontend

Interfaz

Rich7 archivos

crawl4ai105 archivos

Backend

La base

FastAPI7 archivos
uvicorn1 archivo

Datos

aiosqlite
Redis4 archivos · deploy/docker/api.py, línea 16
SQLite4 archivos · crawl4ai/async_database.py, línea 4

Inicio de sesión

pyjwt2 archivos

IA

rank-bm255 archivos
mcp1 archivo

Apoyo

La base

AIOHTTP5 archivos
anyio2 archivos

Contenido

lxml8 archivos
beautifulsoup44 archivos
pillow3 archivos
pypdf1 archivo

Validación

email-validator
Pydantic8 archivos

Pruebas

playwright9 archivos
fake-useragent1 archivo

Despliegue

Gunicorn
psutil8 archivos
prometheus-fastapi-instrumentator1 archivo

Herramientas

click3 archivos

Otras

cssselect
shapely
httpx7 archivos
requests7 archivos
NumPy5 archivos
aiofiles4 archivos
pyyaml3 archivos
lark2 archivos
xxhash2 archivos
brotli1 archivo
chardet1 archivo
colorama1 archivo
humanize1 archivo
pyopenssl1 archivo
python-dotenv1 archivo
slowapi1 archivo
snowballstemmer1 archivo
websockets1 archivo

Otros repos con un stack parecido

Ordenados por cuánto de su stack comparten con crawl4ai, y después por estrellas.

datawhalechinahello-agents
86 k
📚 《从零开始构建智能体》——从零开始的智能体原理与实践教程
16 de 41 en comúnComparar →
open-webuiopen-webui
157.7 k
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
14 de 41 en común · SvelteComparar →
Significant-GravitasAutoGPT
187.9 k
AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mission is to provide the tools, so that you can focus on what matters.
13 de 41 en comúnComparar →
langflow-ailangflow
156.3 k
Langflow is a powerful tool for building and deploying AI-powered agents and workflows.
11 de 41 en comúnComparar →
browser-usebrowser-use
120 k
Open-source Python library for AI browser agents, plus Browser Use Cloud: stealth browsers and a hosted agent API.
8 de 41 en comúnComparar →
opendatalabMinerU
83.1 k
Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.
8 de 41 en comúnComparar →