Repos open source que usan tokenizers

10 repos públicos que SeeRepo leyó usan tokenizers. Se usa más con torch, transformers y pillow.

Léela en markdown

Se usa más con

  • torch3 repos
  • pillow3 repos
  • FastAPI3 repos
  • sentencepiece2 repos
tokenizers10 repos
  • transformers3 repos
  • Pydantic3 repos
  • OpenAI3 repos
  • SQLite2 repos

Los repos, por estrellas

  1. 1
    Comfy-Org/ComfyUI

    The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. The fastest local inference engine in the world.

    Python+8144.9 kIA 0.3%
  2. 2
    vllm-project/vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    Python+4396.3 kIA 12.8%
  3. 3
    datawhalechina/hello-agents

    📚 《从零开始构建智能体》——从零开始的智能体原理与实践教程

    Python+8886 kIA 2.4%
  4. 4
    opendatalab/MinerU

    Transforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.

    Python+1483.1 kIA 12.6%
  5. 5
    unslothai/unsloth

    Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.

    Python+9579.1 kIA 1%
  6. 6
    headroomlabs-ai/headroom

    Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

    Python+2178.9 kIA 28.1%
  7. 7
    rohitg00/ai-engineering-from-scratch

    Learn AI Engineering! Learn it. Build it. Ship it for others.

    Python+1876.9 kIA 0.8%
  8. 8
    comet-ml/opik

    Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.

    Python+8923.2 kIA 19.7%
  9. 9
    microsoft/unilm

    Large-scale Self-supervised Pre-training Across Tasks, Languages, and Modalities

    Python+2822.2 k
  10. 10
    screenpipe/screenpipe

    YC (S26) | Open Computer History | Continuously record your company computer work, map your workflows, help you find work worth automating, and power your agents' context

    Rust+9422.2 kIA 36%

Preguntas frecuentes

¿Cuál es el repo open source más popular que usa tokenizers?
Comfy-Org/ComfyUI, con 144,948 estrellas en GitHub.

La prueba: Comfy-Org/ComfyUI en GitHub

¿Con qué otras tecnologías se usa tokenizers?
Con torch (3), transformers (3), pillow (3), Pydantic (3) y FastAPI (3), de los 10 repos que la usan.
¿En qué lenguajes están escritos los repos que usan tokenizers?
Python (9) y Rust (1).
¿Cuántos repos que usan tokenizers tienen commits firmados por IA?
9 de los 10; el que más, screenpipe/screenpipe, con el 36% de sus commits.

La prueba: los commits que firmó cada herramienta en screenpipe/screenpipe

Mira tu código por dentro, hoy.

Pega tu repo y lo ves dibujado, parte por parte: uno mediano, en menos de un minuto.

Gratis y sin cuenta.

O mira por dentro el de SeeRepo →