¿Con qué está hecho TensorRT-LLM?

Q: ¿Qué repos tienen un stack parecido a TensorRT-LLM?

Los que más comparten su stack: ray-project/ray, sgl-project/sglang y vllm-project/vllm.

TensorRT-LLM es un repo de Python hecho con FastAPI, anyio, uvicorn y starlette. Guarda sus datos en pyzmq, usa IA con accelerate, apache-tvm-ffi, cuda-python, flash-linear-attention, flashinfer-python y 32 más, arma su contenido con jsonlines, pillow, jinja2 y mako, valida sus datos con Pydantic, msgspec y jsonschema, se prueba con pytest-cov, pytest-env, pytest-forked, pytest-rerunfailures, pytest-timeout y 6 más, se despliega con opentelemetry-api, opentelemetry-semantic-conventions-ai, psutil, prometheus-client, boto3 y 3 más y usa blobfile y h5py. Son 2,884,778 líneas escritas, con 2,703 archivos de prueba.

Leído el 8 de noviembre de 2026, en el commit b433473. Léela en markdown

Frontend

Interfaz 3

Rich12 archivos
matplotlib1 archivo
Plotly1 archivo

Backend

La base 1

FastAPI15 archivos

Datos 3

h5py
pyzmq13 archivos
blobfile

IA 36

torch1,611 archivos
diffusers35 archivos
safetensors17 archivos
torchvision10 archivos
xgrammar4 archivos
librosa2 archivos
mcp2 archivos
partial-json-parser2 archivos
evaluate1 archivo
lm-eval1 archivo
peft1 archivo
accelerate

24 más

apache-tvm-ffi
flash-linear-attention
flashinfer-python
NVIDIA
nvidia-cudnn-frontend
openai-codex
optimum
rouge-score
torchao
triton218 archivos
transformers168 archivos
einops20 archivos
datasets7 archivos
flash-attn7 archivos
mistral-common2 archivos
tritonclient2 archivos
llguidance1 archivo
cuda-python
openai-harmony
quack-kernels
rouge
sentencepiece
tiktoken
torch-c-dlpack-ext

Servicios 1

OpenAI3 archivos · tensorrt_llm/scaffolding/task.py, línea 22

Apoyo

La base 3

uvicorn6 archivos
starlette2 archivos
anyio7 archivos

Contenido 4

pillow34 archivos
jinja24 archivos
mako2 archivos
jsonlines

Validación 3

Pydantic34 archivos
msgspec4 archivos
jsonschema2 archivos

Pruebas 11

Pytest2,232 archivos
pytest-asyncio4 archivos
pytest-mock1 archivo
pytest-cov
pytest-env
pytest-forked
pytest-rerunfailures
pytest-timeout
pytest-xdist
parameterized30 archivos
pytest-split1 archivo

Despliegue 8

psutil7 archivos
prometheus-client6 archivos
OpenTelemetry1 archivo
opentelemetry-sdk1 archivo
opentelemetry-api
boto31 archivo
prometheus-fastapi-instrumentator1 archivo
opentelemetry-semantic-conventions-ai

Herramientas 27

click21 archivos
Setuptools1 archivo
bandit
build
meson
ninja
pre-commit
pybind11
Ruff
Sphinx
typing-extensions20 archivos
packaging15 archivos

15 más

cuda-tile4 archivos
docstring-parser1 archivo
autodoc-pydantic
click-option-group
fire
graphviz
grpcio-tools
mypy
patchelf
sphinx-argparse
sphinx-click
sphinx-copybutton
sphinx-togglebutton
sphinxcontrib-mermaid
typeguard

Otras 35

NumPy108 archivos
pyyaml56 archivos
msgpack5 archivos
pandas4 archivos
filelock3 archivos
pynvvideocodec1 archivo
rapidfuzz1 archivo
colored
lazy-loader
nvidia-ml-py
omegaconf
pydantic-settings

23 más

strenum12 archivos
nvtx4 archivos
blake33 archivos
soundfile3 archivos
uvloop3 archivos
regex2 archivos
requests2 archivos
cloudpickle1 archivo
distro1 archivo
numexpr1 archivo
ordered-set1 archivo
tabulate1 archivo
aenum
backoff
ftfy
grpcio
grpcio-health-checking
hf-transfer
jieba
lark
mpmath
protobuf
python-multipart

Otros repos con un stack parecido

Ordenados por cuánto de su stack comparten con TensorRT-LLM, y después por estrellas.

ray-projectray
44.2 k
Ray is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.
35 de 135 en comúnComparar →
sgl-projectsglang
38.5 k
SGLang is a high-performance serving framework for large language models and multimodal models.
29 de 135 en comúnComparar →
vllm-projectvllm
96.3 k
A high-throughput and memory-efficient inference and serving engine for LLMs
28 de 135 en comúnComparar →
onyx-dot-apponyx
33.3 k
Open Source AI Platform - AI Chat with advanced features that works with every LLM
27 de 135 en comúnComparar →
run-llamallama_index
52.8 k
LlamaIndex is the document processing platform for AI
25 de 135 en comúnComparar →
mudlerLocalAI
50.2 k
LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.
24 de 135 en común · GoComparar →

Preguntas frecuentes

¿En qué lenguaje está escrito TensorRT-LLM?

TensorRT-LLM está escrito en Python, con 2,884,778 líneas escritas.

¿Qué framework usa TensorRT-LLM?

TensorRT-LLM está hecho con FastAPI, anyio, uvicorn y starlette.

¿Qué base de datos usa TensorRT-LLM?

TensorRT-LLM guarda sus datos en pyzmq.

¿TensorRT-LLM usa IA?

Sí. TensorRT-LLM usa IA con accelerate, apache-tvm-ffi, cuda-python, flash-linear-attention, flashinfer-python, NVIDIA, nvidia-cudnn-frontend, openai-codex, openai-harmony, optimum, quack-kernels, rouge, rouge-score, sentencepiece, tiktoken, torch-c-dlpack-ext, torchao, torch, triton, transformers, diffusers, einops, safetensors, torchvision, datasets, flash-attn, xgrammar, librosa, mcp, mistral-common, partial-json-parser, tritonclient, evaluate, llguidance, lm-eval, peft y OpenAI.

¿Qué servicios usa TensorRT-LLM?

TensorRT-LLM usa blobfile y h5py.

¿TensorRT-LLM tiene pruebas?

Sí. TensorRT-LLM tiene 2,703 archivos de prueba y se prueba con pytest-cov, pytest-env, pytest-forked, pytest-rerunfailures, pytest-timeout, pytest-xdist, Pytest, parameterized, pytest-asyncio, pytest-mock y pytest-split.

¿Qué repos tienen un stack parecido a TensorRT-LLM?

Los que más comparten su stack:ray-project/ray sgl-project/sglang vllm-project/vllm