TensorRT-LLM vs vllm
TensorRT-LLM y vllm comparten 28 tecnologías: FastAPI, pyzmq, OpenAI, starlette, NVIDIA, quack-kernels, sentencepiece, tiktoken, torch, triton, transformers, einops, safetensors, torchvision, datasets, MCP, peft, pillow, jinja2, Pydantic, msgspec, jsonschema, opentelemetry-api, psutil, prometheus-client, OpenTelemetry, opentelemetry-sdk y prometheus-fastapi-instrumentator. Los dos están escritos en Python.
En qué coinciden y en qué se diferencian
TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
Python15 kLeído el 8 de noviembre de 2026, en el commit b433473¿Con qué está hecho TensorRT-LLM?Solo en TensorRT-LLM
- blobfile
h5py
- anyio
uvicorn
- Rich
matplotlib
- Plotly
accelerate
apache-tvm-ffi
- cuda-python
flash-linear-attention
flashinfer-python
nvidia-cudnn-frontend
openai-codex
- openai-harmony
optimum
- rouge
rouge-score
- torch-c-dlpack-ext
torchao
diffusers
- flash-attn
xgrammar
librosa
- mistral-common
partial-json-parser
- tritonclient
evaluate
- llguidance
lm-eval
- jsonlines
- mako
- opentelemetry-semantic-conventions-ai
- boto3
En común
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
Python96.3 kLeído el 4 de noviembre de 2026, en el commit 75f6761¿Con qué está hecho vllm?Solo en vllm
Lado a lado
Preguntas frecuentes
¿Cuál es más grande, TensorRT-LLM o vllm?
La prueba: el código de NVIDIA/TensorRT-LLM en el commit b433473
¿Cuál tiene más estrellas en GitHub, TensorRT-LLM o vllm?
La prueba: vllm-project/vllm en GitHub
¿Cuál tiene más pruebas, TensorRT-LLM o vllm?
La prueba: el código de NVIDIA/TensorRT-LLM en el commit b433473
¿Cuál se actualizó más recientemente, TensorRT-LLM o vllm?
La prueba: los commits de NVIDIA/TensorRT-LLM en GitHub
¿Cuál tiene más commits firmados por IA, TensorRT-LLM o vllm?
La prueba: los commits que firmó cada herramienta en vllm-project/vllm
Mira tu código por dentro, hoy.
Pega tu repo y lo ves dibujado, parte por parte: uno mediano, en menos de un minuto.
Gratis y sin cuenta.

