TensorRT-LLM vs sglang
TensorRT-LLM y sglang comparten 29 tecnologías: FastAPI, blobfile, pyzmq, OpenAI, uvicorn, apache-tvm-ffi, cuda-python, flashinfer-python, NVIDIA, openai-harmony, quack-kernels, sentencepiece, tiktoken, torch-c-dlpack-ext, torch, transformers, einops, torchvision, datasets, xgrammar, mistral-common, partial-json-parser, llguidance, pillow, Pydantic, msgspec, psutil, prometheus-client y OpenTelemetry. Los dos están escritos en Python.
En qué coinciden y en qué se diferencian
TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
Python15 kLeído el 8 de noviembre de 2026, en el commit b433473¿Con qué está hecho TensorRT-LLM?Solo en TensorRT-LLM
h5py
- anyio
starlette
- Rich
matplotlib
- Plotly
accelerate
flash-linear-attention
nvidia-cudnn-frontend
openai-codex
optimum
- rouge
rouge-score
torchao
- triton
diffusers
safetensors
- flash-attn
librosa
- MCP
- tritonclient
evaluate
lm-eval
peft
- jsonlines
- jinja2
- mako
- jsonschema
- opentelemetry-api
- opentelemetry-semantic-conventions-ai
- boto3
- opentelemetry-sdk
- prometheus-fastapi-instrumentator
En común
- FastAPI
- blobfile
- pyzmq
OpenAIuvicorn
apache-tvm-ffi
- cuda-python
flashinfer-python
- NVIDIA
- openai-harmony
- quack-kernels
- sentencepiece
- tiktoken
- torch-c-dlpack-ext
- torch
- transformers
- einops
torchvision
- datasets
xgrammar
- mistral-common
partial-json-parser
- llguidance
pillow
- Pydantic
msgspec
psutil
prometheus-client
- OpenTelemetry
sglang
SGLang is a high-performance serving framework for large language models and multimodal models.
Python38.5 kLeído el 6 de noviembre de 2026, en el commit 0afb736¿Con qué está hecho sglang?Solo en sglang
- axum
- tower
- axum-server
- Redis
- Anthropic
- Tokio
- AIOHTTP
- wasmtime
- indicatif
- jsonwebtoken
- humming-kernels
- compressed-tensors
- gguf
tokenizers
- ModelScope
- tch
torchaudio
- hf-hub
- rmcp
timm
minijinja
av
- torchcodec
- image
validator
tracing
tracing-subscriber
- k8s-openapi
kube
- metrics
tracing-appender
- metrics-exporter-prometheus
opentelemetry-otlp
tracing-log
- tracing-opentelemetry
Lado a lado
Preguntas frecuentes
¿Cuál es más grande, TensorRT-LLM o sglang?
La prueba: el código de sgl-project/sglang en el commit 0afb736
¿Cuál tiene más estrellas en GitHub, TensorRT-LLM o sglang?
La prueba: sgl-project/sglang en GitHub
¿Cuál tiene más pruebas, TensorRT-LLM o sglang?
La prueba: el código de sgl-project/sglang en el commit 0afb736
¿Cuál se actualizó más recientemente, TensorRT-LLM o sglang?
La prueba: los commits de NVIDIA/TensorRT-LLM en GitHub
¿Cuál tiene más commits firmados por IA, TensorRT-LLM o sglang?
La prueba: los commits que firmó cada herramienta en sgl-project/sglang
Mira tu código por dentro, hoy.
Pega tu repo y lo ves dibujado, parte por parte: uno mediano, en menos de un minuto.
Gratis y sin cuenta.

