LocalAI vs TensorRT-LLM
LocalAI y TensorRT-LLM comparten 24 tecnologías: MCP, OpenAI, anyio, FastAPI, uvicorn, matplotlib, accelerate, einops, flash-attn, sentencepiece, tiktoken, torchao, torchvision, torch, transformers, diffusers, librosa, datasets, optimum, peft, safetensors, pillow, jinja2 y OpenTelemetry. LocalAI está escrito en Go y TensorRT-LLM en Python.
En qué coinciden y en qué se diferencian
LocalAI
LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, video - on any hardware. No GPU required.
Go50.2 kLeído el 5 de noviembre de 2026, en el commit efc6f93¿Con qué está hecho LocalAI?Solo en LocalAI
- React
- net/http
- Echo
pyarrow
s3
- NATS.io
- Postgres
- github.com/glebarez/sqlite
- SQLite
- Hugging Face
- Lightning
- Tokio
react-router-dom
- Vite
- Gradio
- gorm.io/gorm
- github.com/nats-io/jwt/v2
- github.com/nats-io/nkeys
- golang.org/x/oauth2
github.com/aws/aws-sdk-go-v2/credentials
github.com/coreos/go-oidc/v3
- bitsandbytes
- conformer
- coqui-tts
llama-cpp-python
- llvmlite
- Model Context Protocol
- ModelScope
- ONNX
- onnxruntime-gpu
openai-go
- phonemizer
- s3tokenizer
scikit-image
- spacy-pkuseg
- vector-quantize-pytorch
mlx
opencv-python
insightface
- mlx-lm
torchaudio
- vLLM
- onnxruntime
sglang
- faster-whisper
funasr
- kokoro
- mlx-audio
- QWen
- rerankers
sentence-transformers
tokenizers
trl
- whisperx
av
- sox
- torchcodec
github.com/go-audio/wav
github.com/charmbracelet/glamour
- github.com/dhowden/tag
github.com/microcosm-cc/bluemonday
- golang.org/x/image
imageio
imageio-ffmpeg
loguru
- go.opentelemetry.io/otel/metric
- Docker
tracing
github.com/aws/aws-sdk-go-v2
github.com/aws/aws-sdk-go-v2/config
- github.com/Microsoft/hcsshim
- go.opentelemetry.io/otel/exporters/prometheus
- go.opentelemetry.io/otel/sdk/metric
- Prometheus
tracing-subscriber
fontsource-variable
- CodeMirror
- @lezer/highlight
yaml
- dompurify
highlight.js
marked
En común
TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
Python15 kLeído el 8 de noviembre de 2026, en el commit b433473¿Con qué está hecho TensorRT-LLM?Solo en TensorRT-LLM
- blobfile
h5py
- pyzmq
starlette
- Rich
- Plotly
apache-tvm-ffi
- cuda-python
flash-linear-attention
flashinfer-python
- NVIDIA
nvidia-cudnn-frontend
openai-codex
- openai-harmony
- quack-kernels
- rouge
rouge-score
- torch-c-dlpack-ext
- triton
xgrammar
- mistral-common
partial-json-parser
- tritonclient
evaluate
- llguidance
lm-eval
- jsonlines
- mako
- Pydantic
msgspec
- jsonschema
- opentelemetry-api
- opentelemetry-semantic-conventions-ai
psutil
prometheus-client
- boto3
- opentelemetry-sdk
- prometheus-fastapi-instrumentator
Lado a lado
Preguntas frecuentes
¿Cuál es más grande, LocalAI o TensorRT-LLM?
La prueba: el código de NVIDIA/TensorRT-LLM en el commit b433473
¿Cuál tiene más estrellas en GitHub, LocalAI o TensorRT-LLM?
La prueba: mudler/LocalAI en GitHub
¿Cuál tiene más pruebas, LocalAI o TensorRT-LLM?
¿Cuál se actualizó más recientemente, LocalAI o TensorRT-LLM?
La prueba: los commits de NVIDIA/TensorRT-LLM en GitHub
¿Cuál tiene más commits firmados por IA, LocalAI o TensorRT-LLM?
La prueba: los commits que firmó cada herramienta en mudler/LocalAI
Mira tu código por dentro, hoy.
Pega tu repo y lo ves dibujado, parte por parte: uno mediano, en menos de un minuto.
Gratis y sin cuenta.

