flash-attention vs TensorRT-LLM
flash-attention y TensorRT-LLM comparten 7 tecnologías: apache-tvm-ffi, NVIDIA, quack-kernels, torch-c-dlpack-ext, torch, einops y triton. Los dos están escritos en Python.
En qué coinciden y en qué se diferencian
flash-attention
Fast and memory-efficient exact attention
Python25.3 kLeído el 16 de noviembre de 2026, en el commit 328dd7b¿Con qué está hecho flash-attention?Solo en flash-attention
- triton-windows
En común
apache-tvm-ffi
NVIDIA
- quack-kernels
- torch-c-dlpack-ext
- torch
- einops
- triton
TensorRT-LLM
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
Python15 kLeído el 8 de noviembre de 2026, en el commit b433473¿Con qué está hecho TensorRT-LLM?Solo en TensorRT-LLM
FastAPI
- blobfile
h5py
- pyzmq
OpenAI- anyio
uvicorn
starlette
- Rich
matplotlib
Plotly
accelerate
- cuda-python
flash-linear-attention
flashinfer-python
nvidia-cudnn-frontend
openai-codex
- openai-harmony
optimum
- rouge
rouge-score
- sentencepiece
- tiktoken
torchao
- transformers
diffusers
safetensors
torchvision
- datasets
- flash-attn
xgrammar
librosa
- MCP
- mistral-common
partial-json-parser
- tritonclient
evaluate
- llguidance
lm-eval
peft
- jsonlines
pillow
- jinja2
- mako
- Pydantic
msgspec
- jsonschema
opentelemetry-api
- opentelemetry-semantic-conventions-ai
psutil
prometheus-client
- boto3
- OpenTelemetry
opentelemetry-sdk
- prometheus-fastapi-instrumentator
Lado a lado
Preguntas frecuentes
¿Cuál es más grande, flash-attention o TensorRT-LLM?
La prueba: el código de NVIDIA/TensorRT-LLM en el commit b433473
¿Cuál tiene más estrellas en GitHub, flash-attention o TensorRT-LLM?
La prueba: Dao-AILab/flash-attention en GitHub
¿Cuál tiene más pruebas, flash-attention o TensorRT-LLM?
La prueba: el código de NVIDIA/TensorRT-LLM en el commit b433473
¿Cuál se actualizó más recientemente, flash-attention o TensorRT-LLM?
La prueba: los commits de Dao-AILab/flash-attention en GitHub
¿Cuál tiene más commits firmados por IA, flash-attention o TensorRT-LLM?
La prueba: los commits que firmó cada herramienta en Dao-AILab/flash-attention
Mira tu código por dentro, hoy.
Pega tu repo y lo ves dibujado, parte por parte: uno mediano, en menos de un minuto.
Gratis y sin cuenta.¿Repo privado? Entra con GitHub

