ai-infra-book vs vllm
ai-infra-book y vllm comparten 39 tecnologías: FastAPI, gitdb, pyzmq, Hugging Face, starlette, Ray, AIOHTTP, mkdocs-material, apache-tvm-ffi, cuda-python, cupy-cuda13x, flashinfer-python, MCP, mistral-common, nixl, nvidia-cudnn-frontend, OpenAI, sentencepiece, tiktoken, timm, torch, transformers, torchvision, triton, safetensors, einops, torchaudio, cuda-bindings, tokenizers, markupsafe, markdown, pillow, jinja2, annotated-types, msgspec, Pydantic, OpenTelemetry, psutil y prometheus-client. Los dos están escritos en Python.
En qué coinciden y en qué se diferencian
ai-infra-book
《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验
Python8 kLeído el 17 de noviembre de 2026, en el commit 3bdcb4f¿Con qué está hecho ai-infra-book?Solo en ai-infra-book
- blobfile
- huey
pyarrow
- Redis
- s3fs
- s3transfer
- smart-open
tensorboard-data-server
- transferqueue
- Anthropic
- anyio
Flask
- flask-cors
- graphene
- graphql-core
- graphql-relay
- hypercorn
- jupyter-core
- kui
- Lightning
quart
tornado
uvicorn
werkzeug
- cycler
fonttools
- blessed
contourpy
Gradio
- kaleido
- matplotlib-inline
Plotly
prompt-toolkit
pyecharts
seaborn
matplotlib
- alembic
- SQLAlchemy
- cryptography
itsdangerous
accelerate
- comet-ml
- cuda-core
- cuda-toolkit
- decord2
descript-audio-codec
e2b
- einx
- emerging-optimizers
evaluate
fla-core
flash-linear-attention
flashinfer-cubin
jaxlib
- llvmlite
- loralib
- mamba-ssm
- math-verify
- megatron-bridge
- ml-dtypes
- MLflow
mlx
- mlx-lm
mooncake-transfer-engine-cuda13
nltk
- nvidia-cublas
- nvidia-cudnn-cu12
- nvidia-cudnn-cu13
- nvidia-cufft
- nvidia-cusolver
- nvidia-cusparse
- nvshmem4py-cu13
onnx-ir
onnxscript
- open-clip-torch
openai-agents
- opt-einsum
peft
pythainlp
- qwen-vl-utils
rouge-score
- sacrebleu
- scikit-learn
- sglang-router
- silero-vad
- sklearn-crfsuite
skops
- spaCy
spacy-legacy
stanza
thinc
- torch-c-dlpack-ext
tensordict
- flash-attn
- megatron-core
- datasets
- xformers
- ONNX
deepspeed
diffusers
jax
librosa
- causal-conv1d
- ModelScope
- nvidia-cuda-runtime
- torchdata
- transformer-engine
- cairosvg
- defusedxml
imageio
imageio-ffmpeg
lxml
- mako
markdown-it-py
- mdurl
- nbformat
- pylatexenc
- pytablewriter
- python-magic
pymupdf
av
- dacite
- fastjsonschema
- jsonschema
- jsonschema-specifications
- pathvalidate
- referencing
- typepy
- aiobotocore
- boto3
- botocore
- colorlog
- docker
- gpustat
- Gunicorn
- opencensus-context
opentelemetry-exporter-prometheus
opentelemetry-semantic-conventions
- spacy-loggers
swanlab
loguru
En común
FastAPI
- gitdb
- pyzmq
- Hugging Face
starlette
- Ray
- AIOHTTP
mkdocs-material
apache-tvm-ffi
- cuda-python
cupy-cuda13x
flashinfer-python
- MCP
- mistral-common
- nixl
nvidia-cudnn-frontend
OpenAI- sentencepiece
- tiktoken
timm
- torch
- transformers
torchvision
- triton
safetensors
- einops
torchaudio
- cuda-bindings
tokenizers
markupsafe
- markdown
pillow
- jinja2
- annotated-types
msgspec
- Pydantic
OpenTelemetry
psutil
prometheus-client
vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
Python97.1 kLeído el 17 de noviembre de 2026, en el commit 61c3895¿Con qué está hecho vllm?Solo en vllm
- axum
- Tokio
- tower
- indicatif
- AMD
- auto-round-lib
- conch-triton-kernels
cupy-cuda12x
- humming-kernels
lm-format-enforcer
mooncake-transfer-engine
mooncake-transfer-engine-rocm
NVIDIA
- openai-harmony
- oss-harmony
- quack-kernels
- vllm-bench
- vllm-chat
- vllm-engine-core-client
- vllm-llm
- vllm-managed-engine
- vllm-parser
- vllm-proto
- vllm-server
- vllm-text
- vllm-tokenizer
- xgrammar-structural-tag
llm-multimodal
- compressed-tensors
xgrammar
partial-json-parser
lmcache
vllm-xpu-kernels
- runai-model-streamer
tokenspeed-mla
- llguidance
outlines-core
- tpu-inference
- fastokens
- fastsafetensors
- hf-hub
- instanttensor
- riptoken
- tekken
- tensorizer
- tiktoken-rs
- mkdocs-material-extensions
parquet
- properdocs
- pymdown-extensions
selectolax
- xlsxwriter
- image
minijinja
- torchcodec
minijinja-contrib
validator
- opentelemetry-semantic-conventions-ai
- python-json-logger
- vllm-metrics
- vllm-tracing
tracing
tracing-futures
tracing-subscriber
- model-hosting-container-standards
- prometheus-fastapi-instrumentator
tracing-log
Lado a lado
Preguntas frecuentes
¿Cuál es más grande, ai-infra-book o vllm?
La prueba: el código de vllm-project/vllm en el commit 61c3895
¿Cuál tiene más estrellas en GitHub, ai-infra-book o vllm?
La prueba: vllm-project/vllm en GitHub
¿Cuál tiene más pruebas, ai-infra-book o vllm?
La prueba: el código de vllm-project/vllm en el commit 61c3895
¿Cuál se actualizó más recientemente, ai-infra-book o vllm?
La prueba: los commits de vllm-project/vllm en GitHub
¿Cuál tiene más commits firmados por IA, ai-infra-book o vllm?
La prueba: los commits que firmó cada herramienta en bojieli/ai-infra-book
Mira tu código por dentro, hoy.
Pega tu repo y lo ves dibujado, parte por parte: uno mediano, en menos de un minuto.
Gratis y sin cuenta.¿Repo privado? Entra con GitHub

