¿Cuánta VRAM necesita DeepSeek R1 32B?
DeepSeek R1 32B tiene 32.5 mil millones de parámetros. Lo que eso cuesta en memoria de GPU depende por completo de la cuantización con la que lo ejecutes.
18.5 GB
Ejecutando Q4 con un contexto de 4K tokens, que es lo que usa la mayoría.
VRAM según la cuantización
| Cuantización | Pesos | Caché KV | Total |
|---|---|---|---|
| F16 | 60.5 GB | 1.0 GB | 62.0 GB |
| Q8 | 30.3 GB | 1.0 GB | 31.8 GB |
| Q5 | 20.8 GB | 1.0 GB | 22.3 GB |
| Q4 | 17.0 GB | 1.0 GB | 18.5 GB |
Las cifras son para un contexto de 4K tokens. La caché KV crece de forma lineal con el contexto, y por eso un modelo que entra holgado en 4K puede dejar de caber en 32K sin que los pesos cambien nada.
Gráficas donde cabe en Q4
RX 7900 XT20 GB
RX 7900 XTX24 GB
RTX 309024 GB
RTX 3090 Ti24 GB
RTX 409024 GB
RTX 509032 GB
De menor a mayor. La tarjeta más barata donde el modelo entra es más útil que la más grande donde también entra.
Otro contexto, otra cifra
Esta página fija el contexto en 4K. Ajusta tu contexto y cuantización y la calculadora recalcula el desglose completo.
Abrir la calculadora