¿Cuánta VRAM necesita DeepSeek R1 7B?
DeepSeek R1 7B tiene 7.6 mil millones de parámetros. Lo que eso cuesta en memoria de GPU depende por completo de la cuantización con la que lo ejecutes.
4.7 GB
Ejecutando Q4 con un contexto de 4K tokens, que es lo que usa la mayoría.
VRAM según la cuantización
| Cuantización | Pesos | Caché KV | Total |
|---|---|---|---|
| F16 | 14.2 GB | 0.2 GB | 14.9 GB |
| Q8 | 7.1 GB | 0.2 GB | 7.8 GB |
| Q5 | 4.9 GB | 0.2 GB | 5.6 GB |
| Q4 | 4.0 GB | 0.2 GB | 4.7 GB |
Las cifras son para un contexto de 4K tokens. La caché KV crece de forma lineal con el contexto, y por eso un modelo que entra holgado en 4K puede dejar de caber en 32K sin que los pesos cambien nada.
Gráficas donde cabe en Q4
RTX 308010 GB
RTX 306012 GB
RTX 4070 Super12 GB
RTX 507012 GB
RX 6900 XT16 GB
RX 7800 XT16 GB
De menor a mayor. La tarjeta más barata donde el modelo entra es más útil que la más grande donde también entra.
Otro contexto, otra cifra
Esta página fija el contexto en 4K. Ajusta tu contexto y cuantización y la calculadora recalcula el desglose completo.
Abrir la calculadora