¿Cuánta VRAM necesita Llama 3.3 70B?
Llama 3.3 70B tiene 70 mil millones de parámetros. Lo que eso cuesta en memoria de GPU depende por completo de la cuantización con la que lo ejecutes.
38.4 GB
Ejecutando Q4 con un contexto de 4K tokens, que es lo que usa la mayoría.
VRAM según la cuantización
| Cuantización | Pesos | Caché KV | Total |
|---|---|---|---|
| F16 | 130.4 GB | 1.3 GB | 132.1 GB |
| Q8 | 65.2 GB | 1.3 GB | 66.9 GB |
| Q5 | 44.8 GB | 1.3 GB | 46.6 GB |
| Q4 | 36.7 GB | 1.3 GB | 38.4 GB |
Las cifras son para un contexto de 4K tokens. La caché KV crece de forma lineal con el contexto, y por eso un modelo que entra holgado en 4K puede dejar de caber en 32K sin que los pesos cambien nada.
Gráficas donde cabe en Q4
Radeon PRO W790048 GB
RTX 6000 Ada48 GB
RTX A600048 GB
A100 PCIe80 GB
H100 PCIe80 GB
M2 Max96 GB
De menor a mayor. La tarjeta más barata donde el modelo entra es más útil que la más grande donde también entra.
Otro contexto, otra cifra
Esta página fija el contexto en 4K. Ajusta tu contexto y cuantización y la calculadora recalcula el desglose completo.
Abrir la calculadora