Calculadora de VRAM para LLM.

Aproximadamente el número de parámetros por los bytes de cada parámetro, más el contexto. Un modelo de 7000 millones a 4 bits necesita unos 4 GB, a 8 bits unos 7 GB y en precisión completa de 16 bits unos 14 GB. Uno de 70B a 4 bits ronda los 40 GB, fuera del alcance de cualquier tarjeta de consumo.

Guarda cada peso en menos bits, así que el modelo encoge más o menos en proporción. Pasar de 16 a 8 bits es casi gratis en calidad; 4 bits es el punto habitual de equilibrio y la pérdida es pequeña para la mayoría de usos; por debajo de 4 bits la degradación se nota.

Sí: las capas se reparten entre tarjetas y las capacidades suman, así que dos tarjetas de 16 GB pueden alojar un modelo de 30 GB. Cuenta con perder algo por el tráfico entre ellas, y ten en cuenta que la tarjeta más lenta marca el ritmo.

Lo que no cabe se desborda a la memoria del sistema, y esa parte funciona a una fracción de la velocidad, porque la memoria del procesador es mucho más lenta que la de la tarjeta. Un modelo que cabe casi entero es usable; uno que casi no cabe, no.

Sí, y se olvida constantemente. La caché de atención crece con el número de tokens en juego, y con contextos largos puede ocupar más que los propios pesos del modelo. Dimensiona para el contexto que piensas usar, no para el más pequeño.