Inferencia LLM
Estimador de Velocidad.

El ancho de banda de memoria, mucho más que la potencia de cálculo. Generar cada token exige leer de memoria todo el modelo activo, así que la velocidad a la que una tarjeta mueve datos es el techo. Por eso dos tarjetas con cálculo parecido pueden diferir mucho si una tiene memoria bastante más rápida.

Casi siempre porque parte del modelo no está en ella. En cuanto los pesos se desbordan a la memoria del sistema, el ritmo se desploma. Otras causas habituales son un contexto largo, un runtime que cae a una ruta no optimizada, y límites térmicos o de potencia en un chasis pequeño.

Puedes, y con modelos pequeños es perfectamente usable. La memoria del sistema es varias veces más lenta que la de una gráfica, así que espera tokens por segundo de un solo dígito en cualquier modelo de tamaño: bien para trabajo por lotes, frustrante para conversar.

Sí, y por el mismo motivo por el que ahorra memoria: hay menos datos que leer por token. Pasar de 16 a 4 bits suele dar una mejora grande de velocidad en el mismo hardware, además de permitir que quepa un modelo mayor.

Se lee a unos 5 a 10 tokens por segundo, así que por encima de 15 la conversación se siente inmediata. Por debajo de 5 resulta incómodo quedarse mirando, aunque sigue valiendo para trabajo que dejas corriendo.