Capítulo 1

Dos cargas, dos límites completamente distintos

La memoria de vídeo se comporta de forma distinta según lo que le pidas, y la diferencia no es de grado: es de naturaleza.

Los juegos se degradan. Los modelos se niegan.

En un juego, quedarse corto de memoria de vídeo es un problema de rendimiento. El sistema vuelca datos a la memoria del sistema, que es drásticamente más lenta, y lo notas como tirones y caídas bruscas de fotogramas, no como un fallo. Bajas las texturas y el problema desaparece. Es molesto, pero es una ruleta que puedes girar.

Ejecutar un modelo de lenguaje en local es binario. Los pesos caben en la memoria de vídeo o no caben. Si no caben, o descargas capas a la memoria del sistema y ves el rendimiento hundirse en un orden de magnitud, o la carga falla directamente. No hay equivalente a bajar las texturas.

Por eso los consejos de compra escritos para gaming se trasladan tan mal al trabajo con IA, y por eso una tarjeta que va sobrada a alta resolución puede ser inútil para un modelo que una tarjeta mucho más barata con más memoria maneja sin problema.

Estado

Márcalo como leído para no perder por dónde ibas.

Capítulo 2

Qué consume realmente la memoria

En juegos

La resolución de las texturas domina, y escala con la resolución de salida: los mismos ajustes cuestan bastante más en 4K que en 1080p. El trazado de rayos añade sus propias estructuras encima. Las técnicas de generación de fotogramas mantienen búferes adicionales. Nada de esto son extras opcionales en términos de presupuesto; son el presupuesto.

En modelos de lenguaje

Tres cosas compiten por el espacio:

  • Los pesos. El grueso, y una función directa del número de parámetros y la cuantización.
  • La ventana de contexto. Crece con cuánta conversación o documento mantienes en juego, y crece más rápido de lo que la gente espera en contextos largos.
  • La sobrecarga de trabajo. El espacio propio del runtime, pequeño pero no despreciable.

La cuantización es la palanca que más importa. Almacenar los pesos con menor precisión reduce el modelo sustancialmente, a cierto coste en calidad de salida — y con frecuencia es la diferencia entre que un modelo funcione en tu tarjeta o no funcione en absoluto.

La calculadora de VRAM resuelve esto para un modelo, cuantización y contexto concretos en vez de dejarte estimarlo.

Estado

Márcalo como leído para no perder por dónde ibas.

Capítulo 3

La capacidad no es el único número

Dos tarjetas con idéntica capacidad de memoria pueden rendir de forma muy distinta, porque la capacidad responde a si algo cabe mientras que el ancho de banda responde a a qué velocidad funciona una vez cabe.

Generar texto está abrumadoramente limitado por el ancho de banda de memoria. El hardware recorre los pesos del modelo por cada token que produce, así que la velocidad que percibes sigue mucho más de cerca lo rápido que la tarjeta puede mover memoria que su potencia bruta de cálculo. Una tarjeta con capacidad generosa pero ancho de banda modesto cargará un modelo grande sin quejarse y luego generará texto despacio.

La consecuencia práctica

Compra capacidad para los modelos que pretendes ejecutar, y después ancho de banda para lo rápido que los quieras. Equivocar el orden en cualquier dirección sale caro: con poca capacidad el modelo no cargará siquiera; con capacidad de sobra en un bus lento has comprado la posibilidad de ejecutar algo a una velocidad que no vas a tolerar.

El estimador de velocidad de inferencia convierte ancho de banda y tamaño de modelo en una cifra esperada de tokens por segundo, que es algo más útil de comparar que cualquiera de las dos especificaciones por separado.

Estado

Márcalo como leído para no perder por dónde ibas.

Capítulo 4

Cifras resueltas: qué cabe en 8, 12, 16 y 24 GB

Las cifras de abajo son lo que devuelve la calculadora de VRAM en Q4_K_M, el formato habitual para empezar: pesos a 4,5 bits cada uno, la caché KV para el contexto indicado y medio gigabyte de consumo propio del programa.

  • Llama 3.1 8B: 5,7 GB con un contexto de 8K y 8,7 GB con 32K. Holgado en una tarjeta de 8 GB para conversar, pero un documento largo la desborda.
  • Qwen3 14B: 9,5 GB con 8K y 13,3 GB con 32K. Una tarjeta de 12 GB para contextos cortos; 16 GB en cuanto le pasas archivos largos.
  • Qwen 2.5 32B: 19,5 GB con 8K y 25,5 GB con 32K. Cabe en una tarjeta de 24 GB con un contexto normal y deja de caber con uno largo: el mismo modelo y la misma tarjeta.
  • Llama 3.3 70B: 39,7 GB con 8K. Fuera del alcance de cualquier tarjeta de consumo, incluida una de 32 GB; hacen falta dos tarjetas de 24 GB o un formato más bajo.

El contexto es la cifra que pilla por sorpresa

En Qwen 2.5 32B la caché pasa de 2 GB con 8K a 8 GB con 32K: un cuarto de gigabyte por cada mil tokens. Los pesos no cambian; la conversación sí. Si vas a pegar documentos largos o a mantener una conversación larga, dimensiona para el contexto que vas a usar de verdad, no para el de una prueba rápida.

Deja margen

Los programas reservan sus propios búferes, el escritorio también usa algo de memoria de vídeo y los modelos multimodales añaden un codificador de imágenes. Apunta a uno o dos gigabytes libres por encima del total de la calculadora. Si un modelo solo cabe sin nada de sobra, el formato inmediatamente inferior suele ser mejor apuesta.

Estado

Márcalo como leído para no perder por dónde ibas.