Más de cincuenta modelos probados en casa

He probado más de cincuenta modelos de inteligencia artificial en mis propias máquinas. Unos se han quedado a vivir conmigo y otros duraron lo que tarda uno en darse cuenta de que inventan más que un vendedor de crecepelo. Aquí cuento qué es un modelo local, qué significan esas etiquetas raras con números y letras, y la regla que sigo hoy para no volver a llenar el disco de basura.

Seguro que has visto el titular: «Este modelo gratis supera a GPT», «El modelo que puedes ejecutar en tu portátil y que humilla a los de pago». Cada pocas semanas sale uno nuevo, y cada pocas semanas alguien jura que esta vez sí.

Yo me lo creí. Durante una temporada descargaba todo lo que salía, como quien colecciona cromos. Llegué a tener más de 400 GB de modelos en el disco de un solo servidor, hasta que una mañana una copia de seguridad falló porque no quedaba espacio y tuve que sentarme a mirar qué tenía allí. La respuesta: muchos modelos que había abierto una vez, les había preguntado algo, había dicho «ah, pues no está mal», y no había vuelto a tocar.

Del hierro, la parte de la IA local que se toca, hablé en Qué equipo hace falta para tener tu propia inteligencia artificial. Aquí hablo de lo que se mete dentro: los modelos.

Un modelo es, en el fondo, un fichero muy grande lleno de números. Esos números son los que, cuando le escribes algo, calculan la respuesta palabra a palabra. No hay magia ni base de datos con frases guardadas: hay un fichero que pesa varios gigas y un montón de cuentas.

Lo importante para quien empieza es que no todos los modelos se pueden descargar. Los que hay detrás de ChatGPT o de Claude son cerrados: solo se usan a través de internet, en los servidores de la empresa. Los que puedes tener en casa son los de «pesos abiertos», que sus creadores publican para que cualquiera los baje y los ejecute. Los modelos para IA local que más vas a ver pertenecen a unas pocas familias: Llama, Qwen, DeepSeek, Gemma y Mistral, cada una con versiones de distintos tamaños.

Y un detalle que a mí me costó entender: el modelo, solo, no hace nada. Es como un disco sin tocadiscos. Necesita un programa que lo cargue y lo ejecute, y de eso va Ollama, LM Studio, llama.cpp y Unsloth, cuál uso para cada cosa.

Cuando buscas un modelo, casi siempre lleva un número con una B detrás: 7B, 14B, 32B, 70B. La B es de billion, en inglés, que aquí son miles de millones. Indica cuántos parámetros tiene el modelo, es decir, cuántos de esos números que decía antes. Para entendernos: es su tamaño.

Más grande suele significar más capaz, pero también pide más memoria, sobre todo de la tarjeta gráfica. Y aquí es donde choca la ilusión con la realidad de tu equipo.

Mi ejemplo más claro fue con dos tamaños de Qwen, el de 7B y el de 32B. El pequeño ocupaba unos 5 GB y respondía casi al instante; el grande necesitaba cerca de 20 GB y tardaba muchísimo más. La diferencia se notaba en cuanto le pedía algo con un poco de enredo: resumir un contrato de doce páginas sin dejarse cláusulas. El pequeño se comía la mitad; el grande no. Para clasificar correos, en cambio, no noté casi nada. Esa fue mi primera lección: el tamaño importa según para qué.

Aquí viene la palabra que más asusta y que menos debería: cuantización.

Si un modelo es una lista enorme de números, cada número se puede guardar con mucha precisión o con poca. Con toda la precisión ocupa muchísimo. Si los redondeas, el fichero adelgaza bastante y el modelo sigue funcionando casi igual. Eso es cuantizar: comprimir guardando los números con menos precisión. Ocupa menos memoria a cambio de perder algo de calidad, y pierde más cuanto más aprietas.

Por eso verás etiquetas como Q4, Q5 u Q8 al descargar. El número indica, más o menos, cuántos bits se usan para cada valor: menos bits, más compresión y menos memoria. Ojo con un matiz: estas etiquetas son propias del formato GGUF, el que usan llama.cpp, Ollama o LM Studio, y dentro de él hay variantes (Q4_K_M, Q4_0...) que no comprimen igual. Otros formatos y programas usan otros nombres y otros métodos, así que un «Q4» de un sitio no tiene por qué ser exactamente lo mismo que un «4 bits» de otro.

La sorpresa, la que me hizo cambiar de costumbres: muchas veces rinde más un modelo grande algo comprimido que uno pequeño sin comprimir. Yo hacía justo lo contrario, porque «comprimido» me sonaba a «estropeado».

Lo comprobé con Qwen 3 de 8B en Q4_K_M y en Q8, en el servidor principal (la RTX 4070 de 12 GB, donde caben las dos versiones enteras), con Ollama y el mismo contexto de 8.192 tokens. La versión Q4 iba aproximadamente un 30 % más rápida: unos 35 tokens por segundo frente a 27 y, en mi tarea de resumir actas de reunión en español, de veinte actas, solo en dos noté algo peor: algún acuerdo resumido de más. Es una prueba mía, con pocas muestras y mi criterio como vara de medir, no un laboratorio. La Q8 era algo más fina, pero no tanto como para pagar la diferencia de memoria.

Esto explica también por qué el mismo modelo aparece en decenas de variantes con nombres casi iguales. No es que haya decenas de modelos: es uno solo, en varios tamaños y varios niveles de compresión, subido a veces por gente distinta. Al principio parece un laberinto; cuando entiendes las dos variables, tamaño y compresión, se ordena solo.

El primero que puse a funcionar fue un Llama de 7B, en la primavera de 2024, y me pareció un milagro que un ordenador de casa me contestara algo con sentido. Luego pasé por Mistral, Qwen, Gemma y DeepSeek, más o menos en ese orden, con alguna excursión rara por modelos especializados que no volveré a mencionar por vergüenza.

Pronto me di cuenta de que probar un modelo «a ver qué tal» no sirve para nada. Le haces dos preguntas simpáticas, te contesta bien y te quedas con la impresión. Así que me hice un pequeño examen fijo. Cada modelo nuevo pasa por las mismas tareas: resumir en español un documento técnico de unas diez páginas, clasificar treinta correos reales en cinco categorías, extraer datos de una factura en formato ordenado y escribir una función sencilla en Python. Siempre los mismos ejemplos, para poder comparar. Y las mismas condiciones: las instrucciones guardadas en un fichero de texto que copio tal cual, temperatura baja (0,2) para que no improvise, contexto de 8.192 tokens y, siempre que cabe, la misma máquina y el mismo programa.

Sobre los datos del examen: los correos y la factura son míos o de un cliente que me dio permiso, les quito nombres, direcciones y números de cuenta antes de usarlos, y todo se queda en mis máquinas.

Hubo versiones que cambiaron las cosas. La llegada de Qwen 2.5 fue la primera vez que un modelo local me escribía en español sin sonar a traducción automática. Y los modelos de razonamiento destilados de DeepSeek me enseñaron que un modelo pequeño que «piensa antes de hablar» puede acertar más, aunque tarde el doble.

Los resultados los apunto en una hoja de cálculo sencilla: modelo, versión exacta y fecha de descarga, tamaño, cuantización, máquina, programa, nota de cero a cinco en cada tarea y una columna de comentarios. Junto a la nota guardo el dato en bruto, porque un 4 solo no dice nada: en los correos, cuántos de los treinta clasificó bien; en la factura, cuántos de los diez campos sacó correctos; en el resumen y en la función, mi valoración leyendo el resultado. Nada sofisticado, y con una sola persona corrigiendo, pero me ha evitado volver a descargar modelos que ya había descartado.

Antes de dejar uno instalado leo también su tarjeta de modelo, la ficha que publica quien lo ha hecho, y sobre todo la licencia. «Pesos abiertos» no significa que puedas hacer cualquier cosa con él: unos usan licencias permisivas y otros traen condiciones propias.

Esta tabla es una foto de septiembre de 2026 y caducará pronto; la iré actualizando.

Las licencias son las que figuraban en las tarjetas de cada modelo al revisarlas; si vas a usar alguno para un negocio, léela tú en la fuente, que pueden cambiar.

El Qwen de 14B se ha quedado porque es el que mejor equilibrio da entre velocidad y calidad en español para el trabajo repetitivo. Gemma se quedó por lo natural que escribe; si tengo que revisar un texto, lo prefiero. El pequeño de código lo uso como ayuda rápida, no para programar nada serio: para eso sigo usando Claude. El DeepSeek destilado es lento, porque no cabe entero en la gráfica y tira de la RAM, pero cuando la tarea tiene truco compensa esperar. Y el Llama de 3B está ahí porque cabe en casi cualquier cosa y me sirve para comprobar que algo funciona antes de mover un modelo grande.

La lista de borrados es más larga que la de supervivientes. Hubo un modelo que, en la tarea de la factura, se inventó un número de IBAN completo con toda la seguridad del mundo. Hubo otro que en español respondía bien las dos primeras frases y luego se pasaba al inglés sin avisar, como un invitado que se aburre de la conversación. Uno de 70B tardaba un par de minutos por respuesta en mi equipo, y la calidad no justificaba ni la mitad de esa espera. Y un par que ni siquiera arrancaron porque no cabían en la memoria y que descargué igualmente, porque leer los requisitos es para débiles.

Lo que más me desengañó, sin embargo, fueron las clasificaciones de internet. Buscar el mejor modelo para IA local en una tabla de puntuaciones sirve de poco: se miden con pruebas que no se parecen a tu trabajo y cambian cada pocas semanas. El modelo que encabezaba una de esas tablas fue de los peores en mi examen de correos.

Después de tanto descargar y borrar, mi regla es la contraria a la que seguía al principio:

1. Primero, la tarea. ¿Qué quiero que haga: resumir, clasificar, escribir, programar?
2. Después, la memoria disponible, sobre todo la de la tarjeta gráfica. Eso decide qué tamaños son realistas.
3. Con esos dos datos, elijo dos o tres candidatos de familias conocidas y los paso por mis ejemplos de siempre.

Empiezo por Q4 o Q5 y solo subo de nivel si el modelo se equivoca más de la cuenta. Y, sobre todo, no descargo veinte a la vez. Ya lo hice y no aprendí nada, salvo a comprar discos.

¿Qué hay de verdad en la promesa del modelo gratis que supera a los de pago? Hay modelos locales muy buenos para tareas concretas, y eso ya es mucho. Pero el que lo hace todo, en tu ordenador y gratis, no lo he encontrado. Me ha costado unas 60 horas repartidas en varios meses llegar a una tabla de cinco modelos.

Con qué programas muevo estos modelos lo cuento en Ollama, LM Studio, llama.cpp y Unsloth, cuál uso para cada cosa. Y el balance de si todo esto sirve para algo está en ¿Para qué me sirve tener la inteligencia artificial en casa?.