Cuantización de modelos de IA

La cuantización es una forma de comprimir un modelo de IA guardando sus números con menos precisión, para que ocupe menos memoria y funcione en equipos más modestos. Es lo que permite ejecutar en un ordenador doméstico modelos que, sin comprimir, necesitarían una máquina mucho más cara. A cambio, el modelo pierde algo de calidad, y pierde más cuanto más se comprime.

Un modelo es, en el fondo, una enorme lista de números. Guardados con toda su precisión ocupan mucho; si se redondean, ocupan bastante menos y el modelo sigue funcionando casi igual. Por eso, al descargar un modelo, verás etiquetas como Q4, Q5 u Q8: el número indica, más o menos, cuántos bits se usan para cada valor, y menos bits significa más compresión. Lo que confunde es pensar que el más comprimido es siempre peor opción: muchas veces rinde mejor un modelo grande algo comprimido que uno pequeño sin comprimir.

La cuantización es de lo primero que te encuentras en cuanto empiezas a descargar modelos locales, y con más de 50 probados no me ha quedado más remedio que entenderla. Qué es, explicado sin jerga, y por qué importa para tu tarjeta gráfica lo cuento en «Más de cincuenta modelos probados en casa». Si empiezas, prueba primero un nivel intermedio, como Q4 o Q5, y cambia solo si notas que el modelo se equivoca más de la cuenta.