GPU para IA local

Para IA local, lo que más importa de una tarjeta gráfica es su memoria propia (la VRAM), más que su potencia bruta, porque decide qué tamaño de modelo puedes cargar entero. Con una gráfica de gama media ya puedes trabajar con soltura con modelos pequeños y medianos; para los grandes necesitas bastante más memoria gráfica, o varias tarjetas. Y si solo vas a probar modelos pequeños, puedes empezar incluso sin gráfica dedicada, armado de paciencia.

La VRAM funciona como el tamaño de la mesa de trabajo: si el modelo cabe entero, la gráfica va rápida; si no cabe, una parte se queda en la memoria normal del ordenador y todo se ralentiza muchísimo. Por eso a veces compensa más una tarjeta modesta con más memoria que una más rápida con menos. Otra cosa que confunde: no todas las marcas se llevan igual con las herramientas de IA. Las de NVIDIA son las más compatibles; otras también funcionan, pero conviene comprobar antes que tu programa las admite.

Antes de gastar dinero, prueba con lo que tienes y mira qué modelos se te quedan grandes; eso te dice cuánta memoria te falta de verdad. Qué gráficas uso yo, cuánta memoria tienen y cómo eso limita los modelos que puedo correr lo cuento en «Qué equipo hace falta para tener tu propia inteligencia artificial», junto con tres niveles de entrada para empezar y los errores que cometí al montar el equipo, que te pueden ahorrar alguna compra innecesaria.