llama.cpp

llama.cpp es un programa gratuito y de código abierto que sirve para ejecutar modelos de IA en tu propio ordenador de forma muy eficiente, incluso sin una tarjeta gráfica potente. Es el motor que hay debajo de varias herramientas más cómodas de IA local, y trabaja con archivos en formato GGUF, el más habitual para descargar modelos comprimidos. Para quien empieza, es más una pieza que conviene conocer que una aplicación para el día a día.

Nació para ejecutar los modelos Llama, de ahí el nombre, pero hoy funciona con muchísimas familias de pesos abiertos. Lo que despista a quien empieza es que no tiene la cara amable de otras aplicaciones: se maneja sobre todo desde la línea de órdenes (escribiendo instrucciones en una ventana de texto), aunque incluye un pequeño servidor para usarlo desde el navegador o desde otros programas. A cambio, te da más control: eliges cómo se reparte el modelo entre la gráfica y la memoria normal y puedes ajustar el rendimiento al detalle.

llama.cpp es uno de los cuatro programas con los que muevo mis modelos locales, junto a Ollama, LM Studio y Unsloth. Para qué uso cada uno, cómo acabé usando los cuatro en lugar de uno y los problemas reales que me ha dado cada cual lo cuento en «Ollama, LM Studio, llama.cpp y Unsloth, cuál uso para cada cosa». Si estás empezando, seguramente te conviene más una herramienta cómoda; llama.cpp tiene sentido cuando quieres exprimir tu equipo.