llama.cpp
Ejecute modelos de lenguaje y lenguaje visual a través de hardware local y en la nube.
¿Qué es llama.cpp?
llama.cpp. Ejecute modelos de lenguaje y lenguaje visual a través de hardware local y en la nube. Funciones: Motor de inferencia en C y C++; Servidor de modelos y herramientas de línea de comandos. Ejemplos de uso: Implementar un modelo local; Comparar el rendimiento de la inferencia en el hardware disponible. Revisa la documentación, la licencia, los modelos compatibles, los requisitos de hardware y los posibles costes adicionales de API o alojamiento. Haz una prueba con un proyecto pequeño y representativo antes de integrarlo en un sistema existente.
Fuente: sitio web oficial del producto. Revisado .
En qué te ayuda
- Motor de inferencia en C y C++
- Servidor de modelos y herramientas de línea de comandos
Por dónde empezar
- Implementar un modelo local
- Comparar el rendimiento de la inferencia en el hardware disponible
Antes de elegir
Revisa la documentación, la licencia, los modelos compatibles, los requisitos de hardware y los posibles costes adicionales de API o alojamiento. Haz una prueba con un proyecto pequeño y representativo antes de integrarlo en un sistema existente.
Esta ficha se basa en la información publicada por el proveedor. No hemos probado todas las funciones de forma independiente.
Precios
Check provider. Source code is available. Check the project license and documentation; model APIs, compute, hosting, and commercial services may have separate costs.
Visitar llama.cpp