llama.cpp
Exécutez des modèles de langage et de vision sur le matériel local et le cloud.
Qu’est-ce que llama.cpp ?
llama.cpp. Exécutez des modèles de langage et de vision sur le matériel local et le cloud. Fonctionnalités: Moteur d'inférence C et C++; Serveur de modèles et outils de ligne de commande. Exemples d’utilisation: Déployer un modèle local; Comparer les performances d'inférence sur le matériel disponible. Consultez la documentation, la licence, les modèles pris en charge, les exigences matérielles et les éventuels frais distincts d’API ou d’hébergement. Testez sur un petit projet représentatif avant l’intégration dans un système existant.
Source : site officiel du produit. Vérifié .
Ce que cet outil permet de faire
- Moteur d'inférence C et C++
- Serveur de modèles et outils de ligne de commande
Par où commencer
- Déployer un modèle local
- Comparer les performances d'inférence sur le matériel disponible
Avant de choisir
Consultez la documentation, la licence, les modèles pris en charge, les exigences matérielles et les éventuels frais distincts d’API ou d’hébergement. Testez sur un petit projet représentatif avant l’intégration dans un système existant.
Cette fiche repose sur les informations publiées par le fournisseur. Nous n’avons pas testé chaque fonctionnalité indépendamment.
Tarification
Check provider. Source code is available. Check the project license and documentation; model APIs, compute, hosting, and commercial services may have separate costs.
Visiter llama.cpp