llama.cpp
Execute modelos de linguagem e de linguagem de visão em hardware local e em nuvem.
O que é llama.cpp?
llama.cpp. Execute modelos de linguagem e de linguagem de visão em hardware local e em nuvem. Funcionalidades: Motor de inferência C e C++; Servidor de modelo e ferramentas de linha de comando. Exemplos de utilização: Implante um modelo local; Compare o desempenho de inferência em hardware disponível. Consulte a documentação, a licença, os modelos suportados, os requisitos de hardware e os eventuais custos adicionais de API ou alojamento. Teste num projeto pequeno e representativo antes de integrar num sistema existente.
Fonte: site oficial do produto. Verificado .
Como pode ajudar
- Motor de inferência C e C++
- Servidor de modelo e ferramentas de linha de comando
Por onde começar
- Implante um modelo local
- Compare o desempenho de inferência em hardware disponível
Antes de escolher
Consulte a documentação, a licença, os modelos suportados, os requisitos de hardware e os eventuais custos adicionais de API ou alojamento. Teste num projeto pequeno e representativo antes de integrar num sistema existente.
Este perfil se baseia nas informações publicadas pelo fornecedor. Não testamos todos os recursos de forma independente.
Preços
Check provider. Source code is available. Check the project license and documentation; model APIs, compute, hosting, and commercial services may have separate costs.
Visitar llama.cpp