https://github.com/ollama/ollama 93.7k
Ollama 是一个开源工具,它允许用户在本地设备上轻松运行和自定义大型语言模型,例如llama3和gemma2 和Qwen2.5。
ollama run gemma:2b
Ollama启动服务: ollama serve
, 会在本地的11434端口启动一个服务
curl http://localhost:11434/api/chat -d '{
"model": "gemma:2b",
"messages": [
{ "role": "user", "content": "你好" }
]
}'
详情接口: https://github.com/ollama/ollama/blob/main/docs/api.md#generate-a-chat-completion