导入模型

目录

• 导入Safetensors模型
• 导入GGUF模型
• 在ollama.com上分享模型

从Safetensors权重导入模型

首先创建Modelfile，其中的FROM命令指向包含Safetensors权重的目录：

FROM /path/to/safetensors/directory

如果Modelfile与权重位于同一目录，可以使用FROM .。

现在，在创建Modelfile的目录中运行ollama create：

ollama create my-model

最后，测试模型：

ollama run my-model

导入GGUF模型

Ollama不会在导入时量化GGUF模型。请先使用GGUF工具准备和量化它，例如llama.cpp的llama-quantize。

导入单文件GGUF模型时，创建包含以下内容的Modelfile：

FROM /path/to/file.gguf

对分片GGUF模型，保留原始分片文件名，并使用能够匹配每个分片的通配符。

FROM /path/to/model-*.gguf

创建Modelfile后，使用ollama create构建模型。

ollama create my-model

在ollama.com上分享模型

可以将创建的模型推送到ollama.com，让其他用户试用。

首先，在浏览器中打开Ollama注册页面。已有账户可以跳过这一步。

Username字段会成为模型名称的一部分，例如jmorganca/mymodel，因此请确认你愿意使用所选用户名。

创建账户并登录后，打开Ollama密钥设置页面。

按照页面指引找到你的Ollama公钥。

点击Add Ollama Public Key按钮，将Ollama公钥内容复制并粘贴到文本框中。

向ollama.com推送模型前，先确保模型名称包含正确的用户名。可能需要用ollama cp复制模型，赋予正确名称。确认名称后，使用ollama push将其推送到ollama.com。

ollama cp mymodel myuser/mymodel
ollama push myuser/mymodel

模型推送完成后，其他用户可以用以下命令拉取并运行：

ollama run myuser/mymodel