Ollama更改下载环境部署
1、下载ollama_install.sh并保存
curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
2、使用github文件加速替换github下载地址
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.9.1/ollama-linux|g' ollama_install.sh
sed -i 's|https://ollama.com/download/ollama-linux|https://ghproxy.cn/https://github.com/ollama/ollama/releases/download/v0.9.1/ollama-linux|g' ollama_install.sh
3、替换后增加可执行权限
chmod +x ollama_install.sh
4、执行sh下载安装
sh ollama_install.sh
5、环境变量配置
第一步：修改文件
nano /etc/systemd/system/ollama.service
第二步：增加配置
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_DEBUG=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
对于每个环境变量，在[Service]部分下添加一行Environment.
1. OLLAMA_HOST=0.0.0.0 外网访问
2. OLLAMA_MODELS=/mnt/data/.ollama/models 模型默认下载路径
3. OLLAMA_KEEP_ALIVE=1h 设置模型加载到内存中保持 1 个小时(默认情况下，模型在卸载之前会在内存中保留 5 分钟)
4. OLLAMA_HOST=0.0.0.0:8080 修改默认端口 11434 端口
5. OLLAMA_NUM_PARALLEL=2 设置 2 个用户并发请求
6. OLLAMA_MAX_LOADED_MODELS=2 设置同时加载多个模型
第三步：重新加载
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama
6、Ollama使用常见的指令：
ollama serve #启动ollama
ollama create #从模型文件创建模型
ollama show #显示模型信息
ollama run #运行模型
ollama pull #从注册表中拉取模型
ollama push #将模型推送到注册表
ollama list #列出模型
ollama cp #复制模型
ollama rm #删除模型
ollama help #获取有关任何命令的帮助信息
7、导入huggingface模型
最新版Ollama开始支持从Huggingface Hub上直接拉取各种模型，包括社区创建的GGUF量化模型。
用户可以通过简单的命令行指令快速运行这些模型，可以使用如下命令：
ollama run hf.co/{username}/{repository}
要选择不同的量化方案，只需在命令中添加一个标签：
ollama run hf.co/{username}/{repository}:{quantization}
例如：量化名称不区分大小写
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0
还可以直接使用完整的文件名作为标签：
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf
安装特定版本
OLLAMA_VERSION环境变量与安装脚本一起使用，以安装特定版本的 Ollama，包括预发行版。可以在 releases 页面中找到版本号。
releases页面：https://github.com/ollama/ollama/releases
例如：
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.7.1 sh