windows系统 ollama本地部署

• ollama list 查看模型列表

修改环境配置

修改完后要重启生效

OLLAMA_HOST=192.168.194.52:11434 监听地址

OLLAMA_MODELS=D:\.document\.ollama\models 安装模型路径

OLLAMA_MAX_LOADED_MODELS=1 1是默认，同时加载到内存的模型数

huggingface模型站

导入本地模型

创建个txt文件 写入 FROM ./Meta-Llama-3-8B-Instruct.Q4_K_M.gguf

cmd执行 ollama create 模型名称 -f ./Modelfile