自己做了个网站网站建设存在困难

当前位置： 首页 > news >正文

自己做了个网站,网站建设存在困难,广州古德室内设计有限公司logo,美食网页设计作品大家好#xff0c;我是冰河~~ 本文旨在提供一个全面且详细的DeepSeek本地部署指南#xff0c;帮助大家在自己的设备上成功运行DeepSeek模型。无论你是AI领域的初学者还是经验丰富的开发者#xff0c;都能通过本文的指导#xff0c;轻松完成DeepSeek的本地部署。 一、本地…大家好我是冰河~~ 本文旨在提供一个全面且详细的DeepSeek本地部署指南帮助大家在自己的设备上成功运行DeepSeek模型。无论你是AI领域的初学者还是经验丰富的开发者都能通过本文的指导轻松完成DeepSeek的本地部署。 一、本地部署的适用场景 DeepSeek本地部署适合以下场景 ‌高性能硬件配置‌如果你的电脑配置较高特别是拥有独立显卡和足够的存储空间那么本地部署将能充分利用这些硬件资源。‌数据安全需求‌对于需要处理敏感数据的用户本地部署可以避免数据上传至云端确保数据的安全性和隐私性。‌高频任务处理‌对于需要频繁处理大量或复杂任务的用户本地部署能提供更高的灵活性和响应速度。‌成本控制‌对于日常使用量大、API调用费用较高的用户本地部署能显著降低运行成本。‌个性化需求‌本地部署允许用户对模型进行二次开发和定制满足特定的应用场景和需求。 三、环境准备与依赖安装

1. 硬件要求 ‌操作系统‌推荐Linux如Ubuntu 20.04及以上版本或Windows系统。‌Python版本‌需要安装Python 3.8及以上版本。‌GPU支持‌需要支持CUDA的NVIDIA GPU推荐显存16GB及以上。 2.硬件配置 模型显存需求内存需求推荐显卡7B10-12GB16GBRTX 306014B20-24GB32GBRTX 309032B40-48GB64GBRTX 4090
2. 软件依赖 ‌CUDA与CUDNN‌根据NVIDIA GPU型号和驱动版本安装合适的CUDA11.2及以上版本和CUDNN8.1及以上版本。
3. 安装步骤 更新系统Linux为例 sudo apt-get update安装必要依赖 sudo apt-get install -y python3-pip python3-dev python3-venv git创建并激活虚拟环境 python3 -m venv deepseek-env source deepseek-env/bin/activate安装PyTorch 根据CUDA版本选择合适的PyTorch安装命令。例如CUDA 11.2的安装命令如下 pip install torch torchvision torchaudio –extra-index-url https://download.pytorch.org/whl/cu112四、DeepSeek模型下载与部署
4. 克隆DeepSeek代码库 git clone https://github.com/deepseek-ai/deepseek.git cd deepseek2. 安装项目依赖 pip install -r requirements.txt3. 下载并放置预训练模型 从官方提供的链接下载DeepSeek预训练模型权重并将其放置在models/目录下。 wget [官方链接] -O models/deepseek_model.pth4. 配置环境变量 设置模型路径和GPU设备号等环境变量 export MODEL_PATHmodels/deepseek_model.pth export CUDA_VISIBLE_DEVICES05. 运行模型 使用以下命令启动DeepSeek模型进行推理或训练。 python run.py –model_path $MODEL_PATH –input 你的输入文本五、简化部署方案使用Ollama 对于初学者或不希望手动配置环境的用户可以使用Ollama工具简化DeepSeek的本地部署过程。 1.下载安装Ollama 在本地部署DeepSeek会使用到Ollama所以需要现在本地下载安装Ollama。 Ollama官方地址https://ollama.com 小伙伴们可以根据自己的需要下载MacOS、Linux和Windows版本的Ollama由于冰河目前使用的是Windows系统所以这里我下载的是Windows版本的Ollama。 下载后在本地安装Ollama。 2.下载DeepSeek-R1 1定位Models 进入Ollama官网找到Models。 2找到DeepSeek-R1模型 3选择对应的模型下载 DeepSeek-R1有很多不同的版本可供下载例如1.5b、7b、8b、14b、32b、70b或671b版本越高模型越大对于电脑的内存、显卡等资源的配置要求就越高。 这里为了方便安装演示我先给大家演示如何部署8b的模型。后续带着大家在服务上部署更高版本的模型。 进入DeepSeek-R1模型的详情选择8b模型如下所示。 4打开电脑终端 以管理员身份打开电脑终端如下所示。 5部署8b模型 首先如下图所示复制8b模型的代码。 随后将其粘贴到命令行终端如下所示。 如果出现下图所示的进度则说明正在下载模型。 等待一段时间如果出现success字样则说明部署成功如下所示。 部署成功后我们可以试着在命令行发送一条消息给DeepSeek这里我发送一个“你好”给DeepSeek。 可以看到向DeepSeek发送你好后它也回复了一段内容。 至此我们就可以和DeepSeek在命令行进行对话了。不过只是在命令行与DeepSeek对话那就显得有点不怎么方便了所以我们继续部署Chatbox。 3.安装Chatbox 通过部署Chatbox我们可以使用在网页或者客户端与DeepSeek进行交互。Chatbox的安装步骤如下所示。 1下载安装Chatbox Chatbox官网https://chatboxai.app/zh 直接进入官网下载客户端如下所示。 下载完成后双击进行安装即可。 2配置DeepSeek-R1模型 打开Chatbox选择设置—Ollama API如下所示。 选择已经安装好的DeepSeek-R1 8b模型进行保存。 等待部署完成就可以在Chatbox页面中与DeepSeek进行对话了。 六、安装Open-WebUI 1.安装Docker 安装Open-WebUI前我们可以先安装Docker。进入Docker官网https://www.docker.com下载Docker。 下载后安装到自己电脑即可。 2.安装open-webui 如果是在Linux系统下则可以打开命令行输入以下命令安装 Open-WebUI。 docker run -d -p 3000:8080 –add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main安装完成后打开浏览器访问 http://localhost:3000注册一个账号并登录即可进入open-webui。 在界面左上角选择对应的模型即可开始对话。 如果是Windows系统则在浏览器搜索Open-WebUI进入官网并复制下图所示的命令。 随后打开Windows命令行输入复制的命令后等待安装完成。 安装完成后打开浏览器访问 http://localhost:3000注册一个账号并登录即可进入open-webui。 七、常见问题解决方案 问题现象解决方案显存不足报错使用量化模型或换用更小模型响应速度慢设置环境变量OLLAMA_NUM_THREADS8生成内容中断输入/continue继续生成中文输出夹杂英文在提问末尾添加「请使用纯中文回答」历史记忆混乱输入/forget清除上下文 好了今天就到这儿吧我是冰河我们下期见~~