当前位置： 首页 > news >正文

企业网站改版的意义,来宾网站seo,网站的轮播图怎么做,河南个人网站建设四、将 AI 项目容器化#xff1a;示例实践 - 完整的图像分类与 API 服务 让我们通过一个更完整的 AI 项目示例#xff0c;展示如何将 AI 项目容器化。我们以一个基于 TensorFlow 的图像分类模型为例#xff0c;演示如何将训练、推理、以及 API 服务过程容器化。 4.1 创建 …四、将 AI 项目容器化示例实践 - 完整的图像分类与 API 服务 让我们通过一个更完整的 AI 项目示例展示如何将 AI 项目容器化。我们以一个基于 TensorFlow 的图像分类模型为例演示如何将训练、推理、以及 API 服务过程容器化。 4.1 创建 AI 项目文件 首先创建一个 Python 项目目录结构包含以下文件 /my-ai-project├── Dockerfile├── requirements.txt├── main.py├── model.py└── app.pyrequirements.txt列出项目的所有 Python 依赖。 tensorflow2.6.0 numpy1.19.5 matplotlib3.4.3 flask2.0.2main.py包含模型训练和保存的逻辑代码。 import tensorflow as tf from tensorflow.keras.datasets import mnist# 加载数据 (x_train, y_train), (x_test, y_test) mnist.load_data()# 数据预处理 x_train x_train / 255.0 x_test x_test / 255.0# 构建模型 model tf.keras.Sequential([tf.keras.layers.Flatten(input_shape(28, 28)),tf.keras.layers.Dense(128, activationrelu),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(10) ])# 编译模型 model.compile(optimizeradam, losstf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue), metrics[accuracy])# 训练模型 model.fit(x_train, y_train, epochs5)# 评估模型 model.evaluate(x_test, y_test)# 保存模型 model.save(saved_model/my_model)model.py 包含模型加载和推理的逻辑。 import tensorflow as tf import numpy as npdef load_model():model tf.keras.models.load_model(saved_model/my_model)return modeldef predict(model, image):img_array np.expand_dims(image, axis0)predictions model.predict(img_array)score tf.nn.softmax(predictions[0])class_id np.argmax(score)return class_idapp.py使用 Flask 构建一个简单的 API 服务接收图片进行预测。 from flask import Flask, request, jsonify import numpy as np import tensorflow as tf from model import load_model, predict from PIL import Image import ioapp Flask(name) model load_model()app.route(/predict, methods[POST]) def predict_api():if file not in request.files:return jsonify({error: No file part}), 400file request.files[file]if file.filename :return jsonify({error: No selected file}), 400try:img Image.open(io.BytesIO(file.read())).convert(L).resize((28, 28)) # Convert to grayscale and resizeimg_array np.array(img) / 255.0result predict(model, img_array)return jsonify({prediction: int(result)})except Exception as e:return jsonify({error: str(e)}), 500if name main:app.run(host0.0.0.0, port5000, debugTrue)4.2 创建 Dockerfile 接下来创建一个优化的 Dockerfile 来容器化这个项目示例如下

使用 TensorFlow 官方的 Python 3 镜像作为基础镜像, 选择更轻量级的版本

FROM tensorflow/tensorflow:2.6.0-py3# 设置工作目录 WORKDIR /app# 复制 requirements.txt COPY requirements.txt /app/# 安装依赖, 使用 –no-cache-dir 减小镜像大小 RUN pip install –no-cache-dir -r requirements.txt# 复制项目文件到容器中 COPY . /app# 暴露 API 服务的端口 EXPOSE 5000# 运行训练脚本并保存模型 RUN python main.py# 启动 API 服务 CMD [python, app.py]Dockerfile 优化说明 基础镜像选择: 使用 tensorflow/tensorflow:2.6.0-py3 比 tensorflow/tensorflow:2.6.0 更轻量级。如果需要 GPU 支持可以选择 tensorflow/tensorflow:2.6.0-gpu-py3。.dockerignore: 可以在项目根目录下创建一个 .dockerignore 文件排除不必要的文件或目录被复制到镜像中例如 .git pycache saved_model多阶段构建 (可选)如果你的项目需要编译或其他构建步骤可以使用多阶段构建来减小最终镜像大小。例如先在一个包含完整构建工具链的镜像中构建应用然后将构建产物复制到一个更轻量级的运行时镜像中。 4.3 构建并运行 Docker 容器 构建镜像: docker build -t my-ai-tensorflow .启动容器并运行 API 服务: docker run -it -p 5000:5000 my-ai-tensorflow-p 5000:5000 将容器的 5000 端口映射到主机的 5000 端口这样你就可以通过 http://localhost:5000 访问 API 服务了。 4.4 测试 API 服务 你可以使用 curl 或 Postman 等工具来测试 API 服务。例如使用 curl 发送一个 POST 请求 curl -X POST -F fileyour_image.png http://localhost:5000/predict将 your_image.png 替换为你本地的一张 MNIST 手写数字图片。 五、使用 Docker Compose 编排多容器应用 (可选) 如果你的 AI 项目需要多个容器协同工作例如数据库、Web 服务器、消息队列等可以使用 Docker Compose 来简化多容器应用的部署和管理。 创建一个 docker-compose.yml 文件例如 version: 3.8 services:web:build: .ports:- 5000:5000depends_on:- dbdb:image: postgres:13-alpineenvironment:- POSTGRES_PASSWORDexample这个示例定义了两个服务web 和 db。web 服务使用当前目录的 Dockerfile 构建镜像并将容器的 5000 端口映射到主机的 5000 端口。db 服务使用 PostgreSQL 数据库镜像。 使用 docker-compose up 命令启动所有服务 docker-compose up -d-d 表示后台运行。 六、Docker 安全性最佳实践 (简要) 使用非 root 用户: 默认情况下容器内的进程以 root 用户身份运行。为了提高安全性可以在 Dockerfile 中创建一个非 root 用户并使用 USER 指令切换到该用户。限制容器资源: 使用 Docker 的资源限制功能例如 –memory、–cpus来限制容器可以使用的资源防止容器耗尽主机资源。定期更新镜像: 及时更新基础镜像和应用程序依赖修复已知的安全漏洞。最小化镜像: 只安装必要的软件包避免安装不必要的组件减小攻击面。使用安全扫描工具: 使用 Clair、Anchore 等工具扫描镜像中的安全漏洞。 七、总结 在本文中我们介绍了如何使用 Docker 容器化 AI 项目。通过 Docker我们能够将 AI 项目的环境和依赖打包成一个容器从而简化了项目的部署和管理。Docker 不仅提升了开发者的效率还确保了项目在不同环境中的一致性。 最佳实践 保持镜像简洁在 Dockerfile 中尽量选择合适的基础镜像避免冗余的安装和配置。多阶段构建对于需要构建和编译的项目可以使用 Docker 的多阶段构建来减少最终镜像的体积。数据持久化在生产环境中确保使用 Docker 的数据卷Volumes来持久化数据。优化镜像大小通过清理不必要的文件减小镜像的体积提升部署效率。 附Docker安装流程图 流程图说明: 开始: 安装流程开始。选择操作系统: 根据你的操作系统选择相应的安装步骤。Windows: 访问 Docker 官网下载 Docker Desktop for Windows。启用 Hyper-V 或 WSL 2?: 选择使用 Hyper-V 或 WSL 2 作为 Docker 的后端。 Hyper-V: 启用 Hyper-V。WSL 2 (推荐): 启用 WSL 2 (性能更好)。 双击安装文件并按照向导安装。启动 Docker Desktop。验证安装: docker –version。 macOS: 访问 Docker 官网下载 Docker Desktop for macOS。双击 .dmg 文件并将 Docker 拖入应用程序文件夹。启动 Docker。验证安装: docker –version。 Linux: 选择 Linux 发行版: 选择你使用的 Linux 发行版 (Ubuntu 或 CentOS)。Ubuntu: sudo apt-get updatesudo apt-get install apt-transport-https ca-certificates curl software-properties-commoncurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -sudo add-apt-repository deb [archamd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stablesudo apt-get updatesudo apt-get install docker-ce验证安装: docker –version。 CentOS: sudo yum install -y yum-utilssudo yum-config-manager –add-repo https://download.docker.com/linux/centos/docker-ce.reposudo yum install docker-cesudo systemctl start dockersudo systemctl enable docker (设置开机自启)验证安装: docker –version。 安装完成。 关键步骤说明 WSL 2 和 Hyper-V (D, E, W) 使用不同的填充色表示这是 Windows 安装中两个重要的选项WSL 2 通常是更好的选择。Ubuntu 和 CentOS 安装步骤 分别使用蓝色和橙色填充方便区分不同发行版的安装命令。 这个流程图清晰地展示了在不同操作系统上安装 Docker 的步骤希望对你有所帮助! 附AI 项目容器化流程图 以下是一个更详细的、包含模型训练、API 服务构建以及 Docker Compose 编排的 AI 项目容器化流程图
流程图说明 开始: 项目开始。准备 AI 项目代码: 准备好包含模型训练、推理和 API 服务 (例如 Flask 或 FastAPI) 的代码。创建 requirements.txt: 列出项目所有 Python 依赖。项目是否需要多容器?: 判断项目是否需要使用 Docker Compose。 是: 创建 docker-compose.yml 文件定义各个服务及其依赖关系。否: 继续创建 Dockerfile。 创建 Dockerfile: 编写 Dockerfile 文件。选择基础镜像 FROM: 根据项目需求选择合适的基础镜像例如 tensorflow/tensorflow:2.6.0-py3。设置工作目录 WORKDIR /app: 设置容器内的工作目录。复制项目文件 COPY . /app: 将项目代码复制到容器中。安装依赖 RUN pip install -r requirements.txt: 安装 requirements.txt 中列出的依赖。项目是否包含训练步骤?: 是: RUN python main.py 执行训练脚本并保存模型 (例如到 /app/saved_model 目录)。否: 跳过训练步骤。 暴露端口 EXPOSE 5000: 如果有 API 服务暴露相应的端口。设置启动命令 CMD [“python”, “app.py”]: 设置容器启动时执行的命令例如启动 API 服务。构建 Docker 镜像 docker build -t my-ai-project .: 构建 Docker 镜像。是否使用 Docker Compose?: 是: 使用 docker-compose up -d 命令启动所有服务。否: 使用 docker run -it -p 5000:5000 my-ai-project 命令运行容器-p 参数进行端口映射。 访问 API 服务 例如: http://localhost:5000: 通过映射的端口访问 API 服务。测试 API 服务: 使用 curl 或 Postman 等工具测试 API。部署到生产环境: 将构建好的镜像部署到生产环境 (例如 Kubernetes 集群)。结束: 项目部署完成。 关键步骤说明 训练步骤 (J) 使用虚线边框和不同的填充色表示这是一个可选步骤取决于项目中是否包含模型训练逻辑。使用 Docker Compose 启动 (O) 和直接运行容器 (Q) 使用不同的填充色表示这是两种不同的启动方式。 这个流程图更详细地展示了 AI 项目容器化的各个步骤并考虑了模型训练、API 服务构建和 Docker Compose 编排等情况希望能更好地帮助你理解整个流程。 点击进入AI 项目实战从原理到落地 点击进入Docker 入门如何使用 Docker 容器化 AI 项目一 本文为原创内容未经许可不得转载。