蒙阴网站建设望野李梦阳

当前位置： 首页 > news >正文

蒙阴网站建设,望野李梦阳,做网站市场报价步登顶,桂林象鼻山夜景目录 一、深度学习核心框架的选择 1、TensorFlow 1#xff09;概念 2#xff09;优缺点 2、PyTorch 1#xff09;概念 2#xff09;优缺点 3、Keras 1#xff09;概念 2#xff09;优缺点 4、Caffe 1#xff09;概念 2#xff09;优缺点 二、pytorch安装 1、安装 2、…目录 一、深度学习核心框架的选择 1、TensorFlow 1概念 2优缺点 2、PyTorch 1概念 2优缺点 3、Keras 1概念 2优缺点 4、Caffe 1概念 2优缺点 二、pytorch安装 1、安装 2、pytorch分为CPU版本和GPU版本 1CPU版本 2GPU版本 3、相关显卡参数 1显卡容量 2显存频率 3显存位宽 4如何查看电脑是CPU还是GPU 三、PyTorch框架认识 1、利用MNIST数据集实现神经网络的图像识别 2、大致流程 3、模型的结构 4、优化器 1BGDBatch Gradient Descent批量梯度下降法 2SGDStochastic Gradient Descent随机梯度下降 3AdamAdaptive Moment Estimation自适应优化算法 4AdagradAdaptive Gradient Algorithm自适应学习率优化算法 5RMSpropRoot Mean Square Propagation自适应学习率优化算法。 6小批量梯度下降法Mini-batch Gradient Descent 7等等多种优化算法 四、激活函数 1、常见激活函数 1Sigmoid 2ReLU 3anh 4LeakyReLU 5Softmax 2、梯度消失 3、梯度爆炸 一、深度学习核心框架的选择 1、TensorFlow 1概念 由Google开发并维护的深度学习框架具有广泛的生态系统和强大的功能。它支持多种硬件平台包括CPU、GPU和TPU并且提供易于使用的高级API如Keras和灵活的底层API。 2优缺点 优点广泛的生态系统和强大的功能、支持跨平台使用…… 缺点代码比较冗余上手有难度…… 2、PyTorch 1概念 由Facebook开发的深度学习框架被认为是TensorFlow的竞争者之一。它具有动态计算图的特性使得模型的定义和训练更加灵活。PyTorch也具有广泛的生态系统并且在学术界和研究领域非常受欢迎。 2优缺点 优点上手极容易直接套用模板、易于调试和可视化……. 缺点相对较小的生态系统、相对较少的文档和教程资源 3、Keras 1概念 一个高级的深度学习框架在tensorflow基础上做了封装可以在TensorFlow和Theano等后端上运行。Keras具有简洁的API使得模型的定义和训练变得简单易用。它适合对深度学习有基本了解的初学者或者快速原型开发。 2优缺点 优点简化代码难度、简洁易用的API、多后端支持….. 缺点功能相对有限、性能较差 4、Caffe 1概念 一个由贾扬清等开发的深度学习框架主要面向卷积神经网络CNN的应用。Caffe具有高效的C实现和易于使用的配置文件是许多计算机视觉任务的首选框架。 2优缺点 优点只需要配置文件即可搭建深度神经网络模型 缺点安装麻烦缺失很多新网络模型近几年几乎不更新 二、pytorch安装 1、安装 安装教程见上一篇博客连接如下 https://blog.csdn.net/qq_64603703/article/details/142218264?fromshareblogdetailsharetypeblogdetailsharerId142218264sharereferPCsharesourceqq_64603703sharefromfrom_linkhttps://blog.csdn.net/qq_64603703/article/details/142218264?fromshareblogdetailsharetypeblogdetailsharerId142218264sharereferPCsharesourceqq_64603703sharefromfrom_link 2、pytorch分为CPU版本和GPU版本 1CPU版本 CPU又称中央处理器作为计算机系统的运算和控制核心是信息处理、程序运行的最终执行单元。可以形象地理解为有25%的ALU(运算单元)、有25%的Control(控制单元)、50%的Cache(缓存)单元如下图所示 2GPU版本 GPU又称图像处理器是一种专门在个人电脑等一些移动设备上做图像和图形相关运算工作的微处理器。可以形象地理解为90%的ALU(运算单元)5%的Control(控制单元)、5%的Cache(缓存)。 如上图所示可发现GPU中的控制单元和缓存的位置在整个模块的左侧一点点剩下的全部都是运算单元用来计算的而CPU中控制单元和缓存的位置几乎占了整个模块的一半大大减少了运算能力所以pytorch可以安装cuda及相关驱动来调用GPU对模型进行计算以的到加速运算的目的。 例如有下列图片需要对其进行训练将其传入CPU可见传入空间几乎占满而传入GPU却绰绰有余。 3、相关显卡参数 1显卡容量 决定着临时存储数据的能力如 6GB、8GB、24GB、48GB等等 2显存频率 反应显存的速度如 1600MHz、1800MHz、3800MHz、5000MHz等 3显存位宽 一个时钟周期内所能传送数据的位数如 64、128、192、256、384、448、512。 4如何查看电脑是CPU还是GPU 右击状态栏打开任务管理器在性能里即可查看 三、PyTorch框架认识 1、利用MNIST数据集实现神经网络的图像识别 代码流程见上节课所学内容 《深度学习》PyTorch 手写数字识别 案例解析及实现 上 《深度学习》PyTorch 手写数字识别 案例解析及实现 下 2、大致流程 有如下手写图片现在想通过训练模型来判断这个手写数字所代表的是什么数字此时首先使用命令datasets.MNIST下载训练数据集和测试数据集这两份数据中包含大量的手写数字及其对应的真实数字类型将这些图片以例如64张图片及其类别打包成一份然后再在GPU中建立模型将这些打包好的图片数据信息传入GPU对其进行计算和训练训练好的模型可以导入上述打包好的测测试集数据进行测试并与真实值对比然后计算得到准确率。 3、模型的结构 例如使用神经网络的多层感知器 4、优化器 1BGDBatch Gradient Descent批量梯度下降法 使用全样本数据计算梯度例如一个batch_size64计算出64个梯度值好处是收敛次数少。坏处是每次迭代需要用到所有数据占用内存大耗时大。 2SGDStochastic Gradient Descent随机梯度下降 从64个样本中随机抽出一组训练后按梯度更新一次 SGD的原理是在每次迭代中从训练集中随机选择一个样本进行梯度计算并根据学习率和动量等参数更新模型参数。 3AdamAdaptive Moment Estimation自适应优化算法 结合了动量和RMSprop的思想Adam使用动量的概念来加速收敛并根据每个参数的历史梯度自适应地调整学习率。它计算每个参数的自适应学习率以及每个参数的梯度的指数移动平均方差。 4AdagradAdaptive Gradient Algorithm自适应学习率优化算法 它为每个参数维护一个学习率并根据参数的历史梯度调整学习率。Adagrad使用参数的梯度平方和的平方根来缩放学习率从而对于稀疏参数更加适用。 5RMSpropRoot Mean Square Propagation自适应学习率优化算法。 它类似于Adagrad但引入了一个衰减系数来平衡历史梯度的重要性。RMSprop使用历史梯度的平均值的平方根来调整学习率。 6小批量梯度下降法Mini-batch Gradient Descent 将训练数据集分成小批量用于计算模型误差和更新模型参数。是批量梯度下降法和随机梯度下降法的结合。 7等等多种优化算法 四、激活函数 1、常见激活函数 1Sigmoid Sigmoid函数将输入映射到0到1之间的连续值其将输入转换成概率值常用于二分类问题。Sigmoid函数的缺点是在输入较大或较小的情况下梯度接近于0可能导致梯度消失问题。 2ReLU ReLU是最常用的激活函数之一。它将输入小于0的值设为0大于等于0的值保持不变。ReLU的原理是通过引入非线性使得神经网络能够学习更复杂的函数。ReLU具有简单的计算和导数计算且能够缓解梯度消失问题。 3anh anh函数将输入映射到-1到1之间的连续值。它的原理与Sigmoid函数类似但输出范围更大。Tanh函数也具有非线性性质但仍存在梯度消失问题。 4LeakyReLU LeakyReLU是ReLU的变体它在输入小于0时引入小的斜率使得负数部分也能有一定的激活。LeakyReLU的原理是通过避免ReLU中的“神经元死亡”问题进一步缓解梯度消失。 5Softmax Softmax函数将输入转换为概率分布用于多分类问题。Softmax的原理是将输入的指数形式归一化保证输出是一个概率分布且每个类别的概率和为1。 2、梯度消失 指在神经网络的反向传播过程中梯度逐渐变小并趋近于零的现象。当梯度接近于零时权重更新的幅度变得非常小导致网络参数更新缓慢甚至停止更新从而影响网络的训练效果。 通常发生在使用一些特定的激活函数和深层神经网络中。当深层网络的激活函数是Sigmoid或Tanh等饱和函数时这些函数的导数在输入较大或较小的情况下接近于零导致梯度逐渐缩小。随着反向传播的进行梯度会传递到浅层网络导致浅层网络的参数更新缓慢最终影响整个网络的训练效果。 3、梯度爆炸 指在神经网络的训练过程中梯度增长得非常快导致梯度值变得非常大甚至无限大的现象。当梯度值变得非常大时权重的更新幅度也会变得非常大导致网络参数发生剧烈的变化进而影响网络的稳定性和训练效果。 梯度爆炸通常发生在使用一些特定的激活函数和深层神经网络中。当深层网络的激活函数是非线性函数时特别是使用在深层堆叠的神经网络中时梯度可能会无限制地增大。这是因为在反向传播过程中梯度会在每个隐藏层传递并相乘导致梯度指数级地增长。