基于asp网站开发 论文网络维护工具

当前位置： 首页 > news >正文

基于asp网站开发 论文,网络维护工具,wordpress带充值,营销推广费用包括哪些文章目录 1、卷积神经网络 2、图片格式 3、图片卷积运算 4、Kernel 与 Feature Map 5、padding/边缘填充 6、Stride/步长 7、pooling/池化 8、shape 9、epoch、batch、Batch Size、step 10、神经网络 11、激活函数 1、卷积神经网络 既然叫卷积神经网络#xff0c;这里面首先是…文章目录 1、卷积神经网络 2、图片格式 3、图片卷积运算 4、Kernel 与 Feature Map 5、padding/边缘填充 6、Stride/步长 7、pooling/池化 8、shape 9、epoch、batch、Batch Size、step 10、神经网络 11、激活函数 1、卷积神经网络 既然叫卷积神经网络这里面首先是卷积然后是神经网络是二者的一个结合卷积这个概念实际上来自信号处理领域一般是对2个信号进行卷积运算见下图 神经网络这是机器学习的元老是对人脑神经元工作机制的模拟每个神经元是一个计量单元输入的数据与权重进行相乘、求和再加上偏置得到的数据再经过激活函数将结果进行输出见下图多个神经元相互连接组成神经网络具体就不展开说了。 卷积神经网络在图像分类和识别领域的应用非常多最早用于手写数字的分类识别后来逐渐发展起来。 2、图片格式 首先从手写体图像识别说起一副图片如果是单色的那么可以看成是一个二维的数字矩阵每个像素点的颜色都可以用灰度值来表示那如果图像是彩色的可以将图像看成是RGB三个单色图片叠加的组合。 每一张图片的每一个像素点其实都是一个数值整体可看成一个三维矩阵。 3、图片卷积运算 那么对一个彩色图像做卷积到底做了什么呢下面这张动图很好地展示了图像卷积计算的过程原始图像有RGB三个通道channel1-3对应有3个卷积核Kernel1-3每一个通道的图片与对应的卷积核做乘法运算每个通道得到的数值再相加加上总体的偏置Bias得到特征图feature map里面的一个值。 下面是这个图是一个立体的展示 4、Kernel 与 Feature Map 这里面第一个问题就是卷积核为什么是3*3大小的实际上这个尺寸也是经过学者们不断研究总结出来的目前认为3*3的感受野足够用而且运算量也会相对低还有1*1的卷积核在使用其他的基本不用了。 第二个问题卷积核里面的参数是怎么来的其实这里面的参数机器学习要实现的当我们把所有的核参数都调整好那这个模型也就确定了。也有一些先验的卷积核如下面的核进行卷积之后可以实现锐化和边缘提取的效果。 那我们对一幅图片进行卷积之后就会形成一个Feature Map它会提取一些特征用不同的核进行卷积就会输出多个Feature Map。 卷积核/Kernelsconvolution kernel也叫过滤器、滤波器。特征图/Feature map当图像像素值经过过滤器后得到的就是特征图。 下面这两张图就很直观地展示了kernel 和 feature map的实际样子。 卷积神经网络处理过程中随着模型运算的深入图像的尺寸h*w会越来越小但是提取的特征会越来越多。 5、padding/边缘填充 这里面由于边界的问题每一次卷积之后图像不可避免地会被压缩一点这就涉及到一个概念padding如果设置padding的值为‘same’则会在原图像周围补充1圈像素点一般补0这样后面的图像尺寸都会与原图像相同。默认参数是“valid”翻译过来是有效的意思这里的有效指的是与卷积核做运算的图片像素都是有效的实际上就是没有外圈的补0。 unvaildvalid 下图展示的就是带padding的卷积效果这个图的问题是用的是4*4的卷积核实际中没有有4*4卷积核的。 用3*3的卷积核可保持图像卷积后尺寸不变。 图片引自https://github.com/vdumoulin/conv_arithmetic 6、Stride/步长 上图是步长为1的情况如果步长为2就是相当每隔两行或者两列进行卷积实际上起到了降维的作用就是卷积后的feature map尺寸会变小。 图片引自https://github.com/vdumoulin/conv_arithmetic 7、pooling/池化 池化主要作用是把数据降维也叫下采样可以有效的避免过拟合。主要有两种池化方式Max pooling / avg pooling通常情况下池化区域是2*2大小池化之后4*4的图片会变成2*2大小。 8、shape 在tensorflow和pytorch中shape的结构有所区别 tensorflow输入shape为(batch_size,  height, weight, in_channels)/样本数、图像高度、图像宽度, 图像通道数pytorch输入shape为(batch_size, in_channels, height, weight) 上图中 输入图片的shape[in_channels, height, weight]/[3,8,8] 卷积核的shape[out_channels, in_channels, height, weight]/[5,3,3,3] 输出图片的shape[out_channels, out_height, out_weight]/[5,6,6] 卷积核的输入通道数in depth由输入矩阵的通道数in_channels所决定。比如一个RGB格式的图片其输入通道数为3。 输出矩阵的通道数out depth由卷积核的输出通道数所决定比如下面这个动画当中卷积核有8个那么输出out_channels则为8。 图片 引自https://animatedai.github.io/ 9、epoch、batch、Batch Size、step epoch表示将训练数据集中的所有样本都过一遍且仅过一遍的训练过程。在一个epoch中训练算法会按照设定的顺序将所有样本输入模型进行前向传播、计算损失、反向传播和参数更新。一个epoch通常包含多个step。batch一般翻译为“批次”表示一次性输入模型的一组样本。在神经网络的训练过程中训练数据往往是很多的比如几万条甚至是几十万条——如果我们一次性将这上万条的数据全部放入模型对计算机性能、神经网络模型学习能力等的要求太高了那么就可以将训练数据划分为多个batch并随后分批将每个batch的样本一起输入到模型中进行前向传播、损失计算、反向传播和参数更新。但要注意一般batch这个词用的不多多数情况下大家都是只关注batch size的。Batch Size批大小表示在单次训练中传递给模型的图像数量我们在神经网络训练过程中往往需要将训练数据划分为多个batch而具体每一个batch有多少个样本那么就是batch size指定的了。step一般翻译为“步骤”表示在一个epoch中模型进行一次参数更新的操作。通俗地说在神经网络训练过程中每次完成对一个batch数据的训练就是完成了一个step。 10、神经网络 实际上上面的卷积处理过程都是在对图片进行特征提取而最终要进行分类或预测就需要借助神经网络了所以一般在卷积处理之后需要对数据进行压平flatten操作使其变为1维的数据便于送入神经网络的输入层。 神经网络模型里面见下图全连接层/Dense层是深度学习中常用的一种神经网络层也称为密集连接层或多层感知机层。它既能当输入层input layer又能当输出层output layer还能当中间层Hidden layer。 推荐一个绘制神经网络图的工具NN SVG 11、激活函数 在神经网络中激活函数用于引入非线性使网络能够学习复杂的映射关系。如果不用激活函数每一层输出都是上层输入的线性函数无论神经网络有多少层输出都是输入的线性组合。以下是一些常用的激活函数。常用的有 参考机器学习算法那些事