【OpenCV新手教程之十三】OpenCV图像金字塔：高斯金字塔、拉普拉斯金字塔与图片尺寸缩放

这篇文章里，我们将一起探讨图像金字塔的一些基本概念，怎样使用OpenCV函数 pyrUp 和 pyrDown 对图像进行向上和向下採样，以及了解了专门用于缩放图像尺寸的resize函数的使用方法。此博文一共同拥有四个配套的简短的演示样例程序，其具体凝视过的代码都在文中贴出，且文章最后提供了综合演示样例程序的下载。

先尝鲜一下当中一个演示样例程序的执行截图：

我们经常会将某种尺寸的图像转换为其它尺寸的图像，假设放大或者缩小图片的尺寸，笼统来说的话，能够使用OpenCV为我们提供的例如以下两种方式：

<1>resize函数。这是最直接的方式，

<2>pyrUp( )、pyrDown( )函数。即图像金字塔相关的两个函数，对图像进行向上採样，向下採样的操作。

pyrUp、pyrDown事实上和专门用作放大缩小图像尺寸的resize在功能上差点儿相同，披着图像金字塔的皮，说白了还是在对图像进行放大和缩小操作。另外须要指出的是，pyrUp、pyrDown在OpenCV的imgproc模块中的Image Filtering子模块里。而resize在imgproc 模块的Geometric Image Transformations子模块里。

这篇文章中，我们将先介绍图像金字塔的原理，接着介绍resize函数，然后是pyrUp和pyrDown函数，最后是一个综合演示样例程序。

图像金字塔是图像中多尺度表达的一种，最主要用于图像的切割，是一种以多分辨率来解释图像的有效但概念简单的结构。

图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步减少，且来源于同一张原始图的图像集合。其通过梯次向下採样获得，直到达到某个终止条件才停止採样。

金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。

我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

素材图是帅气的美剧《绿箭侠》里面的绿箭侠Oliver Queen。

普通情况下有两种类型的图像金字塔经常出如今文献和以及实际运用中。他们各自是:

• 高斯金字塔(Gaussianpyramid): 用来向下採样，基本的图像金字塔
• 拉普拉斯金字塔(Laplacianpyramid): 用来从金字塔低层图像重建上层未採样图像，在数字图像处理中也即是预測残差，能够对图像进行最大程度的还原，配合高斯金字塔一起使用。

两者的简要差别：高斯金字塔用来向下降採样图像，而拉普拉斯金字塔则用来从金字塔底层图像中向上採样重建一个图像。

要从金字塔第i层生成第i+1层（我们表示第i+1层为G_i+1），我们先要用高斯核对G_1进行卷积，然后删除全部偶数行和偶数列。当然的是，新得到图像面积会变为源图像的四分之中的一个。按上述过程对输入图像G_0执行操作就可产生出整个金字塔。

当图像向金字塔的上层移动时，尺寸和分辨率就减少。OpenCV中，从金字塔中上一级图像生成下一级图像的能够用PryDown。而通过PryUp将现有的图像在每一个维度都放大两遍。

图像金字塔中的向上和向下採样分别通过OpenCV函数 pyrUp 和 pyrDown 实现。

概括起来就是：

• 对图像向上採样：pyrUp函数
• 对图像向下採样：pyrDown函数

这里的向下与向上採样，是对图像的尺寸而言的（和金字塔的方向相反），向上就是图像尺寸加倍，向下就是图像尺寸减半。而假设我们按上图中演示的金字塔方向来理解，金字塔向上图像事实上在缩小，这样刚好是反过来了。

但须要注意的是，PryUp和PryDown不是互逆的，即PryUp不是降採样的逆操作。这样的情况下，图像首先在每一个维度上扩大为原来的两倍，新增的行（偶数行）以0填充。然后给指定的滤波器进行卷积（实际上是一个在每一个维度都扩大为原来两倍的过滤器）去预计“丢失”像素的近似值。

PryDown( )是一个会丢失信息的函数。为了恢复原来更高的分辨率的图像，我们要获得由降採样操作丢失的信息，这些数据就和拉普拉斯金字塔有关系了。

2.1 高斯金字塔

高斯金字塔是通过高斯平滑和亚採样获得一些列下採样图像，也就是说第K层高斯金字塔通过平滑、亚採样就能够获得K+1层高斯图像，高斯金字塔包括了一系列低通滤波器，其截至频率从上一层到下一层是以因子2逐渐添加，所以高斯金字塔能够跨越非常大的频率范围。金字塔的图像例如以下：

另外，每一层都按从下到上的次序编号， 层级 G_i+1 (表示为 G_i+1尺寸小于第i层G_i)。

2.1.1 对图像的向下取样

为了获取层级为 G_i+1 的金字塔图像，我们採用例如以下方法:

<1>对图像G_i进行高斯内核卷积

<2>将全部偶数行和列去除

得到的图像即为G_i+1的图像，显而易见，结果图像仅仅有原图的四分之中的一个。通过对输入图像G_i(原始图像)不停迭代以上步骤就会得到整个金字塔。同一时候我们也能够看到，向下取样会逐渐丢失图像的信息。

以上就是对图像的向下取样操作，即缩小图像。

2.1.2 对图像的向上取样

假设想放大图像，则须要通过向上取样操作得到，具体做法例如以下：

<1>将图像在每一个方向扩大为原来的两倍，新增的行和列以0填充

<2>使用先前相同的内核(乘以4)与放大后的图像卷积，获得 “新增像素”的近似值

得到的图像即为放大后的图像，可是与原来的图像相比会发觉比較模糊，由于在缩放的过程中已经丢失了一些信息，假设想在缩小和放大整个过程中减少信息的丢失，这些数据形成了拉普拉斯金字塔。

那么，我们接下来一起看一看拉普拉斯金字塔的概念吧。

2.2 拉普拉斯金字塔

下式是拉普拉斯金字塔第i层的数学定义：

式中的表示第i层的图像。而UP（）操作是将源图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，即在进行向上取样。符号表示卷积，为5x5的高斯内核。

我们下文将要介绍的pryUp，就是在进行上面这个式子的运算。

因此，我们能够直接用OpenCV进行拉普拉斯运算：

也就是说，拉普拉斯金字塔是通过源图像减去先缩小后再放大的图像的一系列图像构成的。

整个拉普拉斯金字塔运算过程能够通过下图来概括：

所以，我们能够将拉普拉斯金字塔理解为高斯金字塔的逆形式。

另外再提一点，关于图像金字塔非常重要的一个应用就是实现图像切割。图像切割的话，先要建立一个图像金字塔，然后在G_i和G_i+1的像素直接按照相应的关系，建立起”父与子“关系。而高速初始切割能够先在金字塔高层的低分辨率图像上完毕，然后逐层对切割加以优化。

resize( )为OpenCV中专职调整图像大小的函数。

此函数将源图像精确地转换为指定尺寸的目标图像。假设源图像中设置了ROI（Region Of Interest ，感兴趣区域），那么resize( )函数会对源图像的ROI区域进行调整图像尺寸的操作，来输出到目标图像中。若目标图像中已经设置ROI区域，不难理解resize( )将会对源图像进行尺寸调整并填充到目标图像的ROI中。

非常多时候，我们并不用考虑第二个參数dst的初始图像尺寸和类型（即直接定义一个Mat类型，不用对其初始化），由于其尺寸和类型能够由src,dsize,fx和fy这其它的几个參数来确定。

看一下它的函数原型：

C++: void resize(InputArray src,OutputArray dst, Size dsize, double fx=0, double fy=0, int interpolation=INTER_LINEAR )

• 第一个參数，InputArray类型的src，输入图像，即源图像，填Mat类的对象就可以。
• 第二个參数，OutputArray类型的dst，输出图像，当其非零时，有着dsize（第三个參数）的尺寸，或者由src.size()计算出来。
• 第三个參数，Size类型的dsize，输出图像的大小;假设它等于零，由下式进行计算：

当中，dsize，fx，fy都不能为0。

• 第四个參数，double类型的fx，沿水平轴的缩放系数，有默认值0，且当其等于0时，由下式进行计算：

• 第五个參数，double类型的fy，沿垂直轴的缩放系数，有默认值0，且当其等于0时，由下式进行计算：

• 第六个參数，int类型的interpolation，用于指定插值方式，默觉得INTER_LINEAR（线性插值）。

可选的插值方式例如以下：