图像拼接方法总结

图像拼接方法总结

图像拼接方法总结 (1)

引言 (1)

1 基于网格的拼接 (3)

2基于块匹配的拼接（也叫模板匹配） (4)

3基于比值法拼接 (6)

4 基于FFT的相位相关拼接 (7)

基于特征的图像配准方法 (9)

5 Harris角点检测算法 (10)

6基于SIFT尺度不变特征的图像拼接 (15)

SIFT主要思想及特点 (16)

SIFT算法详细过程 (16)

SIFT匹配算法实现 (20)

7 基于surf 的图像配准 (22)

SURF算法介绍 (22)

算法详细过程 (23)

8 基于最大互信息的图像配准 (24)

9 基于小波的图像拼接 (27)

10 基于轮廓特征的图像拼接技术 (27)

引言

首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，

图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。图像

预处理包括：图像投影、图像去噪、图像修正等。

图像配准采用的算法主要有两类：

一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。

另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法，

第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这

三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得完整的图像）。

图像的融合：1直接平均值法、2基于小波变换、3线性加权法4 最大值法5 多元回归算法

1 基于网格的拼接

优缺点：计算量大，精度高，很难选择初始步长。

方法：

可在一幅图像的重叠区域中取一个网格，然后将网格在另一幅图像上依次移动，计算两幅图像中所有网格点中对应像素点的RGB值的差的平方和。找出其中的最小值，并记录其对应的网格位置，即是最佳匹配位置。为了减少运算量并提高匹配精度，将算法分为两个步骤:首先是粗匹配，网格每次水平或垂直移动一个指定的网格间距。接着是精确匹配，算法假设当前点为最佳匹配点并以此为中心，网格分别向上下、左右各移动一个小步长，计算该网格点对应像素差的平方和，将其中的最小值与当前值进行比较，如果此值比当前值优，则替换当前点，成为新的最佳点。该步骤的初始步长定为第一步移动步长的一半，依次循环进行，每次循环步长减为当前值的一半，直到水平步长和垂直步长均减为零为止。

下面简单说明该算法，为了方便描述，假设两幅图像重叠区域在50～150个像素，网格模板数为9*9，网格水平间距和垂直间距均为10个像素，网格上的A点与第二幅图像边界的A

点(即是边界的中点)重合，假设第二幅图像中的A点为最佳匹配位置。经过算法拼接后的结果如图1(b)所示。

图 2 网格模板匹配算法框图

相关文章有：

1 一种改进的变网格模板数字图像快速拼接

2 基于网格模板的最小欧氏距离准则图像自动拼接

3 一种基于网格的数码相机数字化图像纠正拼接算法

2基于块匹配的拼接（也叫模板匹配）

基于像素的算法是在一幅图像中选取一个模板,根据评价函数在另一幅图像中寻找与之最相似的点或区域。该算法对图像存在大量相似区域且重叠部分较小的情况,模板块选取的随性会使拼接出现很大误差.

先对两幅相邻图像进行特征点提取,然后根据特征点的位置在第一副图像确定模板块的大小,在第二幅图像确定搜索范围,然后进行匹配计算,完成图像拼接。本文采用精度较高的Harris角检测算子来提取特征点。（下面章节详细介绍）

基于模板匹配的图像拼接就是在图像的已知重叠区域中裁剪出一块矩形区域作为模板,和被搜索图像中同样大小的一块区域进行对比,根据两个区域特征的相似程度来确定最佳的匹配位置。若模板选择得不理想,则提取的模板可能会因为特征不明显而导致误匹配。

基于模板匹配的全景图像拼接算法可描述为:

Step1:划定模板图;

Step2:在匹配图中设定搜索范围,找出与模板图具有最大相似性的位置；

Step3:调入包含图,根据最大相似位置无缝拼接。

在拼接算法中,第1步模板的选择对匹配的准确度影响很大,而计算时间消耗最大的是第2步,即模板匹配。本文在已有的模板匹配理论基础上,对这两点不足作了改进。首先根据Harris算子提取的特征点的位置确定模板块的位置。在第一幅图像重叠区域,对Harris算子提取的特征点按I值大小进行排序,并选择其中I值最大的3个点确定一个模板。这3个特征点要满足不在一条直线上的条件,且每两点间距离要大于某一定值p且小于q。根据此原则确定的模板大小为M×N,p和q的设定是为防止模板过小或者过大,因为模板过小会使匹配精度降低,过大则影响计算的速度。记下所选模板中I值最大点在模板中的位置(i,j)和模板内特征点个数T。

图1匹配流程图

然后在第二幅图像内进行由粗到精的模板匹配。在第二幅图像重叠区域内以每个特征点作为待搜索模板中的位置(i,j),以此来确定大小为M×N的模板,并统计各搜索模板内特征点个数Ni。当Ni与第一幅图像中所确定模板内的特征点个数T相差很大时,可将该模板区域直接删除,不进行下一步的精确匹配,即互相关运算,仅对满足条件的几个搜索待匹配模板,进行相关

运算,确定精确匹配,即:当为设定个数),则在此搜索模板内不与确定模板

进行相关运算;当时,该搜索模板与确定模板进行相关运算,寻找最优匹配块。本文利用互相关系数法来确定与模板块最为相似的匹配块:

式中, 为确定模板图像上点的灰度值, 为待匹配模板图像上点的灰度值,

C为互相关系数,当C=0时,表示不相关,当C=1时,表示完全相关。在进行相关运算中,最大相关系数的地方即为目标图像所在的位置。最后比较几次相关运算得到的C值,确定两幅图像最佳配准点的位置。

参考文章：

1 特征提取与模板匹配结合的图像拼接方法

2 边缘重叠图像拼接中的特征选取

3 基于块匹配和特征点匹配的图像拼接算法研究

4 基于ROI块匹配的全景图像拼接鲁棒性方法

5 图像拼接技术及其在眼底摄像中的应用

6 图像模板匹配快速算法研究

3基于比值法拼接

优缺点：计算量大，精度高，利用图像信息少，只利用2条竖直的平行特征线段，对图像采集提出了较高要求，不适用于旋转或者纹理特征较多的图像。

方法：

算法的思路是选取一幅图像重叠部分中间隔的一定距离的2列的比值作模板,在第二幅图像中对应重叠区域搜索最佳匹配,找到与第一幅图像索取模板对应的2列,实现拼接.

如图1所示,图1a为(W1×H)像素的图像,图1b为(W2×H)像素的图像, W1和W2可以相等,也可以不等.图1a和图1b为左右重叠关系,图1a在图1b的左边,本文暂不考虑垂直方向重叠的问题,垂直方向重叠与水平方向类似.在图1a的重叠区域选取间隔为span的2列像素(第j列和第j+span列),计算其对应像素比值,即为a模板,a(i)=P1(i,j)/P1(i,(j+span)),其中i∈(1, H),j为选定的列.在第二幅图像中从第一列起依次取间隔为span的2列,计算其对应像素的比值即为b模板,b(i,j)=P21(i,j)/P22(i,j),其中p21(i,j)=P2(i,j),(i∈(1,H),j∈(1, W2-span))P22(i,j)=P2 (i,j),(i∈(1,H),J∈(span+1,W2)).计算a模板与b模板差值,即为c模板.c(i,j)=(a(i,j)-b(i,j))2,其中(i ∈(1,H),j∈(1, W2-span)).c为二维数组,计算c对应的列向量求和,就得到sum,sum(j)=∑Hi=1c (i,j),sum(j)的大小就反映了两幅图像选定像素对应的列的差异,sum(j)的最小值Summin对应

的列坐标Collablemin即为最佳匹配.

相关文章：

1基于比值法图像拼接算法研究

4 基于FFT的相位相关拼接

优缺点：图像的旋转，平移，比例变换都能在傅里叶变换域中反映出来，利用变换域

方法还有可能获得一定程度的抵抗噪声的鲁棒性，同时傅里叶变换可以采用FFT

的方法提高执行的速度，另外，傅氏变换由于有成熟的快速算法和易于硬件实现，

方法：

首先在参考图像中心处截取一个小区域图像,然后在待配准图像中寻找一个同样大小的区域,使得在对数极坐标表示下,这两个小区域图像的互功率谱经傅里叶反变换后是一个二维脉冲信号。所要寻找的小区域中心点在待配准图像中的位置即为所要估计的平移参数,二维脉冲信号中脉冲的位置与缩放因子和旋转角度有关,由此而得到图像配准参数。

相位相关是用于配准图像的平移变换的典型方法,其依据是傅立叶变换的特性.设f1(x,y)和f2 (x,y)是两幅图像.(x0,y0)是两幅图像间的平移量,则有

则它们之间的傅立叶变换F1(u,v)和F2(u,v)满足下式:

这就是说,两幅图像具有相同的傅立叶变换和不同的相位关系,而相位关系式由两者之间的平移直接决定的.定义两幅图像的互能量谱如下:设G(u,v)是f1(x,y)和f2(x,y)的互能量谱,

这里F*(u,v)是F(u,v)的共轭.如果两图像间仅有平移变化,则

对式(4)取傅立叶反变换,就会得到一个冲击函数,该函数在其它各处为零,只在平移的位置上不为零.这个位置就是两图像间的平移量.旋转在傅立叶变换中是一个不变量.根据傅立

叶变换的旋转性质,旋转一幅图像,在频域相当于对其傅立叶变换做相同角度的旋转.如果两图像f1(x,y)和f2(x,y)间有平移,旋转和尺度变换,设平移量为(x0,y0),旋转角度为θ,尺度变换为r[1],则有

则它们的傅立叶变换满足

模,对上式取模得到

当r=1时,两图像间仅有平移和旋转变换.此时可以看出两个频谱的幅度是一样的,只是有一个旋转关系.通过对其中一个频谱幅度进行旋转,用最优化方法寻找最匹配的旋转角度就可以确定.

当r≠1时,对式(6)进行极坐标变换,可以得

到

对第一个坐标进行对数变换,得到

变量代换后写为

这样,通过相位相关技术,可以一次求得尺度因子r和旋转角度θ,然后根据r和θ对原图像进行缩放和旋转校正,再利用相位相关技术求得平移量

步骤：

由上面的相位相关技术原理可以看出,要得到配准好的图像,首先利用笛卡尔坐标到对数极坐标的转换求出比例因子和旋转角度,按此值对欲配准图像变换后,再利用互能量谱与反变换计算求出平移量,最后进行相应的变换就可得到配准好的图像.

具体的基于傅里叶梅林变换的图像配准过程如下:

1)对原图像进行傅立叶变换,并求出各自的能量.

2)高通滤波.

3)将滤波后的各图像转换为对数极坐标的形式,并求其互能量谱,从而得到比例系数和旋转角度.

4)将欲配准的图像旋转、比例放大后再与原图像计算互能量谱,从而得到平移量.

参考文章：

1 基于matlab的傅里叶梅林变换算法图像拼接的实现

2基于相位相关的图像配准算法

3基于频域的遥感图像互信息配准方法

4基于频域和时域相结合的医学图像配准算法

5基于傅里叶变换的红外热波图像拼接

6基于位相相关检测的图像配准算法

7 一种改进的频域相关法图像快速配准

8一种傅里叶—梅林变换空间图像快速配准算法

基于特征的图像配准方法

(1)图像的特征点比图像的像素点要少很多，从而大大减少了匹配过程的计算量。

(2)特征点的匹配度量值对位置变化比较敏感，可以提高匹配的精度。

(3)特征点的提取过程可以减少噪声的影响，对灰度变化、图像形变以及遮挡等都有较好的适应能力。

基于特征的图像配准方法一般步骤：首先要对待配准图像进行特征提取，再

利用提取到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像

之间的配准映射变换。常用到的图像特征有：特征点(包括角点、高曲率点等)直线

段、边缘、轮廓、闭合区域特征结构以及统计特征如矩不变量、重心等。角点特

征等边缘特征[27]和角点特征[26]是两种较常用的特征。

基于特征点提取的图像配准的基本步骤如下图

图3-1特征点提取流程

5 Harris角点检测算法

基本知识：

1角点：最直观的印象就是在水平、竖直两个方向上变化均较大的点，即Ix、Iy都较大2边缘：仅在水平、或者仅在竖直方向有较大的变化量，即Ix和Iy只有其一较大

3平坦地区：在水平、竖直方向的变化量均较小，即Ix、Iy都较小

角点的提取步骤：

两幅图的角点的匹配：

粗匹配方法有：1 基于归一化互相关的匹配（NCC），2 基于欧氏距离匹配3 SSDA 精匹配可采用RANSAC

(1) 基于归一化互相关的匹配方法：

互相关方法是目前基于兴趣点特征的图像配准中最常用的方法，它是从欧氏

距离发展而来。如果f(x,y)和t(x,y)分别为待配准图像一和待配准图象二。则它们的

欧氏平方距离定义为：

将其展开：

式中t (x -u ,y -v)为常数。如果式中f 2(x ,y)近似为常数的话，则上面式中的

互相关部分可以作为待配准图像一和待配准图象二之间的相似度量，即：

可以看出如果∑f 2(x ,y)在图像不同位置不同时，待配准图像一和待配准图象二之间的互相关相似度量会失败，待配准图像一和待配准图象二之间的相似度量极大值会

出现在错误的位置。

因此引入归一化的互相关的相似度量可以解决因为∑f 2(x ,y)变化带来的匹配误差。

由施瓦茨不等式：

推出：

NCC取值范围是0~1，适用于进行图象相似性度量。引入∑f 2(x ,y)作为相似性

度量的控制因素，可以在一定程度上减少由于待配准图象变化带来低频匹配误差。

算法流程如图所示：

A原始图像 B harris 特征点标注图像

harris特征点精匹配后的图像拼接后的图像（中间有痕迹）

空间变换：采用仿射变换

方法：

完成特征点匹配之后，就得到了两幅图像的同名点集合。为了将两幅图像配准到一起，接下来要做的事情是将一幅图像通过空间变换的方法变换到另一幅图像的坐标系中。

图图像空间变换过程示意图

空间变换的实现原理如图3-2所示，它所处理的对象是“待配准图像”和“标准图像”。处理的目标是将“待配准图像”校正并投射到“标准图像”的坐标系中，并完成图像边界处像素灰度的融合和拼接缝隙的消除。

由于空间变换过程有可能将“待配准图像”变换到“标准图像”的坐标范围

之外，因此首先需要计算经过空间变换之后的图像分布范围rect _disp，如图3-2 中虚线所示的方框，然后对该范围中的像素逐个进行坐标转换和像素融合处理。假设空间变换采用仿射变换模型，该模型的正变换公式表示为：

该模型的逆变换公式表示为：

其中，(x ,y)为同名点在“标准图像”中的坐标，(u ,v)为同名点在“待配准图像”中的坐标。

又设经过特征点匹配过程得到了M个同名点，表示为

i =1,2,,M。

空间变换的具体步骤如下：

第一步，根据这组M个同名点，确定逆变换的模型参数

0 1 2 0 1 2

a ,a ,a ,

b ,b ,b。采

用最小二乘方法，具体如下：

根据同名点对i =1,2,,M构造超定方程组：

超定方程的矩阵表示形式为：

则逆变换的模型参数的最小二乘解为：

第二步，根据同名点计算正变换的模型参数aa0 ,aa1 ,aa2 ,bb0,bb1 ,bb2，并采用正

变换公式

计算“待配准图像”在“标准图像”的坐标系中的分布范围，即计算出“待

配准图像”的四个顶角(0,0),(0,H),(W,0),(W ,H)在“标准图像”的坐标系中

的分布范围，进而可以确定配准图像的分布范围，记为rect _disp。

第三步，根据逆变换公式

对“待配准图像”进行空间变换，即利用逆变换公式计算分布范围rect _disp 个像素点(x ,y)在“待配准图像”中的坐标(u ,v)，获取其图像灰度。

图3.11 Harris角点检测结果

图3.12 互相关粗匹配结果

相关文章：

1基于特征点提取的图像配准技术及应用

2 基于角点变换矩阵的图像拼接

3基于特征的图像拼接技术研究

4基于特征的图像拼接技术研究2

5基于特征点的图像拼接算法研究

6 基于特征配准的全景图像拼接技术研究

7 基于块匹配和特征点匹配的图像拼接算法研究

8 基于特征点的全景图合成方法研究

9 基于harris算子的彩色数码影像焦点特征提取

10 基于点特征匹配的SUSAN,hsrris算子比较

11 基于NCC与SSDA的快速特征点匹配融合算法

12 基于harris角点检测算法的图像拼接

13 图像拼接算法研究

6基于SIFT尺度不变特征的图像拼接

优缺点：

方法及原理：

按照图像匹配算法所利用的图像信息，可以分为基于区域的方法和基于特征的方法。基于特征的图像匹配算法先提取图像显著特征，再进行特征匹配，大大压缩了图像信息的数据量，同时保持了图像的位移、旋转、比例方面的特征，故在配准时计算量小，速度较快、鲁棒性好。本章主要研究基于SIFT和Harris 角点算子的两种匹配算法，总结两种算法的优缺点。

SIFT 主要思想及特点

SIFT 算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。

SIFT 算法详细过程

图3.1 sift 算法详细过程

1）尺度空间的生成

尺度空间理论目的是模拟图像数据的多尺度特征。高斯卷积核是实现尺度变换的唯一线性核，于是一副二维图像的尺度空间定义为：

),(),(),,(y x I y x G y x L *=σσ

（3-1）

其中 ),,(σy x G 是尺度可变高斯函数。

2

)

(2

2/21),,(2

2σπσ

σy x e

y x G +-=

（3-2）

（x ，y ）是空间坐标，σ是尺度坐标。为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（DOG scale-space ）。利用不同尺度的高斯差分核与图像卷积生成。

),,(),,(),()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （3-3）

图3.2 高斯尺度空间图像金字塔的构建[3]

2）空间极值点检测

如图3.3所示，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

构建尺度空间需确定的参数有σ，O ，S ：

S

s o s o /02

),(+=σσ，

],

1,...,0[min -+∈O o o ]1,...,0[-∈S s

（3-4）

其中0σ是基准层尺度。O 是组坐标，s 是子层坐标。空间坐标x 是组的函数，设

0x 是

0组的空间坐标，则

][]1,...,01,...,0,,20000-?-∈Z ∈=M N x o x x o

（3-5）

如果()00,M N 是基础组o=0的分辨率，则其他组的分辨率由下式获得：

图3.3 DoG 尺度空间局部极值检[3]

0000,22o o N M N M ????

==????????

（3-6）

3）精确确定极值点位置

通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG 算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。 ①空间尺度函数

()X X D X

X X D

y x D y x D T

T

2

2

002

1,,),,(??+

??+

=σσ）泰勒展开式如下:

()x x

D x

x x

D

y x D y x D T

T

2

2

2

1,,),,(??+

??+

=σσ

（3-7）

对上式求导,并令其为0,得到精确的位置x

?： x

D x

D x

????-=-2

1

2?

（3-8）

②在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点。去除低对比度的点：把公式（3-8）代入公式（3-7），只取前两项可得：

()x x

D

y x D x

D T

?21,,)?(??+=σ

（3-9）

若()03.0?≥x

D ，该特征点就保留下来，否则丢弃。 ③边缘响应的去除

一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率通过一个2x2 的Hessian 矩阵H 求出:

x x x y

x

y

y y D D H D D ??=?

?

??

（3-10）

导数由采样点相邻差估计得到。D 的主曲率和H 的特征值成正比，令α为最大特征值，β为最小的特征值，则

()r xx yy T H D D αβ

=+=+

（3-11）

2

()()xx yy xy Det H D D D αβ=-=

（3-12）

令αγβ=，则：

2

2

2

2

()

()

()(1()

r T H r r D et H r r

αβββαβ

β

+++=

=

=

）

（3-13）

2

(1)

r r

+的值在两个特征值相等的时候最小，随着r 的增大而增大，因此，

为了检测主曲率是否在某域值r 下，只需检测:

2

2

()

(1)()

r T H r D et H r

+<

（3-14）

4）关键点方向分配

利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

(,)m x y =

（3-15）

(,)tan 2(((,1)(,1))(1,)(1,)))

x y L x y L x y L x y L x y θα=+--+--

（3-16）

式(3-15)，（3-16）为(x,y)处梯度的模值和方向公式。其中L 所用的尺度为每个关键点各自所在的尺度。在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。 5）特征点描述子生成

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。 接下来以关键点为中心取8×8的窗口。利用公式3-15求得每个像素()j i ,的梯度幅值j i m ,与梯度方向j i ,θ，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方

向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

图3.4 由关键点邻域梯度信息生成特征向量[3]

6）最近邻粗匹配

特征点粗匹配就是计算所有特征向量的距离，根据最近临和次近临距离之比判定，当这个比值小于事先设定的一个阈值则认为是一对匹配点。

7）RANSAC精匹配

精匹配采用的是RANSAC（随机抽样一致法），于1981年由Fischler和Bolles最先提出[16]它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。RANSAC算法的基本假设是样本中包含正确数据，也包含异常数据，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。

SIFT匹配算法实现

图像记忆的原理和方法[图像拼接原理及方法]

图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说

360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术

多聚焦图像融合方法综述

多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待

360°全景拼接技术简介

本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容

图像融合的研究背景和研究意义

图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把

图像拼接论文

基于特征点的图像拼接算法研究指导教师： 学生姓名：学号： 专业：计算机技术 院（系）：信息工程学院 完成时间：2013年11月

摘要: 图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接的过程由图像获取，图像配准，图像合成三步骤组成。其中图像配准是整个图像拼接的基础。本文研究了基于特征图像配准算法。 利用基于特征Harris角点检测算法提取出初始特征点对，实现实现特征点对的精确匹配。最后用加权平均对实现图像融合。实验证明该算法适应性较强，在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。同时该算法准确率高，鲁棒性强，具有较高的使用价值。 关键词：：图像拼接图像配准特征点图像合成

Abstract: Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other,and finally builds a seamless and high quality image which has high resolution and big eyeshot．The image mosaic process consists of the following steps．Image acquisition,image registration,image fusion．fusion．Image registration is the important foundation of image mosaic．This article has studied a image registration algorithrm feature-based image registration algorithm． Firstly,corners are extracted using improved Harris operator to extract the initial feature point pairs.Then,the correct matching feature point pairs are used to realize the image registration．Finally,use the Weighted Average Fusion Rule to fuse the images.The experiment results indicate this algorithmhas better registration results under a variety of conditions such as different light,bigger rotation and repetitive texture.At the same time,this algorithm has good effect in image registration,high accurate rate,strong robustness，higher use value． Key words:Image mosaic Image registration Feature points Image fusion

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

图像拼接算法及实现.doc

图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论

基于经验模态分解的图像融合研究

基于经验模态分解的图像融合研究 图像融合是对不同渠道摄取的同一景物的多幅图像进行处理,以得到更清晰更实用的图像的过程。它是图像处理过程中的一个重要环节,比如图像拼接就离不开图像融合,因而研究图像融合具有一定的现实和理论意义。目前,以小波分析为代表的多分辨率图像融合技术是一个研究热点,但小波基函数的选取是小波分析的难点,也是小波分析这种信号分析方法的最大瓶颈。经验模态分解则能突破这种障碍,它根据自身的特性自适应的进行信号分解,显示出极大的优越性。把经 验模态分解用于图像融合,取得了良好的效果。 标签：图像融合;多分辨率分析;经验模态分解;固有模态函数 1 引言 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术,是把来自不同时刻或不同成像设备对同一目标检测的多幅图像数据采用某种方法进行处理,生成一幅能够有效表示出该图像检测信息的图像的过程。由于不同模式的图像传感器的成像机理不同,工作电磁波的波长不同,所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性,经图像融合技术处理后可以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。正是由于这一特点,图像融合作为信息融合的一种有力工具,已广泛地应用于军事、遥 感、机器人视觉和医学图像处理等领域。 图像融合包含图像配准和无缝合成两个部分。由于成像时受到各种变形因素的影响,得到的各幅图像间存在着相对的几何差异,所以需要对待融合的图像进行配准。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正,把相邻两幅图像合成到同一坐标系下,并使得相同景物在不同的局部图像中对应起来,以便于图像无缝合成。图像配准之后,在某些情况下,由于拍摄时光照、环境条件(如噪声、云、烟雾、雨等)、视野、地点的差异,两幅待拼接图像地重叠区域可能会有较大的差别。如果直接对这样的图像进行简单的叠加拼合,得到的拼接图在拼接位置上会存在明显的接缝以及重叠区域的模糊和失真现象。因此需要一种技术 修正待拼接图像拼接缝附近的颜色值,使之平滑过渡,实现无缝合成。 根据图像的表征层来划分,图像融合可分为三类:像素级融合、特征级融合和决策级融合。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、样条变换融合法、金字塔变换融合法、小波变换融合法等,尤其是多分辨率分析方法(金字塔变换,小波变换等)具有明显的优势。小波变换融合算法主要是利用人眼对局部对比度的变化比较敏感这一事实,根据一定的融合规则,在多幅原

图像匹配与拼接方法

图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：

虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了

ENVI中的融合方法

ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this

图像拼接技术的研究历史悠久

图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。

基于特征点的全自动无缝图像拼接方法

－2083－ 0引言 图像拼接是计算机视觉领域的一个重要分支。它是一种将多幅相关的重叠图像进行无缝拼接从而获得宽视角全景图像的技术。近年来，国内外对于图像拼接各细节的研究已取得了一些成果[1~3]，但对于尺度、视差及光照变化较大的图像序列的拼接效果还有待提高。此外，目前对于完整的全自动无缝图像拼接技术的研究还较少。针对以上现状，本文给出了一种基于特征点的全自动无缝图像拼接方法。该方法依据图像拼接过程中各阶段涉及的理论与技术，利用RANSAC (ran-dom sample consensus )算法、引导互匹配、加权平滑算法等技术克服了传统图像拼接技术中的局限性(如光照、尺度变化的影响等)，实现了光照和尺度变化条件下的多视角无缝图像拼接。 1拼接方法的总体设计 文中的图像拼接技术包括4大部分：图像获取；特征点提 取与匹配；图像配准；图像融合。各部分均采用了当前图像处理领域的先进算法，并使用相应的精炼技术对各部分的处理结果进行优化，以达到较理想的拼接效果。整个技术的实现 流程如图1所示。 2图像获取 图像获取是实现图像拼接的前提条件。不同的图像获取 方法会得到不同的输入图像序列，并产生不同的图像拼接效果。目前，获得图像序列的方法主要有3种[4]：①照相机被固定在三脚架上，通过旋转照相机获取图像数据；②照相机固定在可移动平台上，通过平行移动照相机获取图像数据；③手持 收稿日期：2006-04-20E-mail ：lihan409@https://www.docsj.com/doc/7911084477.html, 作者简介：李寒(1981－)，女，辽宁沈阳人，硕士研究生，研究方向为数字图像处理；牛纪桢，女，副教授，研究方向为计算机应用；郭禾，男，副教授，研究方向为数字图像处理、计算机应用。 基于特征点的全自动无缝图像拼接方法 李 寒，牛纪桢，郭禾 (大连理工大学计算机科学与工程系，辽宁大连116023) 摘 要：提出了一种基于特征点的全自动无缝图像拼接方法。该方法采用对于尺度具有鲁棒性的SIFT 算法进行特征点的提取与匹配，并通过引导互匹配及投票过滤的方法提高特征点的匹配精确度，使用稳健的RANSAC 算法求出图像间变换矩阵H 的初值并使用LM 非线性迭代算法精炼H ，最终使用加权平滑算法完成了图像的无缝拼接。整个处理过程完全自动地实现了对一组图像的无缝拼接，克服了传统图像拼接方法在尺度和光照变化条件下的局限性。实验结果验证了方法的有效性。关键词：图像拼接;SIFT 特征点;引导互匹配;随机抽样一致算法;变换矩阵中图法分类号：TP391 文献标识码：A 文章编号：1000-7024(2007)09-2083-03 Automatic seamless image mosaic method based on feature points LI Han, NIU Ji-zhen, GUO He (Department of Computer Science and Engineering,Dalian University of Technology,Dalian 116023,China ) Abstract ：An automatic seamless image mosaic method based on feature points is proposed.First a scale-invariant feature extracting algorithm SIFT is used for feature extraction and matching.In order to improve the accuracy of matching,guided complementary matching and voting filter is used.Then,the transforming matrix H is computed with RANSAC algorithm and LM algorithm.And finally image mosaic is completed with smoothing algorithm.The method implements automatically and avoids the disadvantages of tra-ditional image mosaic method under different scale and illumination conditions.Experimental results show that the image mosaic method is stable and effective. Key words ：image mosaic;SIFT features;guided complementary matching;RANSAC algorithm;transforming matrix 图1图像拼接技术流程 图像融合图像配准(计算H )特征点提取与匹配 图像获取 H=