基于SIFT特征向量的图像拼接技术研究
基于SIFT特征向量的图像拼接技术研究摘要
图像拼接技术是数字图像处理邻域的一个研究热点，一直是计算机视觉、模式识别、医学等领域研究的一个重要课题，图像拼接技术也是图像处理工作中的关键技术之一。所谓图像拼接就是将有重叠的图像无缝拼成一幅大宽视域图像的技术。它包含两个关键技术：图像配准和图像融合。近年来，随着技术的成熟，图像拼接技术被很好的应用到了机器人导航、无人平台战场监控、航拍图像处理等多个领域。基于特征的图像配准与拼接技术配准结果准确拼接效果良好且不易受光照、旋转等因素的影响是当前图像配准与拼接领域研究的热点。本文在深入研究和学习已有的基于SIFT的图像配准与拼接技术的基础上，详尽地分析了现有算法的不足，并提出了若干改进算法。
关键字：图像拼接，特征，线段特征，图像融合
Image splicing technology research based on SIFT feature vector
abstract
Image splicing technology is a research focus in the neighborhood of digital image processing, has been the computer vision, pattern recognition, an important hot topic in the field of medicine and other fields, image splicing technology is one of the key technologies of image processing work. The so-called image mosaicing is there will be overlapping images seamless Mosaic a big wide horizon image technology. It includes two key techniques: image registration and image fusion. In recent years, with mature technology, image splicing technology is very good application in robot navigation, unmanned platform battlefield monitoring, aerial image processing and other fields. Based on the characteristics of image registration and Mosaic registration results are accurate stitching effect is good and not easily influenced by factors such as illumination, rotation is the hotspot in research of image registration and Mosaic. Based on the in-depth research and study of the existing image registration based on SIFT and splicing technology, on the basis of the shortage of the existing algorithm is analyzed in detail, and puts forward some improved algorithm.
The keyword：Image stitching, features, line features, image fusion
目录
第一章绪论 (2)
1.1研究背景和意义 (2)
1.2国内外研究现状 (3)
1.3研究内容 (4)
第二章图像拼接的相关理论基础 (6)
2.1图像拼接的基本流程 (6)
2.2图像预处理 (7)
2.3图像配准 (7)
2.3.1基于灰度信息的图像配准 (8)
2.3.2基于变换域的图像配准 (8)
2.3.3基于特征的图像配准 (8)
2.4图像融合 (10)
第三章基于 SIFT 特征的图像拼接算法和图像特征提取算法 (11)
3.1算法流程 (11)
3.1.1SIFT 特征描述符 (11)
3.1.2ISIFT 算法的特征匹配 (12)
3.2图像融合 (12)
3.3图像特征提取算法 (15)
3.3.1图像特征提取概述 (15)
3.3.2 SIFT 特征向量的匹配 (16)
总结 (17)
参考文献 (18)
第一章绪论
1.1研究背景和意义
图像拼接就是将两幅或多幅输入图像通过计算机技术拼合成一幅光滑无缝图像的过程。图像拼接将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅大型无缝高分辨率图像的技术。图像拼接是一个日益流行的研究领域，它已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决问题的一般表达式：通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。图像拼接的两个关键技术是图像配准和图像融合。采集的输入图像要求图像之间存在重叠部分，对图像间的亮度、形变等差异不做要求。计算机技术的发展使图像拼接技术成为可能，人们通过理论算法在计算机上编程实现图像拼接。判断图像拼
接技术优劣的指标主要是质量和效率，因此，高质量高效率是当前拼接技术研究的热门方向。
人类获取信息的途径是多种多样的，人们可以通过语言交流信息，可以通过文字传达信息，可以通过眼睛所看到的场景接收信息等，毫无疑问眼睛获取的图像信息所含信息丰富信息量大，可以更直观更容易被人们获取。与早期的模拟图像相比，数字图像具有再现性良好、处理精度高、便于设备的传输与显示。因此，现实生活和工作的各方各面都用到了数字图像应用技术。由于普通相机分辨率一定，不能满足人们获取图像时要求图像宽视角并且较高的分辨率，另外一些广角镜头价格昂贵不具有普遍性，因此人们开始考虑采用软件技术将多幅图像拼为一张大图像。
早期的拼接主要依靠手动完成，对于图像旋转、缩放等变换手动拼接就无法很好的处理。因此，人们想到了时候可以利用 PC 对图像进行拼接以克服手动拼接的缺点。这也是拼接技术一直到现在都在研究的问题。人眼所能看到的范围是一定的，为了对某些大场景得到一个总体性的认识，人们首先获取该场景的各部分图像，然后将这些局部图像通过计算机拼成一张包含整体场景的图像。由于计算机完成了图像的自动拼接，这使得人们可以利用自己的计算机对自己感兴趣的图像进行拼接处理，拼接技术的普遍化增加了拼接技术应用领域的范围。当前乃至今后，图像拼接技术都将拥有广泛应用价值。然而，由于图像自身的各种复杂变换以及外界的噪声等影响，目前还没有一个图像拼接算法能够处理所有情形的拼接问题。
图像拼接技术应用非常广泛，如医学领域、遥感领域、3D 虚拟现实领域等。此外，图像拼接技术还可用于视频监控系统、视频的检索浏览及编辑，在视频压缩领域也得到了重要运用。
在医学领域内，医生利用超声波或显微镜等仪器拍摄图像或细胞图像时，然而，由于拍摄的视角较小或者拍摄到由多个小碎片图像形成的大目标图像，医生无法获得比较完整的数据或信息来诊断病人的病情，故把多个相邻的图像拼接成一幅宽视角的图像能帮助医生获取病人信息来诊断病情。如医生使用含有多个摄像机的内窥镜对病人进行微创手术，提高了手术的成功率。
在虚拟现实领域内，首先利用摄像机或照相机拍摄多幅含有重合区域的真实场景，然后通过计算机图像学中三位几何模型的绘制技术和图像的拼接技术建立虚拟场景。目前，图像拼接技术在虚拟现实领域内取得了一定成果，如神话电视剧中的背景图像或游戏背景。
在交通控制系统中，首先在十字路口的四个方向上各放置一个摄像机，然后把捕获的四个单独视频流利用图像拼接技术进行全景图像拼接，最后把构建的全景图像传送到指挥室。该种方法降低了传送的数据量，减少交警的分析判断时间，提高了交通控制效率。
在卫星遥感领域内，通过飞机或者人造卫星在高空中从多个角度拍摄或从多个场景拍摄图像，然后将拍摄得到的图像拼接成一幅宽视角、完整的全景图像。如图像拼接技术在生态环境污染检测、国土资源勘探、城市规划、植被资源调查等方面具有广泛的应用。
由此可见，图像拼接技术不但在民用领域内对人们的实际生产生活有着非常广阔的应用前景，而且在军事领域内起着重要的作用。虽然图像拼接技术己经研究多年且取得了一定的进展，但对中国而言，它在理论和技术上都还没有成熟。因此，深入研究本课题，对发展中国的图像处理技术邻域有着重要的现实意义。
1.2国内外研究现状
图像拼接技术是计算机视觉、数字图像处理、计算机图形学等领域一个非常重要的分支。其在遥感摄影、视频监控、医学图像处理、虚拟现实等领域都有着重要的应用，图像拼接技术更是全景摄影技术、场
景重建等领域的核心技术，是近年來图像处理领域的研究热点。
在全景图拼接领域，国外的R. Szeliski 和 J. Coughlan 在 1996 年就提出一种用投影变换模型来进行图像配准，然后通过搜索算法来求出变换模型参数，虽然该方法能够获得相当好的实验效果，但是该方法所需要的运行时间比较长[1]。根据该文作者的实验结论，此方法对平移、旋转和仿射都具有一定程度的不变性。2000 年，S.Peleg 对此方法进行了改进，提出了自适应图像拼接算法，该算法根据相机运动轨迹的不同，自动选择拼接模型，最终实现图像拼接[2]。另外，Sevket Gumustekin 解决了生成全景图过程中产生的投影变形问题，通过对摄像机建立成像模型，再利用求得的成像模型把待拼接的图像投影到高斯球面上，来完成图像拼接[3,4]。1999 年，D.G. Lowe 提出了基于不变量的 SIFT 算法，并用该算法实现了目标识别[5]。2003 年，M.Brown 就使用了该 SIFT 算法实现了全景图自动拼接，并且效果较好[6]。2007 年，Seong Jong Ha 提出了基于摄像机系统的全景图拼接，拼接效果不仅好，而且速度也很快[7]。
国内使用此类方法的也有很多人，比较有代表性的如李中科[8]等结合一维和二维傅立叶变换，首先利用一维傅立叶变换，通过在变换域搜索角度脊得到旋转参数，然后对图像进行旋转。再利用二维傅立叶变换，求解平移参数，最后完成配准。李忠新[9]等提出的方法和Reddy的很相似，只是在计算方面做了一些改进。方俊伟[10]等也结合极坐标和相位相关方法解决旋转和平移图像间的图像配准和拼接问题。从以上的阐述中我们可以看出，传统的相位相关仅适用于图像间具有平移的场合，改进后，适用于图像间具有平移、缩放和旋转的场合，但是这需要付出巨大计算量的代价[10]。然而此类方法仅解决了图像间存在刚体运动的场合，面对图像存在非刚体变换失真以及更加复杂的运动（如仿射变换）情形时，就无能为力了。因此，限制了这种方法的推广和应用领域。基于几何区域相关的图像拼接方法，是在输入图像中的某一幅中，选取合适的几何区域（比如直线，多边形等），然后在其它输入图像中选取同样的几何区域，并在水平和垂直方向上移动，来计算两幅图像中几何区域的相似性（相关性），从而求解图像间的几何运动关系，完成配准。2012年，郑悦等人提出了一种基于强制改正法的灰度均值改正比的拼接缝消除方法该算法通过计算拼接缝两侧的灰度均值与原图像均值之比，利用该比值使拼接缝两侧的灰度逐渐过渡，从而消除拼接缝。[11]
在图像拼接过程中，首先是选择哪种特征提取算法，好的特征提取算法能使图像配准更加稳定。其次是选择何种融合算法，好的融合算法能够使拼接图像更加自然。到目前为止，从稳定性和快速性两方面考虑，SIFT 算法在图像拼接领域是应用最广泛的。
1.3研究内容
图像拼接技术的主要内容及流程自动建立大型、高分辨率的图像拼接技术是复杂的，多学科交叉的处理技术，一直是摄影测量学、计算机视觉、图像处理和计算机图形学的活跃研究领域。图像拼接技术主要包括以下内容：
1. 经典的图像处理技术，如：图像变换、边缘检测、图像增强等。
2. 图像配准技术，图像配准是指同一目标的两幅（或者多幅）图像在空间位置上的对准。
3. 矩阵理论和空间几何学，图像拼接技术实质上是像素进行空间搬移的过程，它是图像拼接技术的应用数学基础。
4. 数据的重采样、插值技术。
5. 图像拼接集成技术，主要有全局对齐、图像融合、接缝消除技术。当然还涉及了数值计算、模式识别、最优化方法、神经网络等领域的技术。
其中图像配准是整个图像拼接技术体系中的核心技术。按照图像配准方法的不同，可以分为基于特征的方法和基于光流的方法（非特征）两大类。但无论采用什么方法，图像拼接过程一般都由预处理、图像配准、图像融合三个步骤组成。拼接流程如图 1.1（以两幅图像的拼接为例）：
图1.1 图像拼接流程图
基本上图像拼接都遵循以上三个步骤，当然在一些情况下可以省略预处理这一环节。这三个步骤对最终目标图像的质量都有影响，其中，预处理主要是为图像配准做准备，以提高其精度和速度；图像配准是拼接的核心和关键；图像融合一方面解决最终图像的画出问题，一方面消除缝合线以及光度和色度的影响。
本文研究的主要内容为：
(1)研究了图像拼接的常用方法、一般流程以及相关的基础理论知识，包括尺度空间，高斯尺度空间，图像金字塔，积分图像，DOH 近似，变换模型等。
(2)重点研究了图像的特征提取算法。主要是比较前沿的图像拼接算法 SIFT、SURF、MSER 等算法，对 SIFT、SURF、MSER 特征提取结果进行了分析及实现。
(3)完成了基于 SIFT、SURF 算法的图像拼接，采用最近邻法实现图像粗匹配，并使用经典的 RANSAC 算法进行特征点的提纯。将拼接算法用于细胞显微图像的配准和拼接，在 VC2008 环境下进行了仿真实验，同时对 SIFT 算法进行了两个方面的改进。同时，还对图像融合技术进行了研究，其中，多分辨率融合方法是本文研究的重点，并且将该方法用于图像拼接中。
第 1 章是绪论，介绍了图像拼接技术的研究意义及应用领域，并说明了图像拼接技术的发展现状以及所面临的问题。并且说明了本论文的主要工作和图像拼接技术的关键问题。
第 2 章主要介绍了图像拼接的相关理论基础。首先介绍了图像拼接的基本步骤，主要包括四个流程，分别为图像采集、图像预处理、图像配准和图像融合，最后阐述了图像的融合技术。
第 3 章详细讨论了图像特征提取算法。首先介绍了图像特征提取的总体思路。详细介绍了基于 SIFT 特征的图像拼接算法。首先分析了图像匹配的过程，然后针对特征点中存在误配的情况，提出了 RANSAC 算法进行内点提纯。根据不同投影面的效果，本文选择了平面投影。由于图像拼接后会出现拼接缝，针对此问题，本文提出了基于多分辨率金字塔的图像融合方法。最后对 SIFT 算法进行了优化，并完成了全景图的拼接过程。
最后对论文的工作进行了总结并对未来的研究进行了展望。
为获得宽视角、高分辨率的全景图像，借助图像拼接技术来实现图像自动拼接。但由于灰度、光照等复杂因素的影响，拼接后的图像在拼接缝之间产生明显的拼接线，同时对于多幅无序图像的输入，如何实现全景图像的自动拼接。
第二章图像拼接的相关理论基础
2.1图像拼接的基本流程
一套完整的图像拼接技术涉及了很多图像处理技术，算法涉及数学、几何学、物理学等，因此实现图像拼接的方法丰富多彩，图 2.1 可以整体的描述图像拼接算法的一些基础流程，下面我们来简要阐述图像拼接技术的实现过程。
（1）输入图像。输入的图像是数字图像，数字图像有利于计算机的存储、修改、保存等，相对于数字图像的是模拟图像如胶卷相机拍摄的带有底片的照片。获取图像的方式很多，图像的种类也很多，这也是造就图像拼接算法丰富多彩的一个原因，通过数码相机可以方便的获取图像，带有鱼眼镜头的相机更是可以获取全景图像，论文如无特殊说明，图像的获取方式均是手持数码相机获得的数字图像。
（2）预处理。预处理可以说是图像拼接技术的真正有意义的第一步，它为拼接技术的保质高效的顺利完成起到了积极的作用。预处理顾名思义，对采集来的图像进行预先处理，如去除图像中的噪声，这可以提高图像拼接的质量。总之可以根据图像本身的需要选择各种预处理方法。
（3）图像配准。可以说，配准技术是图像拼接技术的灵魂性技术。它是整个图像拼接技术中最关键的环节。配准的目的是通过某种方法可以寻找到两幅或多幅有重叠部分图像的共同点，并根据这些共同点将两幅图像拼合到一起。
（4）建立变换模型。这一步其实是由配准来完成，当配准进行到找到了两幅图像间的共同点时，这时需要将两幅图像以数学表达式的形式建立图像间的关系，以利于将图像做进一步的拼合工作。
（5）统一坐标变换。两幅图像原本有各自的数学模型，这两种数学模型有各自的坐标系系统，之间没有关系，通过建立变换模型我们可以求得这种关系，这里的工作是要将两个坐标系统一到一个坐标系下，这样两幅图像就拼合在了一起。
（6）图像融合。将两幅图像简单的拼合在一起，我们可以想象，每幅图像原本具有各自的亮度，这种拼合在一起的图像往往图像之间是有亮度差异的，在两幅图像之间重叠的部分就会出现明显的拼缝现象，图像融合技术就是要处理两张拼合图像消除这种明显的拼缝、鬼影等现象，使拼合好的图像具有整体的视觉一致性。
（7）输出全景图像。此时的拼接工作已经完成，已经可以输出一幅拼接图像了，为了更符合人们视觉观察的美感，往往可以将图像进一步处理成图像在一个“面”上显示，这里的“面”可以是平面、多面
体等，有时这一步工作也可以在配准前来完成。
2.2图像预处理
图像预处理工作的目的在于保证匹配精度和提高匹配效率。总体来说，由于图像自身特点、噪声及应用的情形不同，需要根据实际情况来选择预处理的方法。保证高准确性的图像预处理工作主要分为图像校正和去噪。由于普通照相机或摄像机不能提供相机成像参数且获取的图像存在失真，故需利用校准技术从图像数据中估计出相机参数，并建立失真校正模型来校正图像失真。
由于光学成像或电子扫描系统的原因而产生图像的几何畸变会给图像的配准带来很大的困难。根据失真原因建立相应的数学模型，由模型设计滤波器，由失真图像计算真实图像的估值，从而获得尽可能的接近真实图像的数据。图像校正后的效果如图2.1
图2.1桶形失真图像和校正后的图像
在图像的采集、输入等环节中都会引入噪声，噪声会影响拼接效果，抑噪去噪一直是图像处理领域长期研究的问题。另外，由于彩色信息不能明显提高匹配性能，我们可将彩色图像转换为灰度图像，并在灰度空间内进行后续匹配操作。这样，灰度图像的转换使可能匹配耗时大大降低。总之，根据拼接图像的各种情况采用不同的预处理方案能有效的提高拼接的质量与速度。
2.3图像配准
图像配准方法可以分为基于灰度配准和基于特征配准，其思想是根据一些相似性度量来计算不同图像间的变换参数，使不同成像设备在不同时间和不同视角获取的同一场景的多幅重叠图像能够变换到同一坐标系下，并得到精确匹配的过程。基于灰度的常用图像配准方法有：空间相关法、频域相关法、不变矩法。
基于灰度的图像配准，其基本思想是：直接利用整幅图像的灰度度量两幅图像之间的相似度，然后采用搜索方法寻找相似度最大或最小的点，从而确定两幅图像之间的变换模型参数。步骤为：首先对待四配图像做几何变换；然后根据图像灰度信息的统计特性，定义一个目标函数，以此作为参考图像与变换图像之间的相似性度量，使匹配参数在目标函数的极值处取得，并以此作为匹配的判决准则和匹配参数最优化目标函数，将匹配问题转化为多元函数的极值问题；最后通过优化方法求得正确的几何变换参数。在两幅图像灰度信息相似的情况下，常用的匹配算法有：互相关匹配算法投影匹配算法、基于傅里叶变换的相位匹配算法和图像矩匹配算法。基于灰度的匹配算法，只对图像的灰度进行处理，匹配的结果只依赖于方法的本身，并且可以实现全自动的匹配。其中最大信息法几乎可以用到任何不同模态图像的匹配，已广泛应用到多模图像的匹配中。基于灰度匹配算法缺点是：计算量大、匹配所需时间长、对图像的缩放、旋转和扭曲敏感、忽略了图像的空间相关信息。
基于图像灰度的配准算法流程图：
图2.2基于图像灰度的配准方法流程图
基于灰度的图像配准方法精度高，但是也存在如下一些缺点：
（1）计算的复杂度高。
（2）对目标遮挡、旋转和形变比较敏感。
（3）对图像的灰度变化比较敏感，特别是非线性的光照变化，会大大降低算法性能。
2.3.1基于灰度信息的图像配准
基于灰度信息的配准方法简单且易于操作，基于灰度信息的图像配准方法可以简化预处理工作，不需要像其他配准方法一样进行繁琐的预处理操作，基于灰度信息的图像配准方法不需要利用图像中亮度、边缘、轮廓等信息，不需要分析图像本身的内容，它就是利用了图像的灰度信息来完成图像之间的配准。但这种方法可应用的范围较小，对噪声以及其他条件的改变都很敏感，它不能处理发生了非线性形变的图像，往往对这种图像无能为力，另外，由于灰度信息彼此之间的相似性，在匹配过程中计算量可能比较大。
2.3.2基于变换域的图像配准
相位相关法是在图像变换域上利用傅里叶变换平移性质实现图像的配准。
假设两幅图像I1(x, y) 和I2(x, y) ，存在平移 (tx, ty) ，即满足:
那么图像I1(x, y) 和I2(x, y)相应的傅里叶变换F1 和F2 就满足
有
其中，为互功率谱相位， F*2 (u, v)是F2 (u, v) 的共轭。对互功率谱的相位进行傅里叶逆变换，可在(tx, ty)处获得冲积函数的最大值。
2.3.3基于特征的图像配准
基于特征的图像配准常用的图像特征有：点特征、线特征、边缘、轮廓、闭合区以及统计矩等。特征提取算法可分为点特征算法、线特征算法算子、面特征算子。随着分割技术和边缘检测技术的发展，基于边缘、轮廓和区域的图像配准方法已经成为研究的热点。基于特征的方法具有操作简单、匹配速度快、精度高的特点。其基本步骤和方法是一致的如图2.3
图2.3基于特征的图像配准方法的基本步骤
基于特征匹配的方法是图像配准方法中的一大类，这类方法的主要共同之处是首先对图像中关键信息进行提取，再利用提取的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像间的几何变换模型以完成图像的配准。这一类方法的优点在于：通过对图像中关键信息的提取，可以大大减少匹配过程的计算量；通过特征提取过程还可以减少噪声的影响，对图像的灰度变化、图像变形以及遮挡都有较好的适应能力。
基于特征的图像配准方法步骤如下：
（1）特征提取。根据参考图像与浮动图像的特征来决定提取何种特征来进行匹配。
（2）特征匹配。在基于特征的图像配准中，在特征提取之后可以直接进行特征匹配，可以直接利用特征周围象素建立此对应关系，但这样得到的对应关系既不稳定还会存在大量的冗余信息。因此需要对其进行改进，给每个特征赋予一个描述符，从而使特征匹配过程变为搜索相近特征描述符的过程。
（3）运动关系求解。运动关系求解的过程实际上就是计算变换模型的过程，这里的运动关系通常指的是对应的变换矩阵。得到特征匹配对后就可以构造变换模型，也就是通过特征匹配对来确定待匹配图像间变换关系，通过变换关系将待匹配图像统一到同一坐标系下。直接获取两幅图像间的摄像机的运动关系模型几乎是不可能的，但可通过迭代法求解变换矩阵来实现运动关系的求解，且每次迭代都是先随机选取特征匹配对来求解一个初始的对应矩阵。
图像拼接的难点
图像拼接中主要难点在于如下几个方面：
(1) 参考图像和待配准图像可能因为在图像拍摄过程中的光照和抖动原因，产生了图像的几何畸变和噪声，如何对图像进行几何校正和去噪处理，并达到理想的效果。
(2) 为了正确快速匹配，需要对参考图像和待拼接图像中的什么信息进行提取，以及对所提取的信
息如何进行匹配，选择何种搜索策略。
(3) 参考图像和待拼接图像之间不仅存在平移，还有旋转以及缩放，或者在两幅图像之间存在大面积的同色区域等难以匹配的情况，如何在这些情况下也能做到正确快速的匹配。
(4) 对已经匹配了的两幅图像之间，选择何种图像融合的方法，才能让拼接后的图像自然无痕。
(5) 参考图像和待配准图像之间的重叠比例非常小，正确的图像匹配特征可能会淹没在大量的非匹配的特征中，如何能够找到正确的匹配特征。
(6) 两幅图像中有物体发生了运动，在融合时如何能够消除鬼影。
2.4图像融合
图像配准结束后根据求得的两幅图像间的对应变换矩阵，将两图像变换到同一坐标下形成一张拼接图，这时两图像就被简单的拼合到了一起，但是由于拍摄时两图像光照、视野、地点的差异或者图像本身分辨率、视角的不同往往拼接图像的重叠区域会产生鬼影、模糊、失真、有噪声点等现象。为了消除以上现象，改善拼接图像的视觉效果，实现图像间的光滑无缝拼接，就需要图像拼接的另一关键技术即图像融合技术。图像融合按不同的属性分类方法多种多样，这里我们简要的介绍几种融合方法，并分析这些方法的优缺点。
（1）基于加权平均的融合方法基于加权平均的融合方法是对直接加权融合方法的改进，直接加权平均的融合方法只是简单的将两幅图像的重叠部分的灰度相加再去平均值，这样很多时候图像间的拼缝现象仍然没有消除，因此，虽然直接加权法效率很高，算法复杂程度低，但融合的质量很难令人满意，因此这种方法普遍性不强。针对这种方法的不足，人们提出了基于加权的平均融合方法，这种方法的主要思想是：根据两幅图像重叠部分的位置不同对于最终形成的像素点的灰度的贡献也不一样，我们设定一个权值，一幅图像在接近自身的位置这个权值大，在远离自身的位置权值小，权值由 1 变 0，这样就可以随着权值的变换，图像的灰度呈连续性的变化并将拼缝消除。
（2）中值滤波的融合方法中值滤波法实际上是采用了一个中值滤波器，我们知道，中值滤波器可以消除图像忽然产生的亮度畸变。我们首先需要设定一个阈值 T，这是用来判定某像素点灰度值是否比它周围像素灰度值差异较大，具体做法是将一个像素点的灰度与它周围的其他像素灰度做一个比值，如果这个比值超过了给定的阈值T，那么我们就认为此处存在较大的亮度畸变，这时对此处进行中值滤波处理来消除畸变，中值滤波法可以保持亮度的连续性，但是这种方法要求一个比较合理的阈值，阈值取得不合理有可能影响最终的融合质量，这是这种方法的缺点所在。
（3）基于小波的融合方法
基于小波的融合方法同基于多分辨率的融合方法的原理类似，它是先将重叠部分的图像进行小波变换，形成若干小波图像，并对这些小波图像分别进行融合处理，这样有利于保持图像的原始信息，既有图像细节信息的融合，又有图像整体概况信息的融合，然后通过小波的逆变换形成完整融合图像。基于小波的融合方法图像的融合质量相对较高，融合的效果较好，但是这种方法需要多次的小波正逆变换，因此算法复杂度比较高，这样融合的速度会降低，影响拼接的效率。
本文在综合考虑了各种融合算法的优缺点后，认为基于加权的融合算法不论在融合的质量以及融合的效率上都比较令人满意，符合本文拼接效果的要求，因此，本文采用了其中一种基于加权平均法的图像融合方法。
第三章基于 SIFT 特征的图像拼接算法和图像特征提取算法
3.1算法流程
我们的任务是根据这种情况的拼接特点，从拼接鲁棒性、拼接速度、拼接质量方面考虑，我们有如下的图象拼接算法，算法流程图如图 3.1 所示。
图 3.1 算法流程图
3.1.1SIFT 特征描述符
首先将坐标轴旋转为特征点的方向，以保证旋转不变性；接下来以特征点为中心取8×8的窗口（特征点所在的行和列不取）。在图3.2中，中央黑点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中圈内代表高斯加权的范围（越靠近特征点的像素，梯度方向信息贡献越大）。然后在每4×4的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点，如图3.2(b)所示。此图中一个特征点由2×2共4个种子点组成，每个种子点有8个方向向量信息，可产生2×2×8共32个数据，形成32维的SIFT 特征向量即特征描述符，所需的图像数据块为8×8。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。
图3.2图像梯度及特征点描述符
实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个特征点使用4×4共16个种子点来描述，每个种子点有8个方向向量信息，这样对于一个特征点就可以产生4×4×8共128个数据，最终形成128维的SIFT特征向量即特征描述符，所需的图像数据块是16×16。此时，SIFT特征向量已去除了尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。
3.1.2ISIFT 算法的特征匹配
(1) 粗匹配。采用优先 k-d 树进行优先搜索来查找每个特征点的两个近似最近邻域特征点，计算比较最近邻域（NN）与第二最近邻域（SNN）的距离，通过设置一个阈值，得到伪匹配点集。
(2) 精确匹配。采用 RANSAC（Random Sample Consensus）法进行精确匹配，同时得到图像间的变换关系。具体步骤如下：
Step1: 对 NN/SCN 设定阈值 T（根据实验测试，一般在 0.6～0.8 之间），如果NN/SCN 的值小于该阈值，则保留该点，否则去除该点；
Step2: 从 Step1 得到的 M 对伪匹配点中随机选择 3 对匹配点，线性的计算变换（仿射变换）矩阵 H；
Step3: 计算每对伪匹配点与 H 的垂直距离 d；
Step4: 根据内点距离小于阈值的原则计算 H 的内点，并在此内点域上重新估计 H；
Step5: 随机采样 N 次，直到得到最大的内点集合为止；根据这个最大内点集合估计变换矩阵，并把这个矩阵作为最后的图像变换矩阵。表 4.1 所示是随机采样次数 N 随外点多少的变化情况。本文中的方法确定采样次数 N、内点距离阈值。通过 Step1 设置阈值 T 进行初步过滤，可以去除 80％～90％以上的误匹配点，这对于 RANSAC算法进一步求解几何变换模型的准确性和速度都有了很大的提高。
表 3.1 随机采样次数随外点多少的变化情况
3.2图像融合
图像配准后，图像间的变换关系就得到了唯一确定。但是由于普通的手持照相机在拍摄照片时会自动选取曝光参数，这会使输入图像间存在亮度差异，导致拼接后的图像缝合线两端出现明显的明暗变化。因此，为了使融合后的图像具有视觉一致性而没有明显的接缝，我们采用加权平均的融合方法进行图像平滑过渡。假设 f1，f2是两幅待拼接的图像，f 是融合后的图像，则
其中，d1、d2表示权重值，与重叠区域的宽度有关，且 d1 + d2=1，0< d1，d2<1，在重叠区域中，d1由 1 渐变至 0，d2由 0 渐变至 1，由此实现了在重叠区域中由f1慢慢平滑过渡到 f2，从而实现了图像的无缝拼接。
该实验可以得出：SIFT 算法检测到的特征点非常多，匹配的特征点数量也很多，这正是 SIFT 特征最初用于目标识别的原因。目标识别要从大量的图像数据库中匹配较小的目标，所以较小的目标更加需要丰富的特征信息进行描述。而图像配准不同于目标识别，它只需要使用少量的匹配点对（仿射变换只需要3 对正确的匹配点对即可进行配准），这也正是 ISIFT 算法的改进之处。
如表 3.2 所示，ISIFT 算法提取出来的特征点数量有明显的减少，这使得特征点的匹配速度明显提高，ISIFT 算法较 SIFT 算法的匹配速度提高了近一倍。虽然ISIFT 算法在减少特征点提取数量的同时，也剔除了部分原有的正确匹配对，但是与检测的数量相比，集合中正确的匹配点的比例并没有降低，甚至提高了，也ISIFT 算法提取出来的特征点数量有明显的减少。
为了比较 SIFT 和 ISIFT 算法匹配的速度，做如下实验，针对相同尺度，不同旋转角度的三组图像，如图 3.3 所示，分别采用 SIFT 和 ISIFT 算法进行匹配和拼接，匹配时间如表 4.2 所示，采用 ISIFT 算法拼接的结果如图 3.3 中的(c)、(f)、(i)所示。
表 3.2 SIFT 和ISIFT 算法匹配匹配时间的比较
（a）（b）
（c）（d）
（e）（f）
（g）（h）
（i）
图3.3 ISIFT算法拼接结果图
3.3图像特征提取算法
基于局部特征的图像配准方法的大致流程是：从每一幅图像中检测出局部特征，然后将每个特征点集合中的所有元素进行相互匹配；在通常情况下，每一个局部特征点并不是能够进行正确的匹配，这时就需要对所有的匹配对进行内点提纯，最后才能够得到两幅图像之间正确的变换模型；最后根据变换模型参数将图像投影到参考面上，实现图像的配准。其算法流程如图 3.4 所示：
图 3.4 图像特征提取过程
3.3.1图像特征提取概述
人们能够从一幅图像中发现各种各样的信息，如何从这些信息中提取到人们需要的
特征点并用来标识图像中的对象，是图像特征提取的任务。
通常，一种好的特征点应该具备以下特点：
(1)可重复性：同一个物体/场景在不同的视角下，两幅图像中对应的特征越多越好。
(2)独特性：特征的幅值模式需要呈现多样性，这样的特征才能被区分和匹配。
(3)局部性：特征应该是局部的，从而减少被遮挡的可能性，并且允许用简单的模型来近似估计(不同角度拍摄下的)两幅图像之间的几何和成像变形。
(4)数量性：检测到的特征数目一定要多，即使是很小的物体也应有足够的特征。理想的情况是检测到的特征数量在一个比较大的范围内，然后可以用一个简单的参数来进行调整。特征点的分布情况最好能够反映图像的内容。
(5)准确性：检测到的特征点应该能被精确定位，这里定位不仅仅指的是在图像的空间位置上，还包括该特征的尺度等。
(6)高效性：在图像中，特征的检测时间效率越高越好，以便用于有实时要求的应用。
因此，需要在算法的效果和速度上进行权衡比较，选择一种合适的算法来实现图像的拼接。其中基于特征点的特征提取算法相对于其他的算法来说应用范围要广泛。根据文献的结论，可以知道特征提取算子中 SIFT 算法是较好的。而在特征点方面，SIFT 和 SURF 比较出众，而且稳定性都比较好。将重点研究SIFT 算子、SURF 算子和 MSERs 算子。其中 MSERs 算子对于区域检测比较有效。
3.3.2 SIFT 特征向量的匹配
当生成 SIFT 特征向量后，下一步就是特征向量的匹配，主要分为 2 个步骤：
1) 进行相似性度量。一般采用欧氏距离、马氏距离等距离函数作为特征的相似性度量。通过相似性度量得到图像间的潜在匹配。采用关键点特征向量的欧氏距离作为 2 幅图像间的相似性度量，取图像 1 中的某关键点，按照阈值找出与基准图像中欧氏距离最近的前 2 个关键点。在这 2个关键点中，如果最近的距离除以次近的距离小于某比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT 匹配点数目会减少，但匹配更稳定可靠。
2) 消除错误匹配。通过相似性度量得到潜在匹配对后，其中会产生错误匹配，需要根据几何限制和附加约束消除错误匹配，提高鲁棒性。使用 RANSAC 随机抽样一致性算法去外点。算法随机选择 3 个特征点确定一个圆线拟合，可降低匹配特征点共线的风险，同时在一定程度上避免了内点过于临近，相对于多次循环RANSAC 算法，改进后的圆线形 RANSAC 算法提高了消除错配的效率，增强了图像配准算法稳健性。
SIFT 描述符是对特征点的邻域内生成的梯度直方图进行统计，从而生成一定维数的特征矢量。特征矢量是按照特征点的结构进行排列得到的。应该在特征点所在的高斯图像上进行梯度的求取，因为特征点描述符跟尺度大小有关。首先要将特征点的邻域划分成 4*4，共 16 个子块，并且每个子块的边长为3σ，其中σ为特征点所在的尺度大小。由于还要对特征点进行灰度插值，所以特征点的邻域还要增大到15σ。
再加上还要对邻域进行旋转，因此最终的特征点邻域大小要变为。
为了保证特征矢量具有旋转不变性，需要以特征点为中心，将特征点附近邻域内)图像梯度的位置和方向旋转一个方向角φ。以特征点为中心，将特征点附近邻域旋转到主方向后，然后将它平均分成 44个子区域，每个子区域的大小为3σ个像元。在每个子区域内计算梯度直方图的 8 个方向，对每个梯度方向进行累加计算，形成一个种子点。与求取特征点主方向有所不同，此时，每个子区域的梯
度方向直方图将00~3600 划分为 8 个方向范围，每个范围为450 ，这样，每个种子点共有 8 个方向的梯度强度信息。由图 3.5 右边可知，有 16 个子区域，并且每个子区域有一个种子点，每个种子点有 8 个方向的梯度，那么就可以形成 8*16=128 个数据，即 128 维的 SIFT 特征向量。
同样，在生成 128 维的特征矢量的过程中，还要对其采用方差为6的高斯函数进行高斯加权处理。如图 3.5 所示，图的左边的圆形区域的半径大小为高斯函数的方差。生成 128 维的特征矢量后，需要将这些数据归一化到[0,1]范围内，这样就可以使特征点具有了光照不变性。在对特征点进行归一化的时候，将大于 0.2 的值取为 0.2，小于 0.2的值不进行任何处理，其目的就是为了提高特征点的独特性。
经过上述处理以后，SIFT 算法就具有了对图像的旋转、尺度缩放、光照变化的不变性，同时还对仿射变换和噪声影响保持一定程度的鲁棒性。经过优化的 SIFT 算法就具备了独特性、多量性、高速性和可扩展性，使 SIFT 算法的应用范围得到了扩展。
总结
本文提出一种改进的 SIFT 特征提取方法运用到图像拼接中，通过在图像拼接的过程中，加入了特征像素平滑融合技术，利用映射的方法降低图像的维度，通过一定方法得到的特征点，鲁棒地拼接图像，大幅度的降低了拼接图像的重影度，使得可以很好的处理图像拼接中的缝隙问题。本文不需要在提前对拼接图像做特殊处理，对背景也无特殊要求。因此具有一定的实际应用价值。图像拼接技术作为数字图像处理领域的一个重要分支,是近年来图像处理领域中的新兴技术,也是数字视频、虚拟现实场景以及三维动画的基础,因此对它的研究具有十分重要的现实意义。本文主要工作如下:
1）通过对国内外学术界对图像拼接和配准领域的发展情况、应用领域及最新进展的总结和整理,给出了基于特征的图像拼接技术下的一般系统组成框图。
2）研究了图像配准算法中的几种常用的技术,包括图像的变换方式、基于模板的图像匹配方法及匹配点集的相似性度量等,并给出它们具体的适用范围。
3）对于两种常用的特征,角点和特征向量,本文给出了具体的实现过程,对角点的三种检测算子进行比较,本文验证了与其他两种角点检测算子相比角点检测算子是非常理想的一种特征点。
4）本文也介绍了用 SURF 算法进行全景图的拼接，拼接速度比用 SIFT 算法要快。但是，拼接的稳定性没有 SIFT 算法好。其中本文曾尝试过用 SIFT 算法能够成功拼接两幅重叠区域较少的细胞图像，而用 SURF 算法却出现失败。
5）对基于图像特征点的配准拼接技术,本文对基于角点和基于特征两种情况下的图像拼接配准进行以多幅图片为例进行了拼接工作,同时对多组数据进行了对比。针对图像配准中的变换矩阵的提取,本文给出了一种基于二次导向匹配的方法,该方法相比算法在收敛性上要好一些,同时该算法的计算相对简单,计算结果很准确。
6）用 SIFT 算法进行全景图拼接时，投影平面的选取也很重要。本文采用了比较简单地平面投影，而且是已知图像序列顺序的情况下实现的全景图拼接。如果图像顺序未知的话，首先还得需要对图像进行排序，并且也要去除干扰图像，这是以后需要考虑的。
参考文献
[1] Szeliski R. Video mosaics for virtual environments. IEEE Computer Graphics and Applications, 1996, 16(2): 22-30
[2] Peleg S, Rousso B, Rav-Acha A, Zomet A. Mosaicing on Adaptive Manifolds. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22(10): 1144-1154 [3] Gümüstekin S, Hall R W. Mosaic image generation on a flattened gaussian sphere. In: Institute for Scientific Information, eds. Proc. of the 3rd IEEE Workshop on Applications of Computer Vision (WACV). USA: WACV, 1996: 50-55
[4] Gümüstekin S, Hall R W. Image registration and mosaicing using a
self-calibrating camera. In: IEEE Signal Processing Society, eds. International Conference
on Image Processing (ICIP). USA: ICIP, 1998: 818-822
[5] Lowe D G. Object recognition from local scale-invariant features. In: IEEE Computer Society, eds. Proc. of the Seventh IEEE International Conference on Conference Computer Vision (ICCV), USA: ICCV, 1999: 1150-1157
[6] Brown M, Lowe D G. Recognising panoramas. In: IEEE Computer Society, eds. Proc. of the Seventh IEEE International Conference on Conference Computer Vision (ICCV), USA: ICCV, 2003: 1218-1225
[7] Seong Jong Ha, Hyung Koo, Sang Hwa Lee, et.al. Panorama mosaic optimization for mobile camera systems. 2007, 53(4): 1217-1225
[8]李中科, 吴乐南. 基于霍夫变换和相位相关的图像配准方法[J]. 信号处理, 2004, 20(2):
166-169
[9] 李忠新, 茅耀斌, 王执铨. 基于对数极坐标映射的图像拼接方法[J]. 中国图象图形学报, 2005, 10(1): 59-63
[10] 方俊伟, 翟超, 金熠. 相位相关法实现图像拼接的仿真和优化[J]. 计算机应用与软件, 2008, 25(1): 207-208
[11]郑悦，程红孙文邦基于灰度均值改正比的拼接缝消除方法计算机应用，2012，32（11）：3168-3170
[12] Draréni Jamil, Roy Sébastien, Sturm Peter. Plane-based calibration for linear cameras[J]. International Journal of Computer Vision, 2011, 91(2): 146-156
[13] Ricolfe Viala Carlos, Sánchez Salmerón Antonio José. Using the camera pin-hole model restrictions to calibrate the lens distortion model[J]. Optics and Laser Technology, 2011, 43(6): 996-1005
[14] Brauers Johannes, Aach Til. Geometric calibration of lens and filter distortions for multispectral filter-wheel cameras[J]. Optics and Laser Technology, 2011, 20(2): 496-506
[15] Bogre, Michelle. Pinhole Revival[M]. Popular Photography, 1988: 216-220、
[16] Rublee E, Rabaud V, Konolige K, Bradski G. ORB: an efficient alternative to SIFT or SURF. In Proc. of the IEEE Intl. Conf. on Computer Vision (ICCV), 2011: 2564-2571
[17] Luo Juan, Oubong Gwun. A Comparison of SIFT, PCA-SIFT and SURF. International Journal of Image Processing, 2009, 3(4): 143-152
[18]郭海涛, 刘智, 张保明. 基于遗传算法的快速影像匹配技术的研究. 测绘学院学报, 2001,
18(Suppl): 20-22
[19] 赵向阳, 杜利民. 一种全自动稳健的图像拼接融合算法. 中国图象图形学报, 2004, 9(4):
417-422
[20] 侯舒维, 郭宝龙. 一种图像自动拼接的快速算法. 计算机工程, 2005, 31(15): 70-72
[21] 方贤勇, 张明敏, 潘志庚, 罗斌, 王鹏. 基于图切割的图像拼接技术研究. 中国国象国形
学报, 2007, 12(12): 2050-5056
[22] 赵万金, 龚声蓉, 刘全. 一种用于图像拼接的图像序列自动排序算法. 中国图象图形学报, 2007, 12(10): 1861-1864
[23] 周志铭, 余松煜, 张瑞. 一种基于 SIFT 算子的人脸识别方法. 中国图象图形学报, 2008, 13(10): 1883-1885
[24] 方莉, 张萍. 经典图像去噪算法研究综述. 工业控制计算机, 2010, 23(11): 73-74
【CN109934765A】高速相机全景图像拼接方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910162807.8 (22)申请日 2019.03.05 (71)申请人 北京环境特性研究所 地址 100854 北京市海淀区永定路50号 (72)发明人 李海涛 闫鑫 石春雷 杨文佳 崔述金 杨桦 李伯轩 王永艳 (74)专利代理机构 北京格允知识产权代理有限 公司 11609 代理人 周娇娇 张沫 (51)Int.Cl. G06T 3/00(2006.01) G06T 3/40(2006.01) (54)发明名称 高速相机全景图像拼接方法 (57)摘要 本发明涉及一种高速相机全景图像拼接方 法，包括将高速相机设置在转台上，高速相机的 曝光间隔至多设置为转台转角位移等于相机横 向视场角时所经历的时间；使转台匀速旋转 360°，同时高速相机按照所述的曝光间隔对目标 成像；高速相机获取的每幅原始目标图像对应的 转台转角位移通过码盘的码盘值确定；将所有原 始目标图像依据对应的码盘值按成像的时间排 序，并采用非线性算法对相邻两幅原始目标图像 进行配准，去掉重叠区域，获得去重后的目标图 像；将所有去重后的目标图像按所述排序拼接在 一起，形成360°全景图。本发明利用码盘值对图 像进行排序，效率高，提高了图像的拼接效率，从 而能够快速获得全景图像。权利要求书2页 说明书6页 附图3页CN 109934765 A 2019.06.25 C N 109934765 A
1.一种高速相机全景图像拼接方法，其特征在于，包括将高速相机设置在转台上，高速相机的曝光间隔至多设置为转台转角位移等于相机横向视场角时所经历的时间； 使转台匀速旋转360°，同时高速相机按照所述的曝光间隔对目标成像；高速相机获取的每幅原始目标图像对应的转台转角位移通过码盘的码盘值确定； 将所有原始目标图像依据对应的码盘值按成像的时间排序，并采用非线性算法对相邻两幅原始目标图像进行配准，去掉重叠区域，获得去重后的目标图像；将所有去重后的目标图像按所述排序拼接在一起，形成360°全景图。 2.根据权利要求1所述的高速相机全景图像拼接方法，其特征在于，所述对相邻两幅原始目标图像进行配准包括，估算相邻两幅原始目标图像重叠区域的大小。 3.根据权利要求2所述的高速相机全景图像拼接方法，其特征在于，所述对相邻两幅原始目标图像进行配准还包括，根据估算的相邻两幅原始目标图像重叠区域的大小计算相邻两幅原始目标图像的20个非线性相关矩阵，所述20个非线性相关矩阵分别对应不同大小的疑似重叠区域； 对每个非线性相关矩阵的两个峰值求和得到一个Sum值，由20个非线性相关矩阵获得的20个Sum值组成一维向量，计算所述一维向量梯度变化最大的点，由所述梯度变化最大的点计算出相邻两幅原始目标图像的精确重叠区域。 4.根据权利要求3所述的高速相机全景图像拼接方法，其特征在于，在原始目标图像中去掉所述精确重叠区域，获得去重后的目标图像。 5.根据权利要求1至4中任一项所述的高速相机全景图像拼接方法，其特征在于，所述高速相机的曝光间隔t为： t≤c/v s ， 式中c为相机横向视场角，v s 为转台转速。 6.根据权利要求1至5中任一项所述的高速相机全景图像拼接方法，其特征在于，第n幅原始目标图像对应的码盘值αn 为： 式中α1为第一幅原始目标图像对应的码盘值，αmax 为码盘值的最大值， n为原始目标图像的顺序数。 7.根据权利要求1至6中任一项所述的高速相机全景图像拼接方法，其特征在于，估算相邻两幅原始目标图像重叠区域的大小包括： 计算相邻两幅原始目标图像重叠区域的像素数Δpix： 式中m为高速相机的横向像素数。 8.根据权利要求7所述的高速相机全景图像拼接方法，其特征在于，根据相邻两幅原始目标图像重叠区域的像素数Δpix在Δpix ± 10的像素范围内截取20个图像对为： 权 利 要 求 书1/2页2CN 109934765 A
基于SIFT特征向量的图像拼接技术研究
基于SIFT特征向量的图像拼接技术研究摘要 图像拼接技术是数字图像处理邻域的一个研究热点，一直是计算机视觉、模式识别、医学等领域研究的一个重要课题，图像拼接技术也是图像处理工作中的关键技术之一。所谓图像拼接就是将有重叠的图像无缝拼成一幅大宽视域图像的技术。它包含两个关键技术：图像配准和图像融合。近年来，随着技术的成熟，图像拼接技术被很好的应用到了机器人导航、无人平台战场监控、航拍图像处理等多个领域。基于特征的图像配准与拼接技术配准结果准确拼接效果良好且不易受光照、旋转等因素的影响是当前图像配准与拼接领域研究的热点。本文在深入研究和学习已有的基于SIFT的图像配准与拼接技术的基础上，详尽地分析了现有算法的不足，并提出了若干改进算法。 关键字：图像拼接，特征，线段特征，图像融合 Image splicing technology research based on SIFT feature vector abstract Image splicing technology is a research focus in the neighborhood of digital image processing, has been the computer vision, pattern recognition, an important hot topic in the field of medicine and other fields, image splicing technology is one of the key technologies of image processing work. The so-called image mosaicing is there will be overlapping images seamless Mosaic a big wide horizon image technology. It includes two key techniques: image registration and image fusion. In recent years, with mature technology, image splicing technology is very good application in robot navigation, unmanned platform battlefield monitoring, aerial image processing and other fields. Based on the characteristics of image registration and Mosaic registration results are accurate stitching effect is good and not easily influenced by factors such as illumination, rotation is the hotspot in research of image registration and Mosaic. Based on the in-depth research and study of the existing image registration based on SIFT and splicing technology, on the basis of the shortage of the existing algorithm is analyzed in detail, and puts forward some improved algorithm. The keyword：Image stitching, features, line features, image fusion 目录 第一章绪论 (2) 1.1研究背景和意义 (2) 1.2国内外研究现状 (3) 1.3研究内容 (4) 第二章图像拼接的相关理论基础 (6) 2.1图像拼接的基本流程 (6)
图像拼接原理及方法
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
全景拼接算法简介
全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
360°全景拼接技术简介
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
图像拼接算法及实现.doc
图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论
图像匹配与拼接方法
图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：
虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了
高清图像全景拼接
高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998
全景拼接白皮书
目录
1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。
基于经验模态分解的图像融合研究
基于经验模态分解的图像融合研究 图像融合是对不同渠道摄取的同一景物的多幅图像进行处理,以得到更清晰更实用的图像的过程。它是图像处理过程中的一个重要环节,比如图像拼接就离不开图像融合,因而研究图像融合具有一定的现实和理论意义。目前,以小波分析为代表的多分辨率图像融合技术是一个研究热点,但小波基函数的选取是小波分析的难点,也是小波分析这种信号分析方法的最大瓶颈。经验模态分解则能突破这种障碍,它根据自身的特性自适应的进行信号分解,显示出极大的优越性。把经 验模态分解用于图像融合,取得了良好的效果。 标签：图像融合;多分辨率分析;经验模态分解;固有模态函数 1 引言 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术,是把来自不同时刻或不同成像设备对同一目标检测的多幅图像数据采用某种方法进行处理,生成一幅能够有效表示出该图像检测信息的图像的过程。由于不同模式的图像传感器的成像机理不同,工作电磁波的波长不同,所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性,经图像融合技术处理后可以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。正是由于这一特点,图像融合作为信息融合的一种有力工具,已广泛地应用于军事、遥 感、机器人视觉和医学图像处理等领域。 图像融合包含图像配准和无缝合成两个部分。由于成像时受到各种变形因素的影响,得到的各幅图像间存在着相对的几何差异,所以需要对待融合的图像进行配准。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正,把相邻两幅图像合成到同一坐标系下,并使得相同景物在不同的局部图像中对应起来,以便于图像无缝合成。图像配准之后,在某些情况下,由于拍摄时光照、环境条件(如噪声、云、烟雾、雨等)、视野、地点的差异,两幅待拼接图像地重叠区域可能会有较大的差别。如果直接对这样的图像进行简单的叠加拼合,得到的拼接图在拼接位置上会存在明显的接缝以及重叠区域的模糊和失真现象。因此需要一种技术 修正待拼接图像拼接缝附近的颜色值,使之平滑过渡,实现无缝合成。 根据图像的表征层来划分,图像融合可分为三类:像素级融合、特征级融合和决策级融合。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、样条变换融合法、金字塔变换融合法、小波变换融合法等,尤其是多分辨率分析方法(金字塔变换,小波变换等)具有明显的优势。小波变换融合算法主要是利用人眼对局部对比度的变化比较敏感这一事实,根据一定的融合规则,在多幅原
基于特征点的全自动无缝图像拼接方法
－2083－ 0引言 图像拼接是计算机视觉领域的一个重要分支。它是一种将多幅相关的重叠图像进行无缝拼接从而获得宽视角全景图像的技术。近年来，国内外对于图像拼接各细节的研究已取得了一些成果[1~3]，但对于尺度、视差及光照变化较大的图像序列的拼接效果还有待提高。此外，目前对于完整的全自动无缝图像拼接技术的研究还较少。针对以上现状，本文给出了一种基于特征点的全自动无缝图像拼接方法。该方法依据图像拼接过程中各阶段涉及的理论与技术，利用RANSAC (ran-dom sample consensus )算法、引导互匹配、加权平滑算法等技术克服了传统图像拼接技术中的局限性(如光照、尺度变化的影响等)，实现了光照和尺度变化条件下的多视角无缝图像拼接。 1拼接方法的总体设计 文中的图像拼接技术包括4大部分：图像获取；特征点提 取与匹配；图像配准；图像融合。各部分均采用了当前图像处理领域的先进算法，并使用相应的精炼技术对各部分的处理结果进行优化，以达到较理想的拼接效果。整个技术的实现 流程如图1所示。 2图像获取 图像获取是实现图像拼接的前提条件。不同的图像获取 方法会得到不同的输入图像序列，并产生不同的图像拼接效果。目前，获得图像序列的方法主要有3种[4]：①照相机被固定在三脚架上，通过旋转照相机获取图像数据；②照相机固定在可移动平台上，通过平行移动照相机获取图像数据；③手持 收稿日期：2006-04-20E-mail ：lihan409@https://www.docsj.com/doc/013669980.html, 作者简介：李寒(1981－)，女，辽宁沈阳人，硕士研究生，研究方向为数字图像处理；牛纪桢，女，副教授，研究方向为计算机应用；郭禾，男，副教授，研究方向为数字图像处理、计算机应用。 基于特征点的全自动无缝图像拼接方法 李 寒，牛纪桢，郭禾 (大连理工大学计算机科学与工程系，辽宁大连116023) 摘 要：提出了一种基于特征点的全自动无缝图像拼接方法。该方法采用对于尺度具有鲁棒性的SIFT 算法进行特征点的提取与匹配，并通过引导互匹配及投票过滤的方法提高特征点的匹配精确度，使用稳健的RANSAC 算法求出图像间变换矩阵H 的初值并使用LM 非线性迭代算法精炼H ，最终使用加权平滑算法完成了图像的无缝拼接。整个处理过程完全自动地实现了对一组图像的无缝拼接，克服了传统图像拼接方法在尺度和光照变化条件下的局限性。实验结果验证了方法的有效性。关键词：图像拼接;SIFT 特征点;引导互匹配;随机抽样一致算法;变换矩阵中图法分类号：TP391 文献标识码：A 文章编号：1000-7024(2007)09-2083-03 Automatic seamless image mosaic method based on feature points LI Han, NIU Ji-zhen, GUO He (Department of Computer Science and Engineering,Dalian University of Technology,Dalian 116023,China ) Abstract ：An automatic seamless image mosaic method based on feature points is proposed.First a scale-invariant feature extracting algorithm SIFT is used for feature extraction and matching.In order to improve the accuracy of matching,guided complementary matching and voting filter is used.Then,the transforming matrix H is computed with RANSAC algorithm and LM algorithm.And finally image mosaic is completed with smoothing algorithm.The method implements automatically and avoids the disadvantages of tra-ditional image mosaic method under different scale and illumination conditions.Experimental results show that the image mosaic method is stable and effective. Key words ：image mosaic;SIFT features;guided complementary matching;RANSAC algorithm;transforming matrix 图1图像拼接技术流程 图像融合图像配准(计算H )特征点提取与匹配 图像获取 H=
图像拼接原理及方法
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
图像拼接算法及实现(一).
图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this