数字图像拼接方法研究进展

数字图像拼接方法研究进展

余宏生1,2，金伟其1

（1.北京理工大学光电学院，北京 100081；2.黄石理工学院数理学院，湖北黄石 435000）

摘要：数字图像拼接是指将具有重叠区的多幅数字图像或多帧视频通过配准和融合获得单幅宽视场图像或者动态全景图。数字图像拼接方法主要包括图像配准算法和图像融合算法。根据待拼接图像和拼接图像的特点，介绍图像拼接的4种基本类型，说明图像拼接的研究意义，概述近年来图像拼接方法的研究状况，最后分析图像拼接方法的研究动向。

关键词：图像拼接；图像配准；图像融合；全景图；超分辨率图像

中图分类号：TP391 文献标识码：A 文章编号：1001-8891(2009)06-0348-06 Evolvement of Research on Digital Image Mosaics Methods

YU Hong-sheng1,2，JIN Wei-qi1

(1.School of Optical Engineering, Beijing Institute of Technology, Beijing 100081, China;

2. School of Mathematics and Physics, Huangshi Institute of Technology, Hubei Huangshi 435000, China)

Abstract：Digital image mosaics can be defined as image registration and fusion of lots of overlapping digital images or multiple video frames into a single wide field of view image or dynamic panoramic image. Digital image mosaics methods include both image registration algorithm and image fusion algorithm. The goals of this paper are as follows; a) to introduce four basic types of image mosaics according to the character of to-be-mosaic images and mosaic image, and to explain the significances of image mosaics research, b) to summarize the state of research on image mosaics methods in recent years, c) to provide new direction for future research on image mosaics methods.

Key words：panoramic image；image mosaics；image registration；image fusion；super-solution image

引言

数字图像拼接是指将具有重叠区的多幅数字图像或多帧视频图像通过数字配准和融合，获得单幅宽视场图像或者动态全景图。目前，数字图像拼接技术被广泛应用于军事和民用领域（如卫星遥感[1]、海底勘探[2]、地表植被测绘[3]、无人机监视和搜索[4]、机器人视觉[5]、视频监控[6]、医学探查[7]、电子稳像[8]和虚拟现实[9]等）。

在实际应用场合中，待拼接的图像间往往存在以下特点：①平移、缩放、旋转等多种几何失真；②色度、亮度不一致；③场景中可能存在运动物体；④部分模糊失真；⑤图像的拍摄视点不同。拼接后的静态全景图不仅应该满足人眼感知的基本要求，如色度和亮度一致、无明显拼接痕迹、没有拼接产生的黑边、没有由于运动物体引起的“鬼影”等，而且还应该满足特定应用场合的要求，如生成超分辨率图像、提高图像清晰度或生成3-D立体图像等。动态全景图除满足上述要求外，还必须能够消除全局累积配准误差，实现运动目标跟踪、场景的自动切换等功能。

数字图像拼接技术受到国内外越来越多的关注，其算法研究也取得了令人瞩目的进展。本文首先介绍图像拼接的分类，说明图像拼接技术的研究意义；然后介绍图像配准算法和图像融合算法的研究状况；最后分析图像拼接算法的最新研究动向。

1图像拼接的分类

根据待拼接图像（输入）和拼接图像（输出）的图像类型来分类，图像拼接可以分为四种类型：基于静态图像的静态图像拼接、基于静态图像的动态图像拼接、基于视频序列的静态图像拼接和基于视频序列的动态图像拼接。

348

349

1.1 基于静态图像的静态图像拼接（Static image

mosaics from static images ，SIMFSI ）

如图1，基于静态图像的图像拼接是指利用具有重叠区的k 幅静态图像I i1(x , y )，I i2(x , y )，…，I i k (x , y ), （k ≥2），通过数字配准和融合获得单幅宽视场静态图像I o (x , y )。SIMFSI 技术是图像拼接技术的基础，不仅基于视频序列的拼接最终必须转换为基于静态帧的拼接，而且基于静态图像的拼接方法和研究成果都能够用于基于视频序列的拼接。

图1 基于静态图像的静态图像拼接 Fig.1 Static image mosaics from static images

图2 (a)及(b)文献[10]中为两幅眼底血管造影图像，(c)为两幅图像的拼接结果。从拼接图像(c)可更加全面地观察眼底血管的整体情况，即图像拼接方法等效地增大了共焦激光扫描检眼镜成像的视场角。

(a) (b) (c) 图2 眼底ICG 造影图像的拼接

(a) (b)为两幅眼底ICG 造影图像, (c)为拼接结果。 Fig.2 The mosaic of Fundus ICG angiograms of eye

(a) (b) A pair of Fundus ICG angiograms of eye,

(c) The mosaicing results.

1.2 基于静态图像的动态图像拼接（Dynamic image

mosaics from static images ，DIMFSI ）

如图3，基于静态图像的动态图像拼接是指利用具有重叠区的k 幅静态图像I i1(x , y )，I i2(x , y )，…，I i k (x , y ), （k ≥2），通过配准和融合获得视频动态全景图I o (x , y , t )。DIMFSI 技术本质上是将在时间上离散的二维图像空间转化三维视频空间。

图3 基于静态图像的动态图像拼接 Fig.3 Dynamic image mosaics from static images 在自然界中有很多缓慢变化的现象，例如生物细胞分裂、植物开花等过程达几小时至十几小时，甚至更长。观察其全过程比较困难，可以采用间隔拍摄然后拼接成视频的方法人为加速所观察对象的变化速度，以便于观察和研究。如果待拼接静态图像间存在几何失真或者色度、光照不一致的情况，就必须采用数字图像拼接技术进行拼接。

1.3 基于视频序列的静态图像拼接（Static image

mosaics from video sequences ，SIMFVS)

如图4，基于视频序列的静态图像拼接是指利用多帧视频序列图像I i (x , y , t )，通过配准和融合获得单幅静态全景图I o (x , y )。文献[11]采用视频序列图像拼接成全景图。图5为视频序列图像的全景图拼接示意图。(a)为8帧视频序列，(b)为拼接后的全景图像。

图4 基于视频序列的静态图像拼接 Fig.4 Static image mosaics from video sequences

(a) (b)

图5 视频序列图像的全景图拼接

(a)为待拼接的视频序列图像1st-8th ；(b)为由视频序列得到的图像拼接结果

Fig.5 The panorama mosaicked from video sequential images

(a) sequential images to be mosaicked; (b)Image mosaic result obtained from sequential images.

1.4 基于视频序列的动态图像拼接（Dynamic image

mosaics from video sequences ，DIMFVS)

如图6，基于视频序列的静动态图像拼接是指利用连续拍摄的多帧视频序列图像I i (x , y , t )，通过配准和融合获得动态全景图I o (x , y , t )。动态全景图指I o (x , y , t )的每一帧图像I o (x , y , t k )是由视频序列图像的前k 帧图像I i (x , y , t 1)，I i (x , y , t 2)，…，I i (x , y , t k )拼接而成的。

图7所示为由德国EMT 开发的小型无人机Luna [4]拍摄的9000帧视频图像拼接而成的动态全景图。动态全景图可以按照摄像机的运动轨迹实时输出拼接的超宽视场动态图像，并能够根据拼接图像视场的大

350小或者跟踪目标的位置自动切换场景。

图6 基于视频序列的动态图像拼接 Fig.6 Dynamic image mosaics from video sequences

图7 约9000帧图像的拼接图 Fig.7 Mosaic from approximately 9000 image frames

2 图像拼接的研究

目前图像拼接技术的研究主要包括几个方面： 2.1 增大光学系统的视场角

采用多个传感器获得不同视场的图像，然后利用图像拼接技术将这些图像实时拼接，形成更大视场的图像，可以等效地增大光学系统的视场角。

Tom Riley 等[6]将来自视场角部分重叠的三个不同位置监控摄像头的图像拼接成一幅动态全景图，有利于实时监控场景中的变化。图8为三个摄像头的图像，图9为由三幅图像拼接的全景图。

图8 来自不同视场摄像机的三幅图像

Fig.8

Three images from cameras with different field of view

图9 由三幅图像拼接的全景图

Fig.9 Panoramic mosaics image from three images

2.2 方便图像的检索、编辑、分析和理解

通过获取场景和目标更多的信息生成大场景图像或三维立体图像，以利于图像的检索、编辑、分析和理解。

朱云芳[12]提出通过构造视频的全景图，利用手工与计算机相结合的方法对全景图进行编辑，实现对视频内容的检索和编辑。

Wu Jun [13]等采用基于地理信息配准的方法利用无人机拼接动态全景图像，用于快速探测森林火灾。2006年德国EMT （德国航空器制造商、航空设备供应商）开发了Luna 小型无人机[4]，采用自动图像拼接技术可由单目图像序列生成立体拼接图像，也可由拼接图像计算3D 模型，减少了图像解释工作量。 2.3 提高图像的分辨率

图像的重叠区包含实际场景的很多冗余图像信息，利用多幅图像或者视频序列中的图像信息，可获得超分辨率图像。R. Marzotto 等[14]提出一种利用视频序列采用仿射变换方法自动构建全景拼接图像技术，通过全局配准生成全景超分辨率图像。

A. Smolic 等[15]提出了一种从多帧视频图像拼接高分辨率图像的方法。采用了全局运动模型和相应的估计算法提供视频信号亚像素级运动估计用来构建高分辨率拼接图像。 2.4 虚拟现实

在虚拟现实系统中的应用图像拼接技术，可以利用多个图像源实时合成视频以实现动态或者交互式虚拟的3D 环境[9]。例如：通过控制摄像机的摄像，采用图像拼接技术可以呈现音乐会或者运动会的3-D 场景，或者可能远程商议或参与外科手术，或者参加虚拟教室的远程教学等。

3 图像配准算法

3.1 基于灰度相关的图像配准算法

基于灰度相关的配准方法是从待拼接图像的灰度值出发，计算待配准图像中与参考图像中的相同尺寸的区域灰度值的差异，判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。

常用的算法有比值匹配法、块匹配法和网格匹配法[16]。比值匹配法是是从一幅图像的重叠区域中部分相邻的两列上取出部分像素，然后以它们的比值作为模板，在另一幅图像中搜索最佳匹配，这种算法计算量较小，但精度低；块匹配法是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配块，这种算法精度较高，但计算量过大；网格匹配法首先进行粗匹配，每次水平或垂直移动一个步长，记录最佳匹配位置，然后再进行精确匹配，这种算法较前两种运算量有所减小。

Xiaowei Han 等[17]提出了一种快速图像拼接方法，两幅图像的重叠区通过数学形态学滤波被分割成二值化

图像，首先基于二值化图像进行粗匹配得到可能的相关匹配位置，然后采用SSDA方法完成精匹配计算获得待拼接图像最终相对位置偏移量。

3.2 基于特征相关的图像配准算法

基于特征的配准方法通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。

基于特征的配准方法有两个过程:特征提取和特征配准[18]。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集，然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。

S.H.Chang[19]提出了在平移、旋转和缩放等几何失真条件下的特征点快速匹配方法，有效地解决了在几何变换下两个特征点之间的最优匹配问题，在添加噪声情况下能正确地识别伪点和漏点，显示了其算法良好的鲁棒性。

Hongya Tuo等[20]在利用图像序列拼接全景图时，针对SIFT特征点维数多、计算复杂的问题，提出了采用简化SIFT特征描述符的图像配准方法，试验结果表明：简化的SIFT描述符提高图像配准的速度。

3.3 基于相位相关的图像配准算法

该方法利用了傅立叶变换的良好性质，即函数平移，旋转和缩放在频率域都有其对称性。Kuglin和Hines[21]提出了相位相关法，利用傅立叶变换将两幅待配准的图像变换到频域，然后利用互功率谱直接计算出两幅图像间的平移矢量。

Reddy和Chaterji[22]提出了基于快速傅立叶变换，利用极坐标变换和互功率谱，对具有平移、旋转和缩放变换的图像都能够实现精确配准。

Jing Zhang[23]提出了一种基于小波分解和等距匹配的全景图像拼接算法，首先，运用小波对图像进行分解，定义相应像素之间的相似距离；其次，根据最小SSD准则，在小波金字塔的每一级采用等距匹配方法配准所有的图像；最后，所有配准的图像被映射到平面或者柱面构建全景图。

3.4 基于变换模型的图像配准算法

Richard Szeliski等[9]提出了一种2-D空间八参数投影变换模型，采用Levenberg-Marquardt迭代非线性最小化方法（简称LM算法）求出图像间的几何变换参数来进行图像配准。

Shmuel Peleg[24]等提出了自适应图像拼接模型，根据相机的不同运动而自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。

John G. Keller等[25]提出一种基于人类视觉系统（Human Visual System，HVS）生理学和行为特征的计算视觉模型完成多帧视频配准，然后通过融合各独立帧产生拼接图。

4图像融合算法

4.1 中值滤波

Irani M[26]让中值滤波器作用在边界附近区域。它让与周围灰度值差比较大的像素取与周围像素接近的值，从而消除光强的不连续性。该算法只处理边界附近的狭长地带，速度较快，但质量一般。

4.2 加权平均法

Szeliski[9]使用一个“帽函数”来加权平均到每个重叠帧的对应像素上，该函数在图像边缘处权值较低，而在中心处权值较高。加权平均法直观简洁，速度较快，是比较常用的一种算法。

4.3 多分辨率金字塔图像融合算法

P.J. Bert[27]采用Laplace多分辨率金字塔结构，将图像分解成不同频率域上的一组图像，在每个分解的频率域上，将图像重叠边界附近加权平均，最后将所有频率上的合成图像汇总成一幅图像拼接。此方法在所有频率域上处理边界附近区域，因此计算量大，但拼接质量较高。

4.4 基于小波变换的图像融合算法

该算法[28]首先对源图像进行小波变换，将其分解在不同频段的不同特征域上，然后在不同的特征域内进行融合，构成新的小波金字塔结构，再用小波逆变换得到合成图像。

5 图像拼接方法的研究动向

5.1 实时图像拼接

实时图像拼接系统是能够实时进行图像采集、实时完成图像拼接和输出、显示的图像处理系统。实时图像拼接系统要求所采用的图像拼接算法的运算速度满足实际场合的实时要求，甚至能够以硬件、低级语言的形式嵌入到核心处理单元中，以提高系统处理图像数据的速度。

文献[7]介绍了一种用于对人类皮肤进行病理学研究的实时图像拼接系统。该系统能够将小视场的图像实时拼接成宽视场图像，并提高图像的信噪比。文献[29]介绍了一种用于遥控运行的海底探测设备实时图像拼接系统。

很多实际应用需求成为实时图像拼接技术的巨大推动力，随着人们对图像拼接算法深入的研究和微电子技术的发展，针对特定应用场合开发的、高效的、

351

鲁棒的图像拼接算法嵌入到高速图像处理的核心处理单元中成为可能，实时图像拼接系统及其应用正逐步成为图像拼接技术的研究热点。

5.2 自动图像拼接

人类获取和存储数字图像信息的能力不断增强，形成巨大的数据仓库，但是高效地处理这些数据的能力还很欠缺。例如：无人机采集的视频目前主要由人类观察者实时或以回放的方式逐帧进行分析。由于图像判读人员资源的稀缺，这种工作越来越艰难，于是要求系统能够自动进行图像拼接，并且能够对图像中的感兴趣的跟踪目标进行标记和注释。

自动图像拼接的研究主要集中在以下方面：①自动判断待拼接图像与参考图像是否能够进行拼接。Brown等[30]提出基于特征匹配方法的概率模型判断两幅图像是否可以拼接。②自动根据待拼接图像的类型选择合适的拼接算法，然后自动进行图像配准和图像融合，最后采用客观图像质量评价方法对拼接后的图像进行客观评价，自动判断拼接后的图像质量是否满足人类视觉感知的要求。

Panli He等[31]提出了一种彩色图像的自动拼接方法。该方法根据边缘检测得到图像结果，从一幅图像的重叠区中自动选择有效的特征模板，然后根据最大相似性准则在另一幅图像中找到最佳图像匹配点，进而实现相邻两幅彩色图像之间的匹配计算，最后利用平滑算法对两幅图像的重叠区进行融合处理，实现了彩色图像的快速自动拼接。

5.3 彩色图像拼接

彩色图像能够提供更多的图像信息，更能够满足人类视觉感知要求，彩色图像更有利于图像的分析和理解、目标的识别和跟踪，彩色图像的拼接也成为图像拼接技术研究的重要方面。

文献[32]提出在图像配准前进行预处理，输入图像之间的色度差别采用彩色直方图均衡化或基于多项式的对比度拉伸技术进行补偿，然后采用线性滤波技术消除缝合线。

卫星遥感图像的色彩会随着季节的变化而变化，S.Tanaka等[33]针对彩色卫星图像的无缝拼接问题，提出了利用彩色图像中植物的颜色随着海拔高度变化的特点建立彩色转换立方体（Color Transfer Cube）进行彩色转换，实现了彩色卫星遥感图像的无缝拼接。

5.4 3-D立体图像拼接

由于不同视角的图像或者视频序列会提供更多的冗余信息，利用这些信息可以进行3-D立体图像拼接，有利于图像的浏览、分析和理解。

Chon Jaechoon等[34]提出了一种适合于新颖的图像拼接算法，用于网站和手机中城市道路边建筑的3-D可视浏览。Akihiko Iketani等[35]针对曲面文档的视频提出了一种基于3-D重建的视频拼接方法，采用该方法可以利用曲面文档的视频拼接文档的静态图像，清晰重现文档的内容。

6 结束语

图像拼接技术具有广阔的应用前景，图像拼接方法的研究越来越受到了国内外的广泛关注，近年来，其研究成果不断取得新的进展。本文介绍了4种不同类型的图像拼接的特点，说明了图像拼接的研究意义，并对图像配准算法和图像融合算法进行了概述，最后分析图像拼接算法的最新研究动向。

参考文献：

[1] Laurie Gibson. Automation technology with IKONOS satellite imagery[C]//

Sensors, Systems, and Next-Generation Satellites V, Proceedings of SPIE, 2001, 4540: 650-660.

[2] S. Negahdaripour, X. Xu, A. Khamene. A vision system for real-time posi-

tioning, navigation, and video mosaicing of sea floor imagery in the application of ROVs/AUVs [C]//Applications of Computer Vision, Fourth IEEE W orkshop on Proceedings, 1998, (8): 248-249.

[3] Maria G. Almeida, Bernardo F. T Rudorff, Y osio E. Shimabukuro. NOAA-

A VHRR image mosaics applied to vegetation identification[C] //Geo-Spatial

Image and Data Exploitation II, Proceedings of SPIE, 2001, 4383: 31-35.

[4] N. Heinze, M. Esswein, W. Krüger, et al.. Automatic image exploitation system

for small UA Vs[C]//Airborne Intelligence, Surveillance, Reconnaissance (ISR) Systems and Applications V. Proc. of SPIE, 2008, 6946: 69460G1-10.

[5] B. Kaya, A.Berkay, F. Erzincanli. Robot assisted tiling of glass mosaics with

image processing[J]. Industrial Robot, 2005, 32(5): 388-392.

[6] Tom Riley, Mark Bernhardt, Catherine Cowell, et al.. Implementing advanced

image processing technology in sensor systems for security and surveillance[C]//Optics and Photonics for Counterterrorism and Crime Fighting III, Proc. of SPIE, 2007, 6741: 67410W1-12.

[7] K. Loewke, D. Camarillo, W. Piyawattanametha, D. Breeden, et al.. Real-time

image mosaicing with a hand-held dual-axes confocal microscope[C]//Progress in Biomedical Optics and Imaging. Proc. of SPIE, 2008, 6851: 68510F1-9. [8] 王建东，罗 军. 基于图像拼接的全帧视频稳定算法[J]. 红外技术, 2007,

29(8): 435-439.

[9] R.Szeliski.Video Mosaics for Virtual Environment[J]. IEEE Computer

Graphics and Applications, 1996, 16(2): 22-30.

[10] Yongjin Zhou, Mingxi Wan, Hui Xue. A tunable incremental factor

augmented inverse image alignment method in fundus angiogram registration and mosaicing[J]. Computerized Medical Imaging and Graphics. 2004, 28: 219-224.

[11] Dae-Woong Kim, Ki-Sang Hong. Real-time mosaic using sequential graph[J].

Journal of Electronic Imaging, 2006, 15(2): 023005-1.

[12] 朱云芳. 基于图像拼接的视频编辑[D]. 浙江: 浙江大学博士论文, 2006.

[13] Wu Jun, Zhongkui Dong, Zhigang Liu, Guoqing Zhou. Geo-registration and

mosaic of UAV video for quick- response to forest fire disaster[C]//Pattern Recognition and Computer Vision. Proc. of SPIE, 2007, 6788: 678810.

[14] R. Marzotto, A. Fusiello, V. Murino. High resolution video mosaicing with

global alignment[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2004, (1): 692-698.

352

[15] A. Smolic, T. Wiegand. High-resolution video mosaicing[C]//2001 Interna-

tional Conference on Image Processing. 2001, 3: 872-875.

[16] W.K. Pratt. Correlation techniques of image registration[J]. IEEE Transactions

on Aerospace and E1ectronic Systems, 1974, 10: 353-358.

[17] Xiaowei Han, Lei Yan, Hongying Zhao. An approach of fast image mosaic

based on binary region segmentation[C]//27th International Congress on High-Speed Photography and Photonics, Proc. SPIE. 2007, 6279: 627957-1.

[18] 赵 芹, 周 涛, 舒 勤. 基于特征点的图像配准技术探讨[J]. 红外技

术, 2006, 28(6): 327-330.

[19] S.H.Chang,F.H.Cheng,W.H.Hsu, et al.. Fast algorithm for point Pattern

Matching: Invariant to translations, rotations and scale changes[J]. Pattern Recognition, 1997, 30: 311-320.

[20] Hongya Tuo, Zhongliang Jing, Tinghou Zhang. Aerial sequence image mosaic

using reduced sift descriptors[C]//Automatic Target Recognition and Image Analysis and Multispectral Image Acquisition, Proc. of SPIE. 2007, 6786: 67862V1-9.

[21] C.Kuglin, D.Hines. The Phase Correlation Image Alignment Method[C]

//Proceedings IEEE International Conference on Cybernetics and Society, 1975, (3): 163 -165.

[22] B. S. Reddy, B. N. Chatterji. An FFT-based technique for transaction, rotation

and scale invariant image registration[C]//IEEE Transaction on Image Processing, 1996, 5(8):1266-1271.

[23] Jing Zhang, Zongying Ou, Weiqing Chen. A panoramic image mosaic

algorithm based on wavelet decomposition and equidistant matching[C] //Fourth International Conference on Virtual Reality and Its Applications in Industry,Proc.of SPIE. 2004, 5444: 145-148

[24] Shmuel Peleg, Benny Rousso, Alex Rav-Acha, et al.. Mosaicing on Adaptive

Manifolds[J]. IEEE transactions on pattern and machine intelligence, 2000, 22(10).

[25] John G. Keller, Stephen Matechik, Steven K. Rogers, et al.. Model of human

vision to register and fuse video imagery[C]//Part of the SPIE Conference on

Signal Processing, Sensor Fusion, and Target Recognition VIII, Proc.

SPIE,1999, 3720: 366-375.

[26] Irani M. Mosaics Based Representation of Video Sequences and Their

Applications[C]//Proc of Computer Vision, 1995: 605-611.

[27] P. J. Bert. Multi-resolution Spine with Application to Image Mosaic[J]. ACM

Transaction On Graphics, 1983, 2(4): 245-256.

[28] J. Nuenz. Mutiresolution-based image fusion with additive wavelet

decomposition[J]. IEEE Trans on Geosciences and Remote Sensing, 1999,

37(3): 1204-1211.

[29] R. L. Marks, S. M. Rock, M. J. Lee. Real-time video mosaicking of the ocean

floor[J]. Oceanic Engineering, 1995, 20(3): 229-241.

[30] M. Brown, D.G. Lowe. Recognising panoramas[C]//Proceedings of the IEEE

International Conference on Computer Vision, 2003, (2): 1218-1225.

[31] Panli He, Xiaowei Han,Tianmin Deng. A new method of color image mosaic

Intelligent Control and Automation[C]//Proceedings of the 7th World Congress on Intelligent Control and Automation. 2008, (6): 7757- 7761. [32] Ming-Sui Lee, Meiyin Shen, C.-C. Jay Kuo. Pixel- and Compressed- Domain

Color Matching Techniques for Video Mosaic Applications[C] // Visual Communications and Image Processing 2004, Proc. of SPIE. 2004, 5308:

799- 807.

[33] S.Tanaka, T.Sugimura. An estimation of seasonal true color of vegetation

cover for satellite image mosaic using color transfer cube (CTC) Geoscience

and Remote Sensing Symposium[C]//IGARSS '03 Proceedings. 2003, (2): 791-793.

[34] Chon Jaechoon, T.Fuse, E. Shimizu, et al.. Three-Dimensional Image

Mosaicking Using Multiple Projection Planes for 3-D Visualization of Roadside Standing Buildings[J]. Systems, Man, and Cybernetics, Part B, IEEE Transactions, 2007, 37: 771-783.

[35] Akihiko Iketani, Masayuki Kanbara, Tomokazu Sato, et al.. Video Mosaicing

for Curved Documents Based on Structure from Motion[C]//The 18th International Conference on Pattern Recognition (ICPR'06), 2006, (4): 391-396.

353

图像记忆的原理和方法[图像拼接原理及方法]

图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说

360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待

360°全景拼接技术简介

本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容

图像拼接算法及实现.doc

图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论

图像拼接论文

基于特征点的图像拼接算法研究指导教师： 学生姓名：学号： 专业：计算机技术 院（系）：信息工程学院 完成时间：2013年11月

摘要: 图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接的过程由图像获取，图像配准，图像合成三步骤组成。其中图像配准是整个图像拼接的基础。本文研究了基于特征图像配准算法。 利用基于特征Harris角点检测算法提取出初始特征点对，实现实现特征点对的精确匹配。最后用加权平均对实现图像融合。实验证明该算法适应性较强，在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。同时该算法准确率高，鲁棒性强，具有较高的使用价值。 关键词：：图像拼接图像配准特征点图像合成

Abstract: Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other,and finally builds a seamless and high quality image which has high resolution and big eyeshot．The image mosaic process consists of the following steps．Image acquisition,image registration,image fusion．fusion．Image registration is the important foundation of image mosaic．This article has studied a image registration algorithrm feature-based image registration algorithm． Firstly,corners are extracted using improved Harris operator to extract the initial feature point pairs.Then,the correct matching feature point pairs are used to realize the image registration．Finally,use the Weighted Average Fusion Rule to fuse the images.The experiment results indicate this algorithmhas better registration results under a variety of conditions such as different light,bigger rotation and repetitive texture.At the same time,this algorithm has good effect in image registration,high accurate rate,strong robustness，higher use value． Key words:Image mosaic Image registration Feature points Image fusion

图像匹配与拼接方法

图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：

虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了

基于经验模态分解的图像融合研究

基于经验模态分解的图像融合研究 图像融合是对不同渠道摄取的同一景物的多幅图像进行处理,以得到更清晰更实用的图像的过程。它是图像处理过程中的一个重要环节,比如图像拼接就离不开图像融合,因而研究图像融合具有一定的现实和理论意义。目前,以小波分析为代表的多分辨率图像融合技术是一个研究热点,但小波基函数的选取是小波分析的难点,也是小波分析这种信号分析方法的最大瓶颈。经验模态分解则能突破这种障碍,它根据自身的特性自适应的进行信号分解,显示出极大的优越性。把经 验模态分解用于图像融合,取得了良好的效果。 标签：图像融合;多分辨率分析;经验模态分解;固有模态函数 1 引言 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术,是把来自不同时刻或不同成像设备对同一目标检测的多幅图像数据采用某种方法进行处理,生成一幅能够有效表示出该图像检测信息的图像的过程。由于不同模式的图像传感器的成像机理不同,工作电磁波的波长不同,所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性,经图像融合技术处理后可以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。正是由于这一特点,图像融合作为信息融合的一种有力工具,已广泛地应用于军事、遥 感、机器人视觉和医学图像处理等领域。 图像融合包含图像配准和无缝合成两个部分。由于成像时受到各种变形因素的影响,得到的各幅图像间存在着相对的几何差异,所以需要对待融合的图像进行配准。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正,把相邻两幅图像合成到同一坐标系下,并使得相同景物在不同的局部图像中对应起来,以便于图像无缝合成。图像配准之后,在某些情况下,由于拍摄时光照、环境条件(如噪声、云、烟雾、雨等)、视野、地点的差异,两幅待拼接图像地重叠区域可能会有较大的差别。如果直接对这样的图像进行简单的叠加拼合,得到的拼接图在拼接位置上会存在明显的接缝以及重叠区域的模糊和失真现象。因此需要一种技术 修正待拼接图像拼接缝附近的颜色值,使之平滑过渡,实现无缝合成。 根据图像的表征层来划分,图像融合可分为三类:像素级融合、特征级融合和决策级融合。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、样条变换融合法、金字塔变换融合法、小波变换融合法等,尤其是多分辨率分析方法(金字塔变换,小波变换等)具有明显的优势。小波变换融合算法主要是利用人眼对局部对比度的变化比较敏感这一事实,根据一定的融合规则,在多幅原

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this

图像拼接技术的研究历史悠久

图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。

基于特征点的全自动无缝图像拼接方法

－2083－ 0引言 图像拼接是计算机视觉领域的一个重要分支。它是一种将多幅相关的重叠图像进行无缝拼接从而获得宽视角全景图像的技术。近年来，国内外对于图像拼接各细节的研究已取得了一些成果[1~3]，但对于尺度、视差及光照变化较大的图像序列的拼接效果还有待提高。此外，目前对于完整的全自动无缝图像拼接技术的研究还较少。针对以上现状，本文给出了一种基于特征点的全自动无缝图像拼接方法。该方法依据图像拼接过程中各阶段涉及的理论与技术，利用RANSAC (ran-dom sample consensus )算法、引导互匹配、加权平滑算法等技术克服了传统图像拼接技术中的局限性(如光照、尺度变化的影响等)，实现了光照和尺度变化条件下的多视角无缝图像拼接。 1拼接方法的总体设计 文中的图像拼接技术包括4大部分：图像获取；特征点提 取与匹配；图像配准；图像融合。各部分均采用了当前图像处理领域的先进算法，并使用相应的精炼技术对各部分的处理结果进行优化，以达到较理想的拼接效果。整个技术的实现 流程如图1所示。 2图像获取 图像获取是实现图像拼接的前提条件。不同的图像获取 方法会得到不同的输入图像序列，并产生不同的图像拼接效果。目前，获得图像序列的方法主要有3种[4]：①照相机被固定在三脚架上，通过旋转照相机获取图像数据；②照相机固定在可移动平台上，通过平行移动照相机获取图像数据；③手持 收稿日期：2006-04-20E-mail ：lihan409@https://www.docsj.com/doc/9e6714436.html, 作者简介：李寒(1981－)，女，辽宁沈阳人，硕士研究生，研究方向为数字图像处理；牛纪桢，女，副教授，研究方向为计算机应用；郭禾，男，副教授，研究方向为数字图像处理、计算机应用。 基于特征点的全自动无缝图像拼接方法 李 寒，牛纪桢，郭禾 (大连理工大学计算机科学与工程系，辽宁大连116023) 摘 要：提出了一种基于特征点的全自动无缝图像拼接方法。该方法采用对于尺度具有鲁棒性的SIFT 算法进行特征点的提取与匹配，并通过引导互匹配及投票过滤的方法提高特征点的匹配精确度，使用稳健的RANSAC 算法求出图像间变换矩阵H 的初值并使用LM 非线性迭代算法精炼H ，最终使用加权平滑算法完成了图像的无缝拼接。整个处理过程完全自动地实现了对一组图像的无缝拼接，克服了传统图像拼接方法在尺度和光照变化条件下的局限性。实验结果验证了方法的有效性。关键词：图像拼接;SIFT 特征点;引导互匹配;随机抽样一致算法;变换矩阵中图法分类号：TP391 文献标识码：A 文章编号：1000-7024(2007)09-2083-03 Automatic seamless image mosaic method based on feature points LI Han, NIU Ji-zhen, GUO He (Department of Computer Science and Engineering,Dalian University of Technology,Dalian 116023,China ) Abstract ：An automatic seamless image mosaic method based on feature points is proposed.First a scale-invariant feature extracting algorithm SIFT is used for feature extraction and matching.In order to improve the accuracy of matching,guided complementary matching and voting filter is used.Then,the transforming matrix H is computed with RANSAC algorithm and LM algorithm.And finally image mosaic is completed with smoothing algorithm.The method implements automatically and avoids the disadvantages of tra-ditional image mosaic method under different scale and illumination conditions.Experimental results show that the image mosaic method is stable and effective. Key words ：image mosaic;SIFT features;guided complementary matching;RANSAC algorithm;transforming matrix 图1图像拼接技术流程 图像融合图像配准(计算H )特征点提取与匹配 图像获取 H=

基于MATLAB的图像拼接技术

基于MATLAB的图像拼接技术 基于MATLAB的图像拼接技术实验报告 学院:数信学院 专业班级: 12级信息工程1班 姓名学号: 一、实验名称:基于MATLAB的图像拼接技术 二、实验目的:利用图像拼接技术得到超宽视角的图像，用来虚拟实际场景。 三、实验原理: 基于相位相关的图像拼接技术是一种基于频域的方法，通过求得图像在频 域上是相位相关特点来找到特征位置，从而进行图像拼接。其基本原理是 基于傅氏功率谱的相关技术。该方法仅利用互功率谱中的相位信息进行图 像配准，对图像间的亮度变化不敏感，而且所获得的相关峰尖突出，具有 一定的鲁棒性和较高的配准精度。 基于相位相关法进行图像拼接的基本原理如下:假设f(x，y)表示尺寸为MN的图像，该函数的二维离散傅里叶变换(DFT)为: ， MN,,111,,，juxMvyN2(//) Fuvfxye,(,)(,),,MN，xy,,00 其中，F(u，v)是复变函数;u、v是频率变量，u=0，1，…，M-1，v=0，1，…，N-1;x、y是空间或图像变量。 二维离散傅里叶逆变换(IDFT)为: N,1M,1,，juxMvyN2(//),fuve(,) Fxy(,),,,y,0x,0 ，…，M-1;y=0，1，…，N-1。其中，x=0，1 设两幅图像、的重叠位置为(，)，则图像、的互功率谱为:IIxyII112002 *II(,)(,),,,,，,，jxy,,,2()1200 ,eII(,)(,)，,,,,12

其中，*为共轭符号，对上式两边进行傅里叶逆变换将在(x，y)处产生一00个函数。因此，只要检测上式傅里叶逆变换结果最大值的位置，就可以获得两xy幅图像间的评议量(，。具体算法步骤如下: 00 II?读入两幅图片、(函数输入)，并转换为灰度图像; 12 II?分别对、做二维傅里叶变换，即: 12 fftIfftI A=() B=() 1222 C则通过A、B的简单的矩阵运算得到另一矩阵，即: 3 C =B*.conj(A)/norm(B*.conj(A)，1) 3 矩阵的二维傅里叶逆变换C在(，)处取得最大，可通过遍历比较C(i，Cxy300 j)大小即可找到该位置，并作为函数返回值。 四实验程序 tic x=[1 2;0 1]; a=imread('7.jpg'); %读取图片 b=imread('8.jpg'); figure imshow(a); figure imshow(b); imwrite(b,'160.jpg'); IMG={a,b}; %将图片存为元胞结构 num=size(IMG,2); %计算图片个数 move_ht=0; %累计平移量初值 move_wd=0; for count=1:num-1 input1=IMG{count}; %读取图象 input11=imresize(rgb2gray(input1),[300,200]);