基于视频流的图像拼接算法

收稿日期：2011-05-13

作者简介：张洋（1985-），男，硕士研究生，主要从事图像处理和模式识别的研究，E-mail:zhangyang0707@https://www.docsj.com/doc/d412874095.html, 。

基于视频流的图像拼接算法研究

张洋，李莉，朱蕾蕾

（长春理工大学

计算机科学技术学院，长春130022）

摘

要：本文提出了一种基于特征行的全自动无缝图像拼接算法。该算法首先利用相关系数法找出两幅图像的最佳匹配位

置，然后利用图像融合技术消除两幅图像的差异。匹配算法简单，且具有一定的鲁棒性。该算法最大的特点是其快速性。对工程中需要提高拼接速度的环境，可以达到实时或准实时性的要求。关键词：图像拼接；皮尔森相关系数；图像融合中图分类号：TN911.73

文献标识码：A

文章编号：1672-9870(2011)03-0128-04

The Research of Mosaic Algorithm Based on Video Stream

ZHANG Yang ，LI Li ，ZHU Leilei

（School of Computer Science and Technology ，Changchun University of Science and Technology ，Changchun 130022）Abstract ：An automatic seamless image mosaic method based on feature une is proposed in this paper.The algorithm first find the best matching position of the two images based on the correlation coefficient ，then use the image fusion to eliminate the differences of the two images.The matching algorithm is simple and has much robustness.The biggest characteristic of the algorithm is fast.On the engineering environment which need to increase image mosaic speed ，it can achieve the requirements of real-time or quasi real-time

Key words ：image mosaic technology ；pearson correlation coefficient ；image fusion

基于视频序列的数字图像拼接是指将具有重叠区的多帧视频通过数字配准和融合获得单幅宽视场静态全景图或动态全景图。基于视频序列的数字图像拼接技术主要包括全局快速配准算法、运动目标分割算法和无缝融合算法［1］。近年来，研究人员在图像拼接技术方面做了大量的工作。国内，2008年，马丽涛等提出一种基于条件数的配准算法［2］。方青、王博亮提出了一种新的基于比值模板匹配的彩色像拼接算法［3］。国外，Stein 提出了在相邻帧间进行纹理特征跟踪，求摄像机焦距和帧间偏移距离的算法［4］，每个算法都各有所长，但都在速度、效率方面都有一定的局限性。而现有的基于线匹配的算法大都具有快速性的特点，但鲁棒性普遍较差。

基于以上算法的优缺点，本文提出一种适用于特定场景中摄像头沿着某一方向运动的基于统计相同移动距离的匹配算法，对不是完全规则的复杂背景的工业图片，具有一定的稳定性。该算法首先

利用相关系数法计算两幅图像特定的列列之间的相关关系，然后根据相关系数得到两幅图像的移动距离，通过统计得到的一系列前面得到的移动距离，得到两幅图像的准确匹配位置。该算法只进行简单运算，计算量小，具有一定的实时性和鲁棒性，能够达到基于视频流的实时拼接的要求。

1

基于统计相同移动距离的匹配算

法

以图像的纵向拼接为例来说明此算法的运算

过程，假设单帧图片的大小为m*n ，即n 行m 列，第一帧图片用A 表示，并将图片用矩阵表示：

A =é?ê

êêêêêa 11a 21?a n 1a 12a 22?a n 2…………ù

?

úúúúúúa 1n a 2n ?a nm 假设第一帧图片与第二帧图片有60%的重叠

长春理工大学学报（自然科学版）

Journal of Changchun University of Science and Technology （Natural Science Edition ）

第34卷第3期2011年9月

Vol.34No.3Sep.2011

第三期张洋，等：基于视频流的图像拼接算法研究

率，则可以取第一帧图片的50%到最后一列的部分来找最有特征的一列，第一帧图片的50%所对应列的位置为式：

s =n ?50%

首先对第一帧图片的s~n 行中，每隔5列取出

一行的像素灰度值与第二帧的每一行进行相关性计算。相关性计算可以使用皮尔森相关系数进行计算。也称皮尔森积矩相关系数(Pearson prod-uct-moment correlation coefficient)，是一种线性相关系数。皮尔森相关系数的计算公式如下：

r =1n -1∑i =1n ?è

???÷X i -X ˉs X ?è???÷Y i -Y ˉs Y 皮尔森相关系数是用来反映两个变量线性相关程度的统计量。样本的简单相关系数用r 表示，其中n 为样本量，分别为两个变量的观测值和均值。r 描述的是两个变量间线性相关强弱的程度。

r 的取值在-1与+1之间，若r ＞0，表明两个变量是正相关，即一个变量的值越大，另一个变量的值也会越大；若r ＜0，表明两个变量是负相关，即一个变量的值越大另一个变量的值反而会越小。r 的绝对值越大表明相关性越强，要注意的是这里并不存在因果关系。皮尔森相关系数和直线的斜率及截距无关，相关系数反映的是各点相对于直线的离散程度。若r =0，表明两个变量间不是线性相关，但有可能是其他方式的相关（比如曲线方式）。

假设通过第一帧图像的第s 行与第二帧图像的每一行求相关性，可以在第二帧图像中找到与第一帧第s 行相关性最强的行记为第R 11,R 12,???,R 1a 列。

然后，第一帧图像的第s +5行与第二帧图像的每一行求相关性，可以在第二帧图像中找到与第一帧第s +5行相关性最强的行记为第R 21,R 22,?,R 2b 行。依此类推，

第一帧图像的第s +5?k 行与第二帧图像的每一行求相关性行，可以在第二帧图像中找到与该行相关性最强的行（j 是与第一帧所有行求出最大相关的行）行。那么必然有，第一帧与第二帧图像对应的行的差值是一个定值，所以有公式（4.22）：

p 11=s -R 1,1，p 12=s -R 1,2，?，p 1a =s -R 1,a ；

p 21=s +5-R 2,1，p 22=s +5-R 2,2，?，

p 2b =s +5-R 2,b ；?，

p k +1,1=s +5?k -R k +1,1，p k +1,2=s +5?k -R k +1,2，?，

p k +1,q =s +5?k -R k +1,q .

其中q 是第一帧图像第k +1行对应的最大相关性行的数量，统计p 11,p 12,???,p 1a ,p 21,p 22,???,p 2b ,???,p k +1,j 中出现次数最多的值，该值即是第一

帧和第二帧图像正确匹配的行之间的距离，这样就完成了两帧图像之间的匹配，进而进行图像拼接。

利用样本相关系数推断总体中两个变量是否相关，可以用t 统计量对总体相关系数为0的原假设进行检验。若t 检验显著，则拒绝原假设，即两个变量是线性相关的；若t 检验不显著，则不能拒绝原假设，即两个变量不是线性相关的。通过第一帧图像的第K 列与第二帧图像的每一列求相关性，我们可以在第二帧图像中找到与第一帧第K 列相关性最强的一列像素，假设这一列像素为第R 列。然后对两帧图像进行拼接，取第一帧图像的前m -R 列与第二帧图像拼接到一起，即完成了图像的配准拼合，不过此时两帧图像拼合的地方会存在一条线，这是由于两帧图像的拍摄环境和光线强弱等因素有差别而造成了两帧图像灰度值有些许差异。要想达到无缝拼接，需要采用图像融合的方法，将两帧图像过渡带的灰度差异消除。

2图像融合

相邻的两帧图像在配准以后，由于采样的时间和角度以及光线等因素的影响，配准的部分一般会有明暗和变形的可能，为了消除拼接的痕迹，使图像具有一致性，在拼接配准图像以后需要对图像进行融合，以满足无缝拼接的要求。快速实时的算法一般有平均值法和加权平均的融合方法［4］。

平均值法的基本原理是：假设t 1(x ,y )，

t 2(x ,y )是两幅待拼接的图像在(x ,y )处的灰度值，t (x ,y )拼接后的图像在(x ,y )处得灰度值则：

t (x ,y )=ìí???t 1(x ,y )1

2(t 1(x ,y )+t 2(x ,y ))

t 2(x ,y )

(x ,y )∈t 1(x ,y )∈t 2(x ,y )∈(t 1-t 2)(x ,y )∈(t 1?t 2)(x ,y )∈(t 2-t 1)t 1和t 2分别表示两幅待处理图像，t 1-t 2表示第一

幅图像中未与第二幅图像重合的部分。该算法运算速度快，算法简单，如果两幅图像光照度相差比较大，则融合部分可能会出现明显的带状感觉。

加权平均值方法的基本原理是：假如t 1、t 2是两幅待拼接的图像，将图像t 1、t 2在空间叠加，则融合后的图像像素t 可表示为：

129

长春理工大学学报（自然科学版）2011年

t (x ,y )=ìí??

?t 1(x ,y )(x ,y )∈t 1d 1?t 1(x ,y )+d 2?t 2(x ,y )

(x ,y )∈(t 1?t 2)

t 2(x

,y )(x ,y )∈t 2

式中d 1，d 2表示权重值，它们一般与重叠区域的宽度有关，且d 1+d 2=1。在重叠区域中，d 1由1渐变至0，d 2由0渐变至1，由此实现了在重叠区域中由t 1到t 2的平滑渡。

加权平均法解决了平均值法融合部分出现带状的缺点，且速度较快、稳定性高、效果好，算法比较简单，所以本文采用加权平均值法的图像融合技术。

3实验结果及其分析

3.1实验结果

为验证该算法的性能，对视频进行了测试，试验条件：Pentium(R)

Dual-Core CPU 2.00GHz

1GB RAM ，VC++2005，OpenCV 1.0。本次实验采用两组图片，第一组为两幅大小为485*255的图片，如第一组图1、图2所示，拼接后的图片如图3所示。第二组为两幅大小为481*300的图片，如第二组图4、图5所示，拼接后的图片如图6所示。3.2实验结果分析

为了研究该算法的拼接速度，本文算法与基于梯度最大值的相似曲线的配准算法的拼接速度进行比较，基于梯度最大值的相似曲线的配准算法的拼接属于图像拼接中速度较快的一种方法，基于梯度最大值的相似曲线的配准算法主要思路是，对于每幅图像，求出每一列的梯度值最大的点，记录该点的纵坐标，利用这两个梯度值数列得到反映两幅图像按列梯度最大值特征点分布的两条曲线。在两幅图像的重叠区域，这两条曲线中的某一段会具有很好的相似性。该算法的主要思想就是利用这种相似性来确定图像配准的位置。两种方法拼接所用时间做比较，结果如表1所示。

表1两种方法拼接所用时间比较

Tab.1Splicing of the two methods compured with time

第一组图片第二组图片

基于梯度最大值的相似曲线的配准算法/(s)

1.017228s 1.120124s

本文提出的算法/(s)0.523674s 0.503584s

通过实验，利用本文提出的拼接算法，可以将拍摄的两幅图片很好的拼接在一起，同时，该算法在拼接时所需时间大大减少，证明了该算法具有快

速性的特点。

图1第一幅图片Fig.1The first image

图2第二幅图片Fig.2The second image

图3拼接后的图片

Fig.3The image after mosaicked

图4第一幅图片Fig.4The first image

图5第二幅图片Fig.5The second image

图6拼接后的图片

Fig.6The image after mosaicked

130

全景拼接算法简介

全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机

最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待

360°全景拼接技术简介

本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容

360度全景摄像技术原理介绍

360度全景摄像技术原理介绍 通常只有在必须的情况下，我们才费尽周折地试图在狭小空间安装视频监控设备。就当人们开始将要习惯忍受这样的架设行为时(固有的需求矛盾所制)，悄然产生一种新生力量---- 360度全景摄像。 以往我们在狭小空间试图构建监控系统，无外乎会采用几种方案：短焦距镜头摄像机、调整安装位置、或多摄像机联动对射等。但以上几种方式都存在着不同的应用缺陷;选择短焦距镜头摄像机时，水平可视范围小于80度(广角也超不过90度)，因而监控范围较小;调整安装位置，往往受到客观环境的制约而影响稳定安装(例如一面是玻璃、一面是门、顶上有电线或无法承重的装饰吊顶等等);选择多摄像机联动对射，不仅增加了设备投入的成本，也使得施工变得更加繁琐。 一360度全景摄像技术简介 顾名思义，360度全景摄像就是一次性收录前后左右的所有图像信息，没有后期合成，更没有多镜头拼接。其原理依据仿生学(鱼眼构造如图1)采用物理光学的球面镜透射加反射原理一次性将水平360度，垂直180度的信息成像(如图2)，再采用硬件自带的软件进行转换，以人眼习惯的方式呈现出画面。 图1 鱼眼结构 图2 鱼眼镜头的硬件示意图 鱼眼镜头是一种超广角的特殊镜头，其视觉效果类似于鱼眼观察水面上的景物。鱼的眼睛类似人眼构造，但是相对于扁圆形的人眼水晶体，鱼眼水晶体是圆球形，虽然只能看到比较近的物体，但却拥有更大的视角。 图3中，人眼看水中实物，由于实物反射的光线在水中发生折射，使人误以为物体处于虚像的位置(例如水中筷子弯曲现象)。根据折射原理，光从空气斜射入水等介质中时，折射角小于入射角;光从水等介质斜射入空气中时，折射角大于入射角。也可以概括为，光从一种介质斜射入另一种介质时，传播方向一般会发生变化。鱼眼镜头就是利用折射原理，本着拥有更大的球面弧度(类似鱼眼的球形水晶体)，成像平面离透镜更近(鱼眼的水晶体到视网膜距离很近)的设计思想，进行开发制造的。 一般来说，焦距越短，视角越大，而视角越大，因光学原理产生的变形也就越强烈。为了达到水平360度，垂直180度的超大视角，鱼眼镜头允许桶形畸变合理存在，除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。为了把畸变后的图象转化为适合于人眼观看的正常图像，需要通过软件对图像进行坐标变换，并进行图像修正等处理。 图4是以日本FXC鱼眼镜头为例，简要介绍360摄像头软件处理的基本流程：

视频拼接综述

视频拼接全景摄像机综述 作者：上海凯视力成信息科技有限公司 随着摄像机从模拟走向网络，“高清”日渐成为市场关注的热点，它的出现让人们可以看得更清楚，获得更多的细节。但是，客户在从之前“只能看见人脸”到现在“能看清人脸”的同时，又提出了另一方面的要求，那就是“看得更广”，即在同一个场景中能看到更多的东西。对此，原来是通过用几只摄像头覆盖一个区域，或用快球来回巡航扫描去解决。但在某些场合，这些方案还不能完全满足客户的要求，比如客户需要在同一个画面里确定人的移动，或需要用同一个场景中监看到的事物去说明一些问题，这个时候就需要全景摄像机，本文试图对全景摄像机做一综述。作者：上海凯视力成信息科技有限公司 1．全景摄像机的好处 全景摄像机可以带来如下好处： （1）超宽监控视角。一枚鱼眼镜头尽收360度全景，四周的影像一次尽收眼底，完全消灭死角。 （2）降低成本。一台好的全景摄像机可以替代多台传统摄像机的应用，这种360度实时全景监控能力，使得无需为涵盖整个监控区域而安装多台摄像机，因 而节省了摄像机硬件投资。监控摄像机路数大大减少，可以节省配套设备， 如镜头、防护罩、布线、电源、录像、显示等相应配件和设备的成本，还可 降低施工布线难度，节省安装时间、人工费用以及后续维护费用。 （3）虚拟PTZ技术。采用虚拟PTZ技术，可以放大或移动监控视野内的图像区域，当转变方向观察另一个图像区域时，不会发出任何噪音，隐秘且不易察觉。 由于没有机械移动部件，不需要时刻的进行机械化运转，全景摄像机不会发 生任何磨损，产品结实耐用，使用寿命大大延长。全景环视的图像失真矫正 可对多个图像区进行，这样，与机械PTZ摄像机不同，全景摄像机能同时观 察和摄录多个不同的区域。作者：上海凯视力成信息科技有限公司

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

图像拼接算法及实现.doc

图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论

基于比值法图像拼接的等比例改进算法

收稿日期:2009-06-26;修回日期:2009-09-10 作者简介:冉柯柯(1982-),女,河南人,硕士研究生,研究方向为数字图像处理和模式识别;王继成,教授,研究员,研究方向为模式识别与智能系统、数字图像和语音处理。 基于比值法图像拼接的等比例改进算法 冉柯柯,王继成 (同济大学电子与信息工程学院,上海201804) 摘　要:图像拼接技术是通过将一组具有部分重叠的图像或视频图像进行无缝拼接后而得到的具有高分辨率的图像或全景图,是图像处理技术的一个重要内容。主要介绍了图像拼接技术的主要步骤、比值匹配法的基本原理和优缺点,然后针对此算法容易出现误匹配的问题,提出了一种改进的算法。通过引用等比例数列的思想增加区域像素信息,与传统方法相比,这种方法可以更快更准地找到最佳匹配位置,从而提高了算法的准确性。实验结果证明了此算法可以有效的消除误匹配。 关键词:图像拼接;图像匹配;比值匹配法;图像融合 中图分类号:TP391 文献标识码:A 文章编号:1673-629X (2010)02-0005-04 An Improved Mosaic Algorithm B ased on R atio Matching Using G eometric Proportion RAN Ke 2ke ,WAN G Ji 2cheng (Department of Electronics and Information Engineering ,Tongji University ,Shanghai 201804,China ) Abstract :Image stitching is normally used to make up a seamless and high resolution with a set of the overlap parts of images and videos.It is one of important technologies for image processing.Presented the main step of the image mosaics ,basic principle and advantages and disadvantages of the ration matching algorithm ,based on the ratio matching algorithm ,an improved algorithm of image stitching is pre 2sented in order to resolve the pseudo https://www.docsj.com/doc/d412874095.html,ing the theory of geometric proportion ,comparing with traditional methods ,the algo 2rithm can find the optimal position more quickly and more exactly.The experiments show that this method can eliminate false matches validly. K ey w ords :image stitching ;image registration ;ratio matching ;image fusion 0　引　言 随着数码照相设备的广泛普及,越来越多的数码图像被应用于各个方面的研究中。在实际的科学研究和工程项目中,经常会用到超过人眼视角的高分辨率图像。为了得到大视角的高分辨率图像,人们往往利用广角镜头和扫描式相机来解决部分问题。但这些设备都有价格昂贵和使用复杂等缺点,另外,在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率,而且,广角镜头的图像边缘会产生难以避免的扭曲变形。所以为了在不降低图像分辨率的条件下获取大视野范围的场景照片,人们采用了图像拼接技术来将多幅照片拼接成一幅大的照片。 研究图像拼接技术的目的就是利用计算机进行自 动匹配,将具有重叠区域的多幅图片合成为一幅宽角度图片,以此来扩大视区的范围。现在图像拼接技术已经成为数字图像处理领域的一个研究热点,被广泛应用于虚拟现实、计算机视觉、遥感图像处理、医学图像分析、计算机图形学、视频的索引和检索以及数字视频压缩等领域。 图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核心部分,它直接关系到图像拼接算法的成功率和执行速度。图像配准算法大体可分为基于特征的图像配准和基于区域的图像配准两类[1]。基于特征的图像拼接是利用图像的明显特征(角点或轮廓等)来估算图像之间的变换,从而确定匹配位置。基于区域的方法是利用图像的像素值之间的相关性来寻找最佳匹配点的。常用的方法[2]有点匹配法、线匹配法、面积匹配法[3]、网格匹配法[4]和比值匹配法[5]。比值匹配法具有计算速度快等特点,广泛应用于图像拼接技术中。但是这种方法由于其自 第20卷　第2期2010年2月 计算机技术与发展COMPU TER TECHNOLO GY AND DEV ELOPMEN T Vol.20　No.2Feb.　2010

全景视频处理技术分析

龙源期刊网 https://www.docsj.com/doc/d412874095.html, 全景视频处理技术分析 作者：王永亮王晨余世水 来源：《传播力研究》2019年第22期 摘要：在21世纪，VR技术日益兴起，使全景视频更加清晰，进而给予用户更为良好的视觉体验。目前，全景视频是由多个镜头对物体进行悬拍、环拍、仰拍等，同时，用图像拼接技术对各种图形实施无缝拼接，并借助压缩编码与网络传输技术使之形成清晰、完整的全景视频。本文将简单分析全景视频处理技术，希望能为视频拍摄工作提供参考与借鉴。 关键词：VR技术;全景视频处理技术;摄像师 在VR技术的支持下，当前全景视频充分体现了其内容的审美理念与构思、情感等。其次，全景视频处理技巧已呈现出多样化特征，分类方式不同，视频拍摄技巧种类也不尽相同，按照所拍摄景物的距离及其视角来划分，全景视频拍摄技巧可分为近景、远景与特写;从摄像机运动方式来区分，拍摄技巧讲究360度环拍、移动、悬拍、推拉与仰拍等;按照画面处理方 式来划分，全景视频加工技巧有入画、定格和淡出等不同方式。此外，全景视频处理工作要求摄像师应结合视频艺术创作标准，树立最佳镜头意识，正确运用各种拍摄技巧，增加全景视频的深意，凸显出视频内容所包含的文化底蕴和审美理念，努力提高作品播放效果。本文将简单介绍全景视频处理技术的基本要素，并系统论述如何提高全景视频拍摄效果。 一、全景视频处理技术的基本要素 （一）图像采集技术 从整体结构来看，当前全景视频图像采集方式主要分为以下三种： 1.广角镜头采集方式。这种拍摄方式所选用的视角大多为180度的超广角或者用接近鱼眼的视角来采集全局场景，完成初步采集后予以精细化处理。 2.折反射方式。折反射方式与广角镜头采集方式具有相似性，会通过适当降低分辨率来扩大拍摄范围与视角，这样难免会使部分画面发生变形，对此，需要在完成画面采集之后予以精心加工和校正。 3.云台摄像机和多路摄像机方式。目前，云台摄像机和多路摄像机是最常见的图像采集设备，两种摄像机均能够运用图像拼接技术将所拍摄的图像合成一幅全景图像，只是结构各有差异。云台摄像机是通过高速旋转环绕拍摄景物，然后运行拼接技术合成全景。多路摄像机方式是由八个摄像机组构成360度的拍摄视角，使同一时刻所拍摄的景物经过拼接后构成全景。 （二）视频拼接技术

虚拟现实全景视频技术详解

虚拟现实全景视频技术详解 虚拟现实全景视频就是可以上下左右360度任意角度拖动观看的动态视频。360度全景视频的每一帧画面都是一个360度的全景，观看视频的时候可以360度任意角度拖动观看视频，让我们有一种真正意义上身临其境的感觉，另外通过佩戴VR眼镜观看会有更强的沉浸感。可以让观众无死角的任意选择自己喜欢的角度，缩小或放大视频的一种互动型很强的新观影形式。想拍虚拟现实全景视频这些问题你想过吗？ 1..拍摄设备覆盖范围 拍摄使用的全景拍摄设备都是经过相机参数标定的。而在拍摄过程中，我们还需要解决多相机的采集同步的问题。常见的同步方式有：闪光同步（Flash），即检测所有相机视频帧内的“闪光”，如明亮帧，白色帧，利用这个信号进行同步；运动同步（Motion），即检测所有相机视频帧内的运动信息，通过匹配各帧运动量进行同步；声音同步（audio spectrum），即分析所有相机采集到的声音频谱进行同步；以及手动同步（manual），即根据某一个时刻的所有相机采集的视频帧手动进行微调。 2.相机同步方式 完成同步采集后，需要将多相机采集的视频帧进行拼接，而在拼接之前，考虑到各帧是相机在不同角度下拍摄得到的，所以他们并不在同一投影

平面上，如果对重叠的图像直接进行无缝拼接，会破坏实际景物的视觉一致性。所以需要先对图像进行投影变换，再进行拼接。一般有平面投影、柱面投影、球面投影和鱼眼投影等。 3.投影变换 完成投影变换后，之后的步骤就是拼接，拼接过程主要有特征提取—特征匹配—配准—融合等步骤。常用的特征提取方法有SIFT、SURF、ORB、BRIEF等，下图所示为SIFT特征提取过程。 4.特征点匹配结果 配准的目的是根据几何运动模型，将图像注册到同一个坐标系中，在多幅图像配准的过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿射模型和透视模型等。 完成上述各个步骤后，拼接工作基本完成。但是，由于不同角度的画面是通过不同的相机采集得到，最终全景图像会遇到各个区域的曝光不一致的情况，通过曝光补偿的技术可以使得拼接后的全景图像曝光一致。 对于用户而言，针对编码后的全景视频，要进行终端显示观看。常用的显示设备有PC、Pad、Phone、头显等。显示过程就是将全景视频进行相应投影，如进行柱面、球面投影等。 5.虚拟现实全景视频在旅游行业的应用

高清图像全景拼接

高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998

全景拼接白皮书

目录

1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。

视频图像拼接技术研究.

南京理工大学 硕士学位论文 视频图像拼接技术研究 姓名：林学晶 申请学位级别：硕士 专业：控制理论与控制工程 指导教师：茅耀斌 20100620 硕士论文视频图像拼接技术研究 摘要 视频图像拼接技术是视频应用领域研究的一个热门课题，可广泛应用于全景图生成、双目机器人应用等多个方面。本文主要针对三类视频图像序列拼接应用进行了研究： 针对仅存在平移变换关系的视频图像序列，本文研究了一种基于频域的相位相关方法。论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程，然后通过实验证明该方法适用于帧与帧问有较大重叠区域的视频序列，并且允许视频中存在少量小的运动物体。在此基础上设计实现了适用于小平移视频序列的实时拼接软件。 针对在不同的视角位置同时采集得到的双实时视频图像序列，本文研究了两种基于点特征的拼接技术。论文首先介绍了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子的原理，然后阐述了基于点特征的双摄像头拼接技术的各个环节，包括特征点匹配、ＲＡＮＳＡＣ去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。本

文比较了几种图像的融合方法，采用了一种自动调节亮度值和加权融合方法，消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。由于Ｈａｒｒｉｓ角点易受噪声影响，本文提出了一种投票机制的改进方法，增强了Ｈａｒｒｉｓ角点定位的准确性。本文最后搭建了基于ＤｉｒｅｃｔＳｈｏｗ的双摄像头采集平台、设计实现了基于Ｈａｒｒｉｓ角点和ＳＩＦＴ算子两种点特征的双摄像头实时视频拼接程序，前者适用于摄像机采集的视频图像存在平移、旋转的情况，后者适用于存在平移、旋转和尺度缩放的情况。 本文最后针对低分辨率图像序列，研究了基于ＳＩＦＴ算子的拼接问题，并将之应用于手机连续抓拍文本序列图像的拼接。关键词：相位相关方法，Ｈａｒｒｉｓ角点，ＲＡＮＳＡＣ，透视变换矩阵，加权融合 Ａｂｓｔｒａｃｔ硕士论文 Ａｂｓｔｒａｃｔ Ｖｉｄｅｏｍｏｓａｉｃｉｓａｐｏｐｕｌａｒｔｏｐｉｃｏｎｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙｔｈａｔｓｈｏｗｓｓｉｇｎｉｆｉｃａｎｔｉｍｐｏｒｔａｎｔ ａｐｐｌｉｃａｔｉｏｎｆｏｒｐａｎｏｒａｍｉｃｉｍａｇｅｓ，ｂｉｎｏｃｕｌａｒｒｏｂｏｔａｎｄ ＳＯｏｎ．Ｄｉｆｆｅｒｅｎｔｔｅｃｈｎｉｑｕｅｓｏｆｖｉｄｅｏｍｏｓａｉｃ ａｒｅｕｓｅｄｉｎｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｒｅｅｔｙｐｅｓｏｆｃａｓｅａｒｅｓｔｕｄｉｅｄ： Ｔｈｅｍｅｔｈｏｄｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｂａｓｅｄｏｎｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｉｓｓｔｕｄｉｅｄｆｏｒａｖｉｄｅｏ

二维图像拼接技术

专业设计报告 设计题目：基于机器人视觉的图像处理方法研究 ——二维图像处理 姓名：学号： 学院：专业： 指导教师： 同组人姓名：

摘要： 在实际应用中，经常会用到超过人眼视野范围甚至是全方位的高分辨率图像，普通数码相机的视野范围往往难以满足要求。为了得到大视野范围的图像，人们使用广角镜头和扫描式相机进行拍摄。但这些设备往往价格昂贵、使用复杂，此外，广角镜头的图像边缘会难以避免的产生扭曲变形，不利于一些场合的应用。为了在不降低图像分辨率的条件下获取大视野范围的图像，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通数码相机实现场面宏大的景物拍摄。利用计算机进行匹配，将多幅具有重叠关系的图像拼合成为一幅具有更大视野范围的图像，这就是图像拼接的目的。 图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。最初主要是对大量航拍或卫星的图像的整合,也可运用于军事领域网的夜视成像技术,。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。在医学图像处理方面，把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，图像拼接技术的应用也日益广泛。 通过本课题的研究，初步了解图像拼接技术的基本应用，并了解sift语言的应用，将两幅具有相同特征点的图拼接在一起，实现二维图像的初步拼接处理。 关键词： 图像获取，图像配准，图像融合，图像合成，SIFT。 一、设计的任务和目的 二维和三维图像测量方法，具有非接触,自扫描,高精度的优点，已得到广泛应用。但在保证高精度的条件下，要实现大范围,多参数测量，单纯提高摄像机性能往往受到限制，而且成本高。图像拼接技术能够实现上述测量目的，达到较高的性能价格比。二维图像拼接是利用已获得的多幅被测物图像，提取图像间的公共特性，并通过公共特征将多图数据统一到同一坐标下，从而挖掘出数据中的深层次信息。 二维图像拼接依据特征信息提取方法的不同，可以分为基于区域和基于特征两种。基于区域的拼接一般通过求相关系数实现，计算量大，运行时间长。基于特征的拼接可以提取有旋转,平移,缩放不变性的不变量，具有快速,准确的特点，在工业测量中还可人为加入特制标记，使测量更有实用性。 图像拼接的关键是精确找出相邻图像中重叠部分的位置，然后确定两张图像的变换关系，然后进行拼接和拼缝融合。但是由于照相机受环境和硬件等条件影响，所要拼接的图像往往存在平移、旋转、大小、色差及其组合的形变与扭曲等差别。本设计采用基于特征的图像拼接技术，首先对图像进行轮廓提取，然后再对提取的轮廓进行匹配，从