内蒙古科技大学
本科生毕业设计说明书（毕业论文）
题目：图像拼接方法及其应用研究
学生姓名：杨洪升
学号：1167118201
专业：电子信息工程
班级：电信二班
指导教师：史明泉
图像拼接方法及其应用研究
摘要
图像拼接技术顾名思义就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，在遥感技术领域、虚拟现实领域、医学图像处理领域等都有广泛的应用。
本文首先分析了目前主流科研图像配准和图像融合的算法，重点研究了SIFT算法和Harris算子，RANSAC算法的图像拼接，并对其中的一些问题做出了改进和个人的分析。
在本文中对于图像的隐试信息，采取了多尺度表示的图像方法解决，在对于图像的各种操作时都是考虑这些基本问题，其中尺度不变的特征用来图像匹配和物体的识别，本文中对sift算法在图像拼接中的问题做了详细的概述。
基于特征点的图像拼接中，在提取特征点和检测中做了一些详细的研究，在图像的特点上，本文中提出了一种基于Harris算法结合鲁棒性较高RANSAC算法提纯匹配点，其主要的思想在于去除经典Harris算法中出现的特征点聚集，这样大大减少了RANSAC 算法进行图像配准的运算时间。
关键词：图像拼接；图像配准；特征提取；图像融合
Research on the application of image mosaic method
Abstract
Image stitching technology is as the name suggests the number of images into overlapping part of a large seamless high resolution image technology, In the field of remote sensing technology, the field of virtual reality, the field of medical image processing and is widely used in.
This paper analysis of the current mainstream algorithms and image fusion, focuses on the SIFT algorithm and Harris algorithm, RANSAC algorithm for image stitching.
In this paper for the image of implicit information, solve the image method adopted a multiple solutions representation for various operations, in the image are considered these basic questions, including the scale invariant features for image matching and object recognition, in this paper, the image matching problem of SIFT algorithm to do a detailed overview.
Based on the feature points of the image stitching. This to do some detailed research on the feature extraction and detection, image features, this paper proposes a Harris algorithm based on RANSAC algorithm with high robustness, which greatly reduced the RANSAC algorithm for image registration computing time.
Keywords: image mosaic, image registration, feature extraction, image fusion.
目录
摘要............................................................................................................I ABSTRACT................................................................................................II 第一章绪论 . (1)
1.1图像拼接的研究背景 (1)
1.2图像拼接的研究意义 (2)
1.3图像拼接应用领域和研究现状 (2)
1.3.1应用领域 (3)
1.3.2 研究现状 (4)
1.4图像拼接的特点 (6)
1.5 本文章节的安排 (6)
第二章图像拼接关键技术的研究介绍 (8)
2.1图橡拼接技术的基本流程介绍 (8)
2.2图像拼接的信息采集和处理 (9)
2.3图像拼接的配准 (10)
2.3.1图像配准的原理 (10)
2.3.2图像配准的方法 (11)
2.4图像的融合与合成 (15)
第三章基于SIFT图像拼接算法 (18)
3.1 SIFT算法的基本原理 (18)
3.1.1 多尺度空间理论 (18)
3.1.2检测极值点 (19)
3.1.3稳定关键点 (21)
3.1.4 局部特性描述 (22)
3.1.5拼接融合 (22)
3.2改进算法分析实例 (23)
第四章基于Harris算法的图像拼接研究 (26)
4.1角点提取算子 (26)
4.2 Harris角点检测原理 (26)
4.2.1柱面投影生成 (27)
4.2.2 Harris角点提取 (27)
4.3 RANSAC算法的原理 (29)
4.4拼接算法的实例分析 (30)
4.5本文两种拼接算法的对比 (33)
第五章总结与展望 (34)
5.1本文总结 (34)
5.2工作展望 (34)
致谢 (36)
参考文献 (36)
附录 (39)
第一章绪论
图像拼接应用广泛的数字图像处理的技术。根据不同特征点的之间的相互匹配，就可以将很多张小视角的数字图像拼接成为一张大视角的图像，拼接之后与原始图像很接近，失真较小。开始源于人们的摄影技术，如果相机的视野远小于人们的视野的时候，我们首先想到的是将多个不同的地点的图像拼接成一幅全景图。由于科学技术的脚步不断前进，拼接技术在数字图像处理、卫星图像处理、医学图像处理等领域都有广泛的使用。在上个世纪80年代图像拼接技术开始应用于航天技术和宇航照片的处理之上。
1.1 图像拼接的研究背景
图像拼接在科学技术的各个行业中都有着至关重要的角色，从1965年往后，电子技术和计算机技术的快速发展，图像处理技术也进入了一个高速发展的时期，现在广泛应用于医学，军事，航天技术等各个领域。在日常生活中，摄影技术的发展使得我们不满足于图像大小，在争取全景图的同时，往往限制于图像分辨率的问题，种种的情况使得图像的大小和图像分辨率之间存在冲突。当今医学界，图像处理更是无处不在，在CT 等医学技术到细胞图形学等，医学对于图像的品质和一些处理手段要求是雨来越高，这其中也在医学中促进的图像处理的发展。现代的医学成像系统中的应用也为医生的诊断提供了医疗诊断依据。在一些患者的诊断中，由于图像的距离和角度上发生变化，所以就需要对图像进行配准，用图像拼接技术使得他们的信息综合在一起，这就为医学上的诊断和生理结构和功能提供了更多的信息。在一些外科医学领域中视网膜的激光手术一直是一个医学难题，一些科学家就提出来利用图像拼接的技术来解决这个难题，他们利用相机的镜头运动和平移没有变化，并且将视网膜看经验主义的研究方法做一个二维的曲面，通过变化矩阵间的变换将视网膜的图像拼接成一个完整的全景图，这个在医学方面做出了巨大的贡献。
在环境质量检测中也广泛的用到图像拼接技术，通过卫星或者是航空拍到的某一个场景的图片来实现对这一场景的整体检测，比如河流、耕地或者是虫害等一些情况进行整体的检测和实时的监控。在当今的军事作战模式下地理位置和地形特征在战局中起到至关重要的地位，当然这其中涉及到一种红外线的图像拼接技术，根据热成像的基本原理，物体自然发射出来的红外射线他是可以转变成可以看得见的热图像，也不会受硝烟、
大雾、雪的影像，也有良好的识别伪装能力。
另外信息多媒体技术的高速发展，多媒体技术也慢慢的网络化了，比如说视频的点播，网上的购物和一些多媒体的访问，多媒体资源慢慢的引起了人们的极大关注。但这些数据中包含了很多的杂乱信息，当然其中也包括一些静止的场景。为了去除这些数据的杂乱信息，便于多媒体的传输。也涉及到了图像拼接技术，上述技术的应用能够让图像处理更快的步入到商业化和实用化，也为我们的生活带了诸多方便。
1.2 图像拼接的研究意义
近些年来随着高新科技的告诉发展和一些相机和摄像产品的普及，更多的涉及到图像处理这项技术了，在早期，用相机来拓宽视野经常需要调整相机的焦距来获得相对完整的图像，但伴随着问题是产生的图像的分辨率会比较低，当然是用一些高档的相机也可以避免这个问题，但是往往这些设备比较昂贵，也不容易操作。在普通的家庭中不适合是用。当我们用到图像拼接技术的时候，这个问题就可以轻松的解决，消除我们的一些盲区，同时也能得到一幅大型的无缝高分辨率的问题。这些年来，图像拼接技术的告诉发展也改变我们对于传统的测量的认识，所应用的技术和成熟度也较以往有了直观的改变。图像处理的方法也是实现比较准确、快速将多个场景拼接在一起，让我们感受到真是的感觉。图像拼接是图像处理当中一个重要的研究分支，也是计算机图像学等领域的重点研究课题，其中还涉及到科学技术的多个方面，包括地质的勘探、视频的传输和检索以及数学的建模等都有广泛的应用。就目前来说，图像拼接的一个成功的应用案例就是虚拟现实技术，它是用计算机生成一幅三维的图像，可以使用户通过专门的设备技术在一个虚拟的环境中看到实物的整体概况，也可以进行相互的考察和控制，倒是随着这些技术的告诉发展，也滋生出更多的不足，这也在我们发现不足，改变不足中继续的创新与发展。总体来说吧，图像的拼接技术给我们带来的不止是科学上的进步，也是我们普通人在视觉上、听觉上以及触觉上带了不一样的感受，让我们在学你中体会到真是的一种感觉。
1.3 图像拼接应用领域和研究现状
关于图像的拼接国内外研究已经有很久的时间了，应用领域也是十分的广泛，可以说是上至天文，下至地理都有图像处理的研究领域和应用领域。本文就当前的研究现状
和应用领域做一个简短的介绍。
1.3.1应用领域
就像1.2节中提到的那样，图像拼接的应用领域十分的广泛，几乎是科学的各个行业都要涉及到图像的处理，而图像的拼接的技术在计算机图形学以及虚拟技术等方面应用更为广泛，在研究中也占有比较大的比重。以下做一个详细的介绍。
1) 虚拟现实技术
虚拟现实技术通俗的说就是利用计算机技术自动生成具有三维的视觉、听觉和触觉环境，用户可以使用专门的设备和虚拟环境进行交互行为。在这个技术运用于全景图生成的时候，图像处理的技术也就发挥着重要作用，其中图像的拼接更是不可少的一个重要的部分。下图是描述生成全景虚拟图的过程
图1-1 虚拟全景图生成的过程
2) 医学图像的处理
在医学的领域，关于图像拼接的应用更是无处不在，随着高新科学技术的发展，一些高端的医疗设备出现在现实生活中，这也引发了医学图像的大发展。在CT和X光照，还有细胞的图像，都对这些图像的处理有很高的技术要求。这些技术也都是在处理医学问题上所解决的过程中产生的。比如一些外科手术，早在上世纪80年代Alican Charles 和V.Stewart等就有关于利用图像的拼接技术对人的视网膜进行整体的构建。这也为医学界做出了巨大的贡献。另外看一下病变的几张图像和配准后的图像。
图1-2人体大脑出病变的图像拼接
图(a)和图(b)是MRI图像，但是方位不同，图(c)是两张图像特征点的匹配，图(d)是两幅图像配准拼接以后的图像。
虽然来说图像拼接几乎应用于所有的技术领域，但是其技术的发展还不是很成熟，在一些医疗和诊断上还是有不小的进步。
3) 军事领域应用
图像拼接技术在军事上也有广泛的应用，在军事上获取某一个地域的动态信息是一件很重要的事情，这也关乎到战争的胜利，比如全景图可以原来描述这个地区的动态信息，也就是在同一个区域内对目标的运动和其运动的轨迹得到一个可靠的侦测。另外还有一些环境地域的复杂性，一些光电系统和来打侦测系统，目标存在一定的不确定性和多样性，要是只靠单一的传感器，也能是给出一部分的特征信息，所以这样就不能在军事上得到应用，随之而来的就是多传感器和多种技术同时处理也得到青睐，在获得多个对同一个事物的多种信息在军事上是很重要的一件事情。
这种技术在很多国家都有研究，例如一些欧洲国家和美国等发达国家都在研究一种适用于复杂环境下快速得到全天图像的多元信息，以备制定下一步的作战计划。
1.3.2研究现状
数字图像处理这门技术已经在国内外研究很多年了，在图像拼接的领域更是研究的热门，其实在研究的目标中可以归纳为追求更高的分辨率和更为广阔的视野。这些年来借助计算机，在图像拼接研究方面也有了很大的突破。在图像拼接的原理上，许多研究成果已在国内外广泛应用。但是就目前的技术而言还是没有得到人们想象的那样快速的和高效的得到一个图形的拼接图像。在各国科研工作者的研究中，对于图像拼接的关键技术的研究是倍受青睐，图像的特征点提取和配准一直是拼接技术的关键所在，在二十世纪70年代的时候Milgram就曾经发表过这样的文章，他是通过照相机的拼接技术来叙述了资源卫星得到的比较高的分辨率的图像拼接，有人就提出了相位相关的原理，对图
像进行傅里叶的变换，再进行配准和平移。然而在八十年代的时候，Harris提出的角点检测方法对相位相关的方法做了改进和创新，在对提取到的角点具有平移和选择不变形，他是使用自相关来确定信号二维变化的方位，采用一阶差分运算，提高的拼接的速度和效率。
早在本世纪出就有人在前人的基础上提出了自适应的模型。他是根据不同的技术模型来适应不同的相机，最后通过图像的分割和最后的投影和进行拼接。这里要着重了解一个理论，这个理论的提出人也是图像拼接的奠基人，也就早在上世纪九十年代的时候，由Richard Szeliski根据全景图像的模型提出L-M算法，由于这个算法的高效性和可以处理多种变化图像拼接，也因为这也就成为图像拼接领域经典的算法，直到现在还在有人研究这个理论。
在图像的配准上面，特征法的配准也算是比较主流的方法，在具有突出性的图像中，稳定，均匀等特点和对特征点计算小，速度快的特点，也是现在特征点提取应用广泛的方法，最早在研究这个特征的图像拼接方法是上世纪90年代的BlaszkaT，Rachid Derche 等人，他们是利用二维的高斯模糊过滤来获得一些看似低级的特征图像的模型，比如定点模型，这个理论的提出也使得很多科学工作者研究基于图像特征的图像拼接研究。后来有人就采用了多尺度小波变换的分析理论，对图像进行小波变换，然后计算出小波变换后的数值，然后在对应图片中的特征点。
在国内，关于图像研究起步还是比较晚的，但是研究的速度很快，可以说是站在巨人的肩膀上看远方。在九十年代中后期，关于图像拼接的技术在开始成为国内科学工作者研究的热门，20世纪出我们的研究真正的达到了世界水平，也是达到了顶峰，这其中也包括了王小睿等科学者提出来的半自动的图像配准方法，还有王祖勋等人就不同传感器和不同的分辨率提出的采用多级影像技术对图像进行拼接和配准。还有几年的国家重点实验室和中国科学院采用的模板匹配的方法来确定两张图像边缘的重叠区域，然后在得到拼接后的图像，这种方法后来运用到了医学上，就微血管的循环等医学影像研究做出了突出的贡献。这些年来，图像拼接的研究是越发的红火，各种算法的层层出现也给了科学工作者不少的启发，也在这方面取得了不小的成效。SIFT算法的引进、RANSACN 算法的改进，进行匹配，都很好的减少了计算，也缩小的拼接时候带来的误差，提高了拼接的稳定性。尽管出现了各种的算法，其实在研究方向上还是区域的配准和特征的配准。在于这么多算法的应用，还是在于灵活。
1.4 图像拼接的特点
图像的拼接涉及到多个图片的处理，需要对多种图片进行不同的处理和分析，这其中也带了各种不同的步骤和分析，所以这个问题对于图片的编码和压缩等技术都要有自己的处理方法，这随之而来的就是多样性和复杂性，还要有针对性。下面是拼接的三个技术特点。
1、复杂性
图片的采集还有拼接，中间会有很多的技术环节，从图片特征的提取，特征点的匹配，再到最后的融合拼接，这些都是关键性的技术，这些技术也就决定图像拼接过程中的复杂程度，况且还要涉及到各种的算法和一些处理的手段等，都会是图像拼接中一些复杂的程序。
2、针对性
在图片拼接等各个技术的处理中，常常会采用的不同的算法进行对图片的处理，各个采集到的图片信息也不是不尽的相同，也这就要涉及到各个图片的特点的不同，来采取不同的算法和处理手段。比如一些平面图像，彩色黑白色图像等等都会有不同的处理手段，更为复杂的可能涉及到二维的图像三维的图像三维拼接，像是柱面图像或者是球面图像等，都会有一些指定的算法进行处理。所以各个的条件不同处理的手段也会有不同，存在着一定的针对性。
3、多样性
关于图片的多样性，其实就是因为各种的差异性所带来的不同可避免的变化，这其中由于事物的繁多和环境的因素，我们在从相机德奥这个失误的会后会因为一些角度或是光照条件以及事物的运动平移等因素，在同一时间和同意地点所涉及的图片都会是不一样的，相同的是在采集的时候，技术的特点和对事物的采集时环境的特点都会是对处理对象的复杂程度和不可确定因素造成影响。因此在决定处理图像的时候，定会是考虑到图像的拼接技术的特点以及多样性都处理结果的影响。这也需要我们有不同的算法和处理的方法。
1.5 本文章节的安排
本文针对不同算法讨论数字拼接技术的几种算法，针对图像配准和拼接的意义、应用做了简介的概述和研究，对日常应用到的方法和处理的手段做了一个详细的介绍，在
这个基础上，本文就SIFT和Harris和RANSAC算法的拼接技术提出了自己的观点和一些处理的手段。
论文的组织和结构
全文分为五章。
第一章：绪论，介绍了图像拼接的方法和特点，就国内外的研究方向以及研究的时代背景做了一个介绍。
第二章：图像拼接关键技术的研究介绍，主要工作是图像拼接的技术特点和具体的流程的介绍，就是拼接过程所涉及到的原理以及处理的流程和融合的方法以及原理。
第三章：基于SIFT图像拼接算法，研究的是SIFT算法的图像拼接，就此算法的图像配准做了一些改进，加快了处理的速度。
第四章：基于Harris和RANSAN算法的图像拼接，通过研究这两种算法的原理和理论，在这种基础上，通过两种算法的结合，是图像拼接的复杂度降低，同时运算量减少，效果更好。最后通过对比机上涉及到的算法进行比较说明各个算法的优劣。
第五章：总结和展望，本文所作的一些研究做一个总结和当前所存在的问题进行说明，对数字图像拼接技术的发展和研究提出了期盼。
第二章图像拼接关键技术的研究介绍
图像拼接整个流程可以包括这么几个步骤：图像的预处理、特征点的提取、图像的配准、模型的建立、图像的融合。其中核心的步骤也是热门的研究是特征点提取和图像的配准。最终的目的就是找出具有重叠或是相似的图像。
2.1 图像拼接技术的基本流程介绍
各种拼接的方法大体流程是相差无几的，图像的拼接流程包括：预处理、特征点提取、配准、融合。拼接的过程可以如图1-1所示：
图2-1图像拼接流程
1. 图像的预处理
图形的预处理就是对原始的图像进行处理，提高图片的质量，使其能达到图像配准的要求，不至于造成一些错误的匹配，致使原始的拼接图像几何变形，图像预处理的技术包括：原始图像的直立方图匹配，几何的矫正，平滑的过滤，噪声的处理等一些准备工作。
2. 图像的配准
图像的配准是图像拼接的核心技术，其原理就是找到原图与参考图像的特征点的位置，然后采用一定的算法在参考图像与配准的图像建立模型转换，确定两个图像的重叠的部分。
3. 建立变换模型和统一坐标变换
根据参考图像和原始图像的对应关系，结合自己实验，得到一些经验找出相对应的位置建立数学模型，把原始的图像转换到参考图像的坐标系中。
4. 图像的融合
当第三步确定了数学转换的参数后，我们根据两幅图像之间的转换关系，把重叠区域的信息拼接成一个完整的图像。这其中可能会存在一定的匹配误差或是因光度的问题的影响，我们还需要做的是根据光度的差异对拼接图像进行混和调整，减少重叠区域的失真。
2.2 图像拼接的信息采集和处理
图像拼接的前期就是对原始图像进行数字处理，其主要的工作是对原始图像的信息采集和图像的预处理，使图片的质量能达到最后拼接的要求，以免最后拼接出现几何畸形或是误匹配。对采集来的图像进行处理也是比较繁琐的，主要的流程有：图像的矫正、光度的处理、噪声的抑制等。
图像的矫正：图像的采集也间接的影响了最后拼接的质量，采集到的照片可能会因为失真或是变形，这样我们就要对采集到的照片进行相应的处理矫正，因此对前期进行基本的图片处理和矫正是十分的重要。图像的矫正和处理的基本思路是我们可以使用数学方法进行处理，首先根据原始图像的具体情况，我们可以建立相应的数学模型，在原始图像中找到需要处理的位置或是提取到的信息，然后根据这个信息可以相逆的去恢复原始的图像面貌，在具体的做法中，我们可以在恢复的过程中使用过滤器，从原始的图像中得到真实的估计值，根据误差的准则可以降低误差，在最大的程度上接近于原始图像。
图像的噪声处理：噪声的处理相对来说比较繁琐，而且噪声是不可能预测的一种随机信号，而这种信号的分析也往往是通过概率分析法来进行相应的分析处理，对于噪声的处理也是很重要的，它涉及到图像拼接的大部分过程。在图像的采集的过程中就应该重视这个问题，若是在采集图片时伴随的噪声很大的时候，这个结果必然会影响到最后输出的结果。当然我们可以根据噪声的来源，来确定处理的方法。噪声可以是外部噪声，也可以是内部噪声。但因为噪声是随机出现的，不可预测的，而且是随机分布的，关于噪声的处理问题我们可以采用滤波的办法进行处理，比如说中值滤波或是均值滤波都是就可以对噪声进行相应的处理的。
关于前期图像处理存在的问题还有很多，比如说图片的边缘的锐化，灰度图像的转变，估算图像的碎片等都是在处理图片时尽可能的还原原始的图像，这样做也可以为选择后来图像选择的处理的方法和采用的算法，这样可以确定配准的时候采用的合适的算
法，以便提高后来的处理的速度和精度。
2.3 图像拼接的配准
关于图像配准的定义，通俗的来说就是对采取到了两张或者是多张图片进行在空间上的匹配和重叠，这种叫做图像的配准。在正式的研究中，需要建立数学模型来帮助分析问题。假设我们采集到了两张不同角度的图片，设其为1I 和2I ，另外我们还要设两个表示灰度值的函数，设),(1y x I 和),(I 2y x 。其中图片的配准关系我们这样来表示：))),(((),(I 12y x h I g y x ，在这个方程式当中，g 是一个灰度值的变换或者也可以理解为
是幅度值变换得到的。其中的h 我们定义为是几何的二维坐标的表达式，最后我们可以 计算出两个图像的位置坐标之间的关系，这样我们就可以得到他们带匹配的坐标的位置，求出了矩阵。对于图像配准的大概流程我们可以归结到如下流程图中：
图2-2 图像配准的流程
2.3.1 图像配准的原理
图像的配准在整个图像拼接中都是至关重要的，整体来说是图形配准就不但是就单个图像而言的，他是多幅图像进行相似性的比较和特征的提取。我们就拿两幅图像来说吧，我们以原始图像作为基准，配合参考图像我们称为参考图像。主要的原理做法是通过在原始图像上找到某一个点，作为目标点。然后用这个点在参考图上进行平移，移动一步就会对目标点和参考点进行比较，一直到找到了合适的匹配点。
当然这种寻找的方法可能是会造成一点的误差，其中涉及到的原因我们在前文中已
经提到了。包括图片采集的误差，噪声的误差，平移的误差等，所以在这种情况下，我们就研究出来众多的算法，通过这些算法，我们可以达到匹配的精度和准确性。关于这
些匹配的算法在前文中也有提到，在这里我们简单的介绍一下。大体上可以归纳为四种：1.匹配特征
匹配的特征是根据参考图像的空间特征组成的，匹配有很多样，其中点、频率、轮廓、边界等都是常用的结构。但是在匹配的特征点的选取上我们必须做到：匹配的特征点必须是原始图像和参考图像中都具有的特征；在两张图片中必须的包含许多特征点。选择这种和里的原始图像和参考图像能提高我们以后的拼接图像的质量，也有利于减少一些不确定的因素，包括噪声和误匹配等。
2.相似成度
关于相似度的描述，我们可以这么说：就是原始图像和参考图像之间的匹配特征点的相似性，相似的程度我们可以用一个数学模型来表述，比如相关函数，距离函数。相似程度和特征匹配的具体要求都是差不多的，相似程度和匹配特征中，什么图片进行参与匹配和什么图片不可以参与，这些都可以用相似的程度来衡量。
3.参考空间
在图片配准的原理上我们可以看出来，其实这个问题也是经典中的数学问题，就是找到最优的估值问题，这样来说参考的空间特征就变成了数据变换的空间，其中我们必须涉及到的是数学问题，也就是代数矩阵的理论，我们可以用矩阵的形式来描述一幅图片的数学变换，比如是平移，缩放，差分多项式等一些变换，其中不同的位置也会具有不相同数学模型。
4.合理算法
合理的算法是决定着配准的准确性，关于这些算法也是当今科学工作者研究的热门话题，合理的算法对于减少在拼接过程中的计算量有很重要的意义。常用的算法有：SIFT 算法、SUFT算法、Harris算法、Canny算法、RANSAC算法等。
在上述的几个方面的叙述，他们中都有一定的联系，在选取配准的算法的时候，我们要根据实际的情况和以机构确定的图像因素，还有图像的成像方式等因素考虑合理的算法选择。在能保证图像配准的性能上，选择匹配的空间和参考空间。最后通过相似的程度来做到最优的拼接。
2.3.2图像配准的方法
配准的方法在图像的拼接过程中有很大的作用，对此很多工作者都在研究这个配准的方法，自然而然的就出现了很多的配准方法，这些方法适应的情景也不同，在各个领域的优劣程度也不同，各有各的用途和特点。所以我们在进行图像配准的时候合理的选
择这些配准方法也是一件很重要的事情，从本文中的研究上看，本文也就涉及到或是常
用的集中方法来简短的概述一下。
1. 基于轮廓的匹配方法
关于轮廓匹配的方法的关键技术就是要在匹配的区域进行较高水平的特征提取
具体的操作意义在于图像边缘的提取，这也是轮廓匹配的关键技术和前提要求，在本文
的这一节中主要讲述的是基于小波变换的模极大值的边缘提取。在选择的提取边缘的区
域的时候，适当的选择算法是很重要的，这个算法的要求是只能提取单个边缘的特征，
而且要的是定位很正确。前面说过在匹配中最重要的是一些因素的影响和干扰，所以在
这里选择的时候算法要抗干扰，对噪声不是很敏感。比如众多的算法中的拉普拉斯算法
等，在这里要是既能满足上述要求，也要对边缘进行适当的处理，canny 算子是一个不
错的选择。
小波变换对于图像的边缘选择和处理上是一个不错的实用工具，这里我们选用的是
平滑的一阶导数来实现小波的变换需要的函数类型。设一个低通的平滑曲线函数 ，类型
如下：
x
y x y x g ??=),(),(1ψ，y ),(),(2??=y x y x g ψ (2-1)
在上式中的),(2y x ψ和),(1y x ψ是上述中小波变换需要的函数，这里我们尺度上有
2j(j=0,1,2……),我们可以得到如下公式
)2,2(41,112j y j x j y x j ψψ=）（ )2,2(41,222j
y j x j y x j ψψ=）（ （2-2） 任意的变换我们可以在数字函数中f(x,y)函数中对想x,y 方向上进行小波变换，既有如下
的函数可以表达，
),(*),(212y x f y x f j w ψ= ),(*),(122y x f y x f j w ψ= （2-3）
上述的两个公式是在对图像坐标中进行x,y 方向上求得偏导，在组成的点2j 中梯度模为
2
1222),(),(),(M y x w y x w y x j j j += （2-4） 局部的最大的模值就是我们找到的边缘位置。
在关于轮廓匹配的方法中我们从闭元到开元的过程，在开始的时候我们从闭元的时
候取得精度的匹配，然后在求取闭元的特征元素。这里可以建立相应的数学函数解决这
个问题，假设用函数f(x,y)表示相应轮廓上的位置，周长n,最长边长lh ，最短边长lm,不
变距离h1和h2,中心的位置我们可以叫做C X 和C Y ,然后在假设的上述问题中可以得到：
∑=N (轮廓上的所有的点)
∑=I C X X n 1, ∑=I C Y Y n
1 (2-5) )][]([max 22c i c i H y y x x L -+-= (2-6)
同理lm 可以类比的得到。当我们得到的两幅图片的基本轮廓相同的时候，进行下一步
的做，若是不相同则记录下数据，直到最后得到数据处理的内容。
2. 图像线性变换的匹配方法
在刚才的提出的理论中，其中涉及到很多的平移，或是旋转平移，我们也可以确定
一种算法，就是图像的线性变换的匹配方法，在定义这个方法的时候我们先假设一个函
数就是图像误差匹配函数。关于这个函数，我们主要做的工作是借助这个函数来逐步累
加在配准过程当中所产生的误差的迭代增量，由这个函数最后的数值中，我们可以用数
学的方法对其数值进行迭代的数学线性变换。这也是为了减少计算带来的繁琐过程，减
少误差产生。
由于处理图片涉及到的是二维的空间，所以我们假设两个图片为G 和F,而我们要做
的是在寻找的任意一点上得到一个坐标使其满足线性的变换。所以可以假设在图片G 上
有一个坐标点是[,]T X x y =，它对应的图片F 的坐标为Y 对应21(,)X Y R ?∈，所以会存在
一个偏移量，我们可以根据偏移量得出如下的函数方程式；
~
123456,a a x a y T X a a a x a y ++??=??++?? ~
1,,,0,0,0,0,0,0,1,,x y X x y ??=???? []123456,,,,,T
a a a a a a a =
所以在最后的表示的时候，Y X T =+，这也表明了图像G 和图像F 的对应坐标的表示，也就是G 对应坐标是F+T.
对于整体的线性变换的匹配方法，其思想是两幅图片之间存在着某种线性关系，我们
可以借助数学的模型来建立坐标进行线性的分析。上文中我们提到了图像匹配误差函数，这样有利于我们提高我们配准的质量。图像匹配的误差函数我们设为：
2[()()]x R E F X T G X ∈=+-∑ (2-7)
根据上述的问题，我们可以根据偏移量和迭代的原理加入一个增量a ?，这样我们就可以
得到新的函数表达式，
6121,,a R T R ???∈?∈
2[()()]x R
E F X T T G X ∈=++?-∑ (2-8)
现在关键性的问题是对于刚才我们引入的一个增量a ?的求解，在这里我们可以对其求偏
导，然后根据泰勒的展开式得到如下的函数式
'()()()F X T T F X T F X T T ++?≈+++?? (2-9) 然后对以上式子的偏导会得到一个表达式，这个表达式中我们令偏导为零，则可以解决
相应的问题。
3. 图像灰度信息的匹配方法
在灰度图像匹配的方法中顾名思义就是要得到图像的灰度信息，在根据数学的模型上
建立各个像素点的对应关系模型，根据对应的模型关系，我们可以建立一个能描述两副
图片的相似区域的函数。然后采用适当的算法来估算出这个函数的最大值和最小值的参
数值。这个函数我们可以这样去定义
∑∑==2i i i ,i )y ,I(x -)y x (I e E ）（ (2-10) 在上述的式子中I 和I 是表示的两幅图片中的相似区域的灰度值的大小。E 表示的是
两幅图像之间的灰度值的差异。
在整体的匹配方法中，灰度信息的匹配是相对来说比较简单的，因为灰度信息的匹
配上不需要是对整个图片的特征点的提取。所以在一些处理手段上也就能轻易的提高相
应的精度和速度，但是在灰度信息匹配的时候我们最重要的做的方法是选择一个合适的
函数来进行匹配点的计算，这也是一个非常重要的步骤，选择的好与坏会之间关乎到最
后的计算速度和精确度以及误差率。所以在选取灰度信息匹配的同时既能提高估计的精
确度和鲁棒性，同时也会使计算量变大，降低了计算的速度。
4. 基于块匹配的图像配准方法
块匹配的图像配准顾名思义就是把图像的像素作为一个集合的形式来进行配准，主要
的思想还是根据寻找到两幅图片的相似区域，把整个区域作为一个集合整体的进行操作，但是这种整体性质的操作会使得计算量变的很大，但同时也会是配准的精度很高，这也
是这个方法的特点。两幅图片包含很大的信息量，在处理这个图片信息的时候容易受到
外部的影响，所以处理的同时通常会采用边缘信息构建模型的方法进行提高处理时候的
稳定性。在应用块匹配的方法的时候，我们首先确定最优的匹配标准。还要考虑到一些
误差的影响。
在上述的叙述中我们可以有一个大体的思路，首先涉及到的是边缘的检测，这里会
有很多的算法可以考虑，而且前文也多次提到过边缘检测的问题，这里就不在赘述。我
们可以根据像素点的邻域来定义一个函数
(,)(,)A A
m A n A NEA i j E i m j n =-=-=
++∑∑ (2-11) 在这个函数中(,)E i j 是表示的是二值边缘图,A 也就是这个点的一半的长度值，然后以
(,)NEA i j 为标准，计算出一个最大是的点，然后用这个点作为标准店，在其邻域内寻找
一个大小合适的快状区域。最后根据块状区域进行匹配，这就是传统块状匹配方法。
2.4 图像的融合与合成
在上述的过程中获得了配准后的图像，随后就是图像的融合，在配准的过程中需要
建立一定的数学模型，首先在拼接的过程中，边界的过度是必须要平滑的，消除一些明
显的拼接线也是很重要的，另外在拼接过程中要尽可能的接近于原始的图像，这个中间
可能会因为当初的处理中出现的误差所造成的重叠的区域有一些模糊的现象。所以关于
图像的融合关键性的技术也就是怎么样在拼接的过程中平滑的过度和无缝的链接，这两
点是成败的关键技术。
在图像的融合中我们要遵循一定的融合规矩，图像融合的规矩直接决定着最后图像
的质量。目前关于图像的融合方法有：加权平均法、直接平均法，基于小波变换融合，
多分辨率样条技术。
1. 加权平均法
加权平均法是最直接的图像融合技术，他的原理是不是那么的复杂，就是将两幅
或是多幅图片进行线性的加权平均，先进性加权，而后在对其平均，这种做法不但会使
重叠区域的图像可以平滑的过度，而且还能消除融合的痕迹。如下式：
),(),(),(y x B W y x A W y x f b A += (2-12)
其中A W 和b W 是两幅图片中重叠区域对应的像素值，还要使得1=+b A W W 和10<
10<图像记忆的原理和方法[图像拼接原理及方法]
图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说
360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术
图像拼接原理及方法
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
图像拼接原理及方法
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
图像拼接算法及实现.doc
图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论
图像拼接论文
基于特征点的图像拼接算法研究指导教师： 学生姓名：学号： 专业：计算机技术 院（系）：信息工程学院 完成时间：2013年11月
摘要: 图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接的过程由图像获取，图像配准，图像合成三步骤组成。其中图像配准是整个图像拼接的基础。本文研究了基于特征图像配准算法。 利用基于特征Harris角点检测算法提取出初始特征点对，实现实现特征点对的精确匹配。最后用加权平均对实现图像融合。实验证明该算法适应性较强，在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。同时该算法准确率高，鲁棒性强，具有较高的使用价值。 关键词：：图像拼接图像配准特征点图像合成
Abstract: Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other,and finally builds a seamless and high quality image which has high resolution and big eyeshot．The image mosaic process consists of the following steps．Image acquisition,image registration,image fusion．fusion．Image registration is the important foundation of image mosaic．This article has studied a image registration algorithrm feature-based image registration algorithm． Firstly,corners are extracted using improved Harris operator to extract the initial feature point pairs.Then,the correct matching feature point pairs are used to realize the image registration．Finally,use the Weighted Average Fusion Rule to fuse the images.The experiment results indicate this algorithmhas better registration results under a variety of conditions such as different light,bigger rotation and repetitive texture.At the same time,this algorithm has good effect in image registration,high accurate rate,strong robustness，higher use value． Key words:Image mosaic Image registration Feature points Image fusion
图像匹配与拼接方法
图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：
虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了
图像拼接算法及实现(一).
图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this
图像拼接技术的研究历史悠久
图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。
基于MATLAB的图像拼接技术
基于MATLAB的图像拼接技术 基于MATLAB的图像拼接技术实验报告 学院:数信学院 专业班级: 12级信息工程1班 姓名学号: 一、实验名称:基于MATLAB的图像拼接技术 二、实验目的:利用图像拼接技术得到超宽视角的图像，用来虚拟实际场景。 三、实验原理: 基于相位相关的图像拼接技术是一种基于频域的方法，通过求得图像在频 域上是相位相关特点来找到特征位置，从而进行图像拼接。其基本原理是 基于傅氏功率谱的相关技术。该方法仅利用互功率谱中的相位信息进行图 像配准，对图像间的亮度变化不敏感，而且所获得的相关峰尖突出，具有 一定的鲁棒性和较高的配准精度。 基于相位相关法进行图像拼接的基本原理如下:假设f(x，y)表示尺寸为MN的图像，该函数的二维离散傅里叶变换(DFT)为: ， MN,,111,,，juxMvyN2(//) Fuvfxye,(,)(,),,MN，xy,,00 其中，F(u，v)是复变函数;u、v是频率变量，u=0，1，…，M-1，v=0，1，…，N-1;x、y是空间或图像变量。 二维离散傅里叶逆变换(IDFT)为: N,1M,1,，juxMvyN2(//),fuve(,) Fxy(,),,,y,0x,0 ，…，M-1;y=0，1，…，N-1。其中，x=0，1 设两幅图像、的重叠位置为(，)，则图像、的互功率谱为:IIxyII112002 *II(,)(,),,,,，,，jxy,,,2()1200 ,eII(,)(,)，,,,,12
其中，*为共轭符号，对上式两边进行傅里叶逆变换将在(x，y)处产生一00个函数。因此，只要检测上式傅里叶逆变换结果最大值的位置，就可以获得两xy幅图像间的评议量(，。具体算法步骤如下: 00 II?读入两幅图片、(函数输入)，并转换为灰度图像; 12 II?分别对、做二维傅里叶变换，即: 12 fftIfftI A=() B=() 1222 C则通过A、B的简单的矩阵运算得到另一矩阵，即: 3 C =B*.conj(A)/norm(B*.conj(A)，1) 3 矩阵的二维傅里叶逆变换C在(，)处取得最大，可通过遍历比较C(i，Cxy300 j)大小即可找到该位置，并作为函数返回值。 四实验程序 tic x=[1 2;0 1]; a=imread('7.jpg'); %读取图片 b=imread('8.jpg'); figure imshow(a); figure imshow(b); imwrite(b,'160.jpg'); IMG={a,b}; %将图片存为元胞结构 num=size(IMG,2); %计算图片个数 move_ht=0; %累计平移量初值 move_wd=0; for count=1:num-1 input1=IMG{count}; %读取图象 input11=imresize(rgb2gray(input1),[300,200]);
图像拼接原理及方法
图像拼接原理及方法 This model paper was revised by the Standardization Office on December 10, 2020
第一章绪论 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像
图像拼接方法总结
图像拼接方法总结 图像拼接方法总结 (1) 引言 (1) 1 基于网格的拼接 (3) 2基于块匹配的拼接（也叫模板匹配） (4) 3基于比值法拼接 (6) 4 基于FFT的相位相关拼接 (7) 基于特征的图像配准方法 (9) 5 Harris角点检测算法 (10) 6基于SIFT尺度不变特征的图像拼接 (15) SIFT主要思想及特点 (16) SIFT算法详细过程 (16) SIFT匹配算法实现 (20) 7 基于surf 的图像配准 (22) SURF算法介绍 (22) 算法详细过程 (23) 8 基于最大互信息的图像配准 (24) 9 基于小波的图像拼接 (27) 10 基于轮廓特征的图像拼接技术 (27) 引言 首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合， 图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。图像 预处理包括：图像投影、图像去噪、图像修正等。 图像配准采用的算法主要有两类： 一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。 另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法， 第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这
图像拼接报告
图像拼接学习 1为什么要进行图像拼接 在很多研究领域需要一些分辨率很高的超高清、全景图像。而现有的全景相机、广角镜头等设备不仅昂贵，而且存在失真的现象。所以要使用图像无缝拼接技术将很多张具有部分重叠区域的图像进行拼接，从而得到一幅宽视角的全景图像，满足人们在各领域研究的需要。 2图像拼接的流程 一、图像拼接的流程： 大致可分为三部分：图像预处理，图像配准，图像融合。 详细分为： ①预处理—>②特征点搜索—>③特征点筛选—>④两幅图像中的特征点配对—>⑤根据配对点找到不同图片之间的映射变换关系—>⑥图形融合 3图像的预图处理 图像预处理包括：噪声去除、灰度处理、几何畸变的校正等图像处理。 4图像配准 提取参考图像和待拼接图像中的特征信息，然后在提取出的特征信息中寻找最佳的匹配。图像配准算法主要包括三类：基于图像像素的方法、基于图像特征的配准算法和基于图像区域配准算法。 4.1基于特征的图像配准算法 一、为什么选用这种方法： 这种方法提取了图像的特征，压缩了图像信息的数据量，因此在匹配时计算量小，速度较快。而且能保持图像位移、旋转、比例等方面的特征。并且图像特征具有很好的独特性以相互区分，对位置变化敏感，匹配精度高。 二、算法介绍： 首先对两幅待匹配的图像进行特征提取，将这些特征作为控制结构，然后利用提取到的特征结构来完成图像特征之间的匹配，通过控制结构的匹配关系建立图像之间的映射变换关系。匹配的特征可以是边缘、轮廓、直线等。常用的匹配特征主要有点特征、线特征和区域特征。 三、算法种类： 常用的特征点提取算法有Susan算法、Harris算法、SIFT算法等。 4.2Harris角点检测算法 4.2.1角点的数学定义： ①角点是图像灰度一阶导数所对应的最大值的位置； ②角点是图像中两条或两条以上边缘的交点； ③角点是图像中灰度变化最大的位置； ④角点位置的一阶导数最大，二阶导数为零；
全景图像拼接融合
全景图像拼接融合算法研究 1 引言 随着计算机视觉、计算机图形学、多媒体通信等技术的发展，各类虚拟现实系统都力图构建具有高度真实感的虚拟场景，因此在背景图像及三维模型纹理图像方面都会选择真实图像作为素材，通过将不同角度的图像进行拼接融合获得广视角图像。因此，无缝平滑的图像拼接融合是构建逼真的模拟训练环境的重要基础。 本文对图像拼接融合算法进行了深入研究，力图构建可以满足各类虚拟现实系统需求的广视角图像。经验证，本文方法可以稳定高效得对多幅图像实现拼接融合，具有较高的实际应用价值。 2 图像拼接融合算法原理 2.1 图像拼接 为了实现相邻间有部分重叠的图像序列的拼接，需要首先确定这些图像序列之间的空间对应关系，这一步工作称之为图像配准。为了确定图像之间的对应关系，需要知道其相应的对应关系模型，一旦确定了图像之间的关系模型，则图像之间的配准问题就转化成确定该模型的参数问题。目前常用的一些关系模型有平移变换模型、刚性变换模型、仿射变换模型以及投影变换模型等。其中，刚体变换是平移变换、旋转变换与缩放变换的组合，仿射变换是较刚体变换更为一般的变换。仿射变换和刚体变换模型则又是投影变换模型的特例。投影变换关系模型可以用齐次坐标表示为： ????????????????????=??????????111~~76543210y x m m m m m m m m y x ……………………………………(1) ???? ??????=176543 210m m m m m m m m M ………………………………………… (2) 其中，投影变换矩阵M 中各参数的意义如下：0m 、1m 、3m 、4m 表示尺度和旋转量；2m 、5m 表示水平和垂直方向位移；6m 、7m 表示水平和垂直方向的变形量。图像配准的实质便是求解投影变换阵M 中的参数。目前对M 求解的典型方法有：模板匹配法、基于图像灰度的配准法、基于图像特征的方法[1]等。 2.2 图像融合 求得两幅图像的最优投影变换矩阵M 之后就确定了它们之间的变换关系。为了得到合成图像，还需要选择合适的图像融合方法来完成图像的拼接。图像融合的任务就是把配准后的两幅图像拼接成一幅无缝图像。一般分两步进行融合，第一步是图像的合并，将两幅图像拼接到同一个坐标空间内，使两幅图像成为一幅图像；第二步是拼缝的消除，去除拼接缝使两幅图像真正能融合成一幅图像。
图像拼接算法及实现(二).
图像拼接算法及实现（二） 3.3.2 特征点匹配法 比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不相同、各有特色的兴趣算子，较知名的有Moravec算子、Hannah算子与Foistner等。 本文采用Moravec算子进行特征点提取: Moravec算子的基本思想是，以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，具体算法如下: （1）计算各像素点的兴趣值IV (interest value)，例如计算像素点(c,r)的兴趣值，先在以像素点((cr)为中心的n n的影像窗口中(如图3.3.2所示的 5 5的窗口)，计算四个主要方向相邻像元灰度差的平方和。 图3.3.2 Moravec 算子特征点提取示意图 V = V = V = V = 其中k=INT(n/2)。取其中最小者为像元((c,r)的兴趣值: IV(c,r)=V=min{ V , V , V , V } (2)根据给定的阂值，选择兴趣值大于该阐值的点作为特征点的候选点。设V 为事先设定好的闭值，如果V V ，则V为特征点的候选点。 阑值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。
(3)在候选点中选取局部极大值点作为需要的特征点。在一定大小的窗口内(可不同于兴趣值计算窗口)，去掉所有不是最大兴趣值的候选点，只留下兴趣值最大者，该像素即为一个特征点。 在有了以上的特征点提取的基础上，基于特征点匹配算法主要步骤如下: (1)在参考图像T的重叠部分中选取4个区域，每个区域利用Moravec算子找出特征点。 (2)选取以特征点为中心的区域，本文大小选择7X7的区域，在搜索图S 中寻找最相似的匹配。因为有4个特征点，故有4个特征区域，找到相应的特征区域的匹配也有4块。 (3)利用这4组匹配的特征区域的中心点，也就是4对匹配的特征点，代入方程式(3-2-2)求解，所求的解即为两幅图像间的变换系数。 (3-2-2) 该算法的主要优点: (1)图像的特征信息得到了利用，能够有的放矢，不是在盲目的搜索。 (2)误匹配发生的概率小，因为利用了参考图像T包含特征点的特征区域来寻找相应匹配，因此在搜索图S中相应的特征区域容易确认。 该算法的主要缺点: (1)计算的代价高，计算量大。该算法需要计算出特征点以及特征点的匹配点，同时还要将所有4对特征点带入式3-2-2求解变换系数，计算量大。 3.4 本章小结 本章分析了现有的多种图像配准算法以及图像配准中的难点。 第四章图像融合技术 4.1 图像融合技术的基本概念 数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。
