图像拼接算法及实现(二).

图像拼接算法及实现（二）

3.3.2 特征点匹配法

比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不相同、各有特色的兴趣算子，较知名的有Moravec算子、Hannah算子与Foistner等。

本文采用Moravec算子进行特征点提取:

Moravec算子的基本思想是，以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，具体算法如下:

（1）计算各像素点的兴趣值IV (interest value)，例如计算像素点(c,r)的兴趣值，先在以像素点((cr)为中心的n n的影像窗口中(如图3.3.2所示的

5 5的窗口)，计算四个主要方向相邻像元灰度差的平方和。

图3.3.2 Moravec 算子特征点提取示意图

V =

V =

V =

V =

其中k=INT(n/2)。取其中最小者为像元((c,r)的兴趣值:

IV(c,r)=V=min{ V , V , V , V }

(2)根据给定的阂值，选择兴趣值大于该阐值的点作为特征点的候选点。设V 为事先设定好的闭值，如果V V ，则V为特征点的候选点。

阑值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。

(3)在候选点中选取局部极大值点作为需要的特征点。在一定大小的窗口内(可不同于兴趣值计算窗口)，去掉所有不是最大兴趣值的候选点，只留下兴趣值最大者，该像素即为一个特征点。

在有了以上的特征点提取的基础上，基于特征点匹配算法主要步骤如下:

(1)在参考图像T的重叠部分中选取4个区域，每个区域利用Moravec算子找出特征点。

(2)选取以特征点为中心的区域，本文大小选择7X7的区域，在搜索图S 中寻找最相似的匹配。因为有4个特征点，故有4个特征区域，找到相应的特征区域的匹配也有4块。

(3)利用这4组匹配的特征区域的中心点，也就是4对匹配的特征点，代入方程式(3-2-2)求解，所求的解即为两幅图像间的变换系数。

(3-2-2)

该算法的主要优点:

(1)图像的特征信息得到了利用，能够有的放矢，不是在盲目的搜索。

(2)误匹配发生的概率小，因为利用了参考图像T包含特征点的特征区域来寻找相应匹配，因此在搜索图S中相应的特征区域容易确认。

该算法的主要缺点:

(1)计算的代价高，计算量大。该算法需要计算出特征点以及特征点的匹配点，同时还要将所有4对特征点带入式3-2-2求解变换系数，计算量大。

3.4 本章小结

本章分析了现有的多种图像配准算法以及图像配准中的难点。

第四章图像融合技术

4.1 图像融合技术的基本概念

数字图像融合（Digital Image Fusion）是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。

数字图像融合是图像分析的一项重要技术，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然Photoshop等图像处现软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单调乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab具有强大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法上而不是编程上，从而能大大提高研究效率。

4.2 手动配准与图象融合

图像融合包含图像配准和无缝合成两个部分.由于成像时受到各种变形因素的影响，得到的各幅图像间存在着相对的几何差异。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正，把相邻两幅图像合成到同一坐标系下，并使得相同景物在不同的局部图像中对应起来，以便于图像无缝合成。本文采用Matlab中的cpselect、cp2tform函数完成几何配准。cpselect函数显示图像界面，手动在两幅图像的重叠部分选取配准控制点，Matlab自动进行亚像素分析，由cp2tform函数值正重叠部分的几何差异。Matlab中的cp2tform 函数能修正6种变形，分别是图(b)：线性相似；图(c)：仿射；图(d)：投影；图(e)：多顶式；图(o：分段线性；图(g)：局部加权平均。前4种为全局变换，后两种为局部变换，如图I所示，图(a)为修正结果；图(b)至图(g)为对应的变形。

图1-1 cp2tform函数能修正的6种几何变形

图像配准之后，由于图像重叠区域之间差异的存在，如果将图像象素简单叠加，拼按处就会出现明显的拼接缝，因此需要一种技术修正待拼接图像拼接缝附近的颜色值，使之平滑过渡，实现无缝合成。传统的融合方法多是在时间域对图像进行算术运算，没有考虑处理图像时其相应频率域的变化。从数学上讲，拼接缝的消除相当于图像颜色或灰度曲面的光滑连接，但实际上图像的拼接与曲面的光滑不同，图像颜色或灰度曲面的光滑表现为对图像的模糊化，从而导致图像模糊不清。

4.3 图像融合规则

图像的融合规则(Fusion rule)是图像融合的核心，融合规则的好坏直接影响融合图像的速度和质量。

Burt提出了基于像素选取的融合规则，在将原图像分解成不同分辨率图像的基础上，选取绝对值最大的像素值(或系数)作为融合后的像素值(或系数)。这是基于在不同分辨率图像中，具有较大值的像素(或系数)包含更多的图像信息。

Petrovic和Xydeas提出了考虑分解层内各图像(若存在多个图像)及分解层间的相关性的像素选取融合规则。蒲恬在应用小波变换进行图像融合时，根

据人类视觉系统对局部对比度敏感的特性，采用了基于对比度的像素选取融合规则。

基于像素的融合选取仅是以单个像素作为融合对象，它并未考虑图像相邻像素间的相关性，因此融合结果不是很理想。考虑图像相邻像素间的相关性，Burt和Kolczynski提出了基于区域特性选择的加权平均融合规则，将像素值(或系数)的融合选取与其所在的局部区域联系起来。

在Lietal提出的融合规则中，其在选取窗口区域中较大的像素值(或系数)作为融合后像素值(或系数)的同时，还考虑了窗口区域像素(或系数)的相关性。Chibani和Houacine在其融合规则中，通过计算输入原图像相应窗口区域中像素绝对值相比较大的个数，决定融合像素的选取。基于窗口区域的融合规则由于考虑相邻像素的相关性，因此减少了融合像素的错误选取。融合效果得到提高。

ZZhang和Blum提出了基于区域的融合规则，将图像中每个像素均看作区域或边缘的一部分，并用区域和边界等图像信息来指导融合选取。采用这种融合规则所得到的融合效果较好，但此规则相对其他融合规则要复杂。对于复杂的图像，此规则不易于实现。

4.4 图像融合方法

迄今为止，数据融合方法主要是在像元级和特征级上进行的。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、小波变换融合法、金字塔变换融合法、样条变换融合法等。下面简要介绍其中的几种方法。

（1） HIS融合法

HIS融合法在多传感器影象像元融合方面应用较广，例如：一低分辨率三波段图象与一高分辨率单波段图象进行融合处理。这种方法将三个波段的低分辨率的数据通过HIS变换转换到HIS空间，同时将单波段高分辨率图象进行对比度拉伸以使其灰度的均值与方差和HIS空间中亮度分量图象一致，然后将拉伸过的高分辨率图象作为新的亮度分量代入HIS反变换到原始空间中。这样获得的高分辨率彩色图象既具有较高空间分辨率，同时又具有与影象相同的色调和饱和度，有利于目视解译和计算机识别。

（2） KL变换融合法

KL变换融合法又称为主成分分析法。与HIS变换法类似，它将低分辨率的图象（三个波段或更多）作为输入分量进行主成分分析，而将高分辨率图象拉伸使其具有于第一主成分相同的均值和方差，然后用拉伸后的高分辨率影象代替主成分变换的第一分量进行逆变换。高空间分辨率数据与高光谱分辨率数据通过融合得到的新的数据包含了源图象的高分辨率和高光谱分辨率特征，保留了原图象的高频信息。这样，融合图象上目标细部特征更加清晰，光谱信息更加丰富。

（3）高通滤波融合法

高通滤波融合法将高分辨率图象中的边缘信息提取出来，加入到低分辨率高光谱图象中。首先，通过高通滤波器提取高分辨率图象中的高频分量，然后将高通滤波结果加入到高光谱分辨率的图象中，形成高频特征信息突出的融合影象。

（4）小波变换融合法

利用离散的小波变换，将N幅待融合的图象的每一幅分解成M幅子图象，然后在每一级上对来自N幅待融合图象的M幅子图象进行融合，得到该级的融合图象。在得到所有M级的融合图象后，实施逆变换得到融合结果。

4.5 图像融合步骤

目前国内外己有大量图像融合技术的研究报道，不论应用何种技术方法，必须遵守的基本原则是两张或多张图像上对应的每一点都应对位准确。由于研究对象、目的不同，图像融合方法亦可多种多样，其主要步骤归纳如下:

(1) 预处理:对获取的两种图像数据进行去噪、增强等处理，统一数据格式、图像大小和分辨率。对序列断层图像作三维重建和显示，根据目标特点建立数学模型;

SHAPE “* MERGEFORMAT

图3-1 图像融合步骤示意图

(2) 分割目标和选择配准特征点:在二维或三维情况下，对目标物或兴趣区进行分割。选取的特点应是同一物理标记在两个图像上的对应点，该物理标记可以是人工标记，也可以是人体解剖特征点;

(3 )利用特征点进行图像配准:可视作两个数据集间的线性或非线性变换，使变换后的两个数据集的误差达到某种准则的最小值;

(4) 融合图像创建:配准后的两种模式的图像在同一坐标系下将各自的有用信息融合表达成二维或三维图像;

(5) 参数提取:从融合图像中提取和测量特征参数，定性、定量分析

4.6 本章小结

本章主要介绍了图像融合的概念，方法以及步骤。

第五章图像拼接matlab实现

5.1 Matlab简介

MATLAB 的名称源自 Matrix Laboratory ，它是一种科学计算软件，专门以矩阵的形式处理数据。 MATLAB 将高性能的数值计算和可视化集成在一起，并提供了大量的内置函数，从而被广泛地应用于科学计算、控制系统、信息处理等领域的分析、仿真和设计工作，而且利用 MATLAB 产品的开放式结构，可以非常容易地对 MATLAB 的功能进行扩充，从而在不断深化对问题认识的同时，不断完善 MATLAB 产品以提高产品自身的竞争能力。

Matlab语言有如下特点：

1．编程效率高

它是一种面向科学与工程计算的高级语言，允许用数学形式的语言编写程序，且比Basic、Fortran和C等语言更加接近我们书写计算公式的思维方式，用Matlab编写程序犹如在演算纸上排列出公式与求解问题。Matlab编写简单，所以编程效率高，易学易懂。

2．用户使用方便

Matlab语言是一种解释执行的语言（在没被专门的工具编译之前），它灵活、方便，其调试程序手段丰富，调试速度快，需要学习时间少。人们用任何一种语言编写程序和调试程序一般都要经过四个步骤：编辑、编译、连接以及执行和调试。各个步骤之间是顺序关系，编程的过程就是在它们之间作瀑布型的循环。

3．扩充能力强

高版本的Matlab语言有丰富的库函数，在进行复杂的数学运算时可以直接调用，而且Matlab的库函数同用户文件在形成上一样，所以用户文件也可作为Matlab的库函数来调用。

4．语句简单，内涵丰富

Mat1ab语言中最基本最重要的成分是函数，其一般形式为[a，6，c……] = fun（d，e，f，……），即一个函数由函数名，输入变量d，e，f,……和输出变量a，b，c……组成，同一函数名F，不同数目的输入变量（包括无输入变量）及不同数目的输出变量，代表着不同的含义（有点像面向对象中的多态性。。

5．高效方便的矩阵和数组运算

Matlab语言象Basic、Fortran和C语言一样规定了矩阵的算术运算符、关系运算符、逻辑运算符、条件运算符及赋值运算符，而且这些运算符大部分可以毫无改变地照搬到数组间的运算，有些如算术运算符只要增加“·”就可用于数组间的运算，另外，它不需定义数组的维数，并给出矩阵函数、特殊矩阵专门的库函数，使之在求解诸如信号处理、建模、系统识别、控制、优化等领域的问题时，显得大为简捷、高效、方便，这是其它高级语言所不能比拟的。

6．方便的绘图功能

Matlab的绘图是十分方便的，它有一系列绘图函数（命令），例如线性坐标、对数坐标，半对数坐标及极坐标，均只需调用不同的绘图函数（命令），在图上标出图题、XY轴标注，格（栅）绘制也只需调用相应的命令，简单易行。另外，在调用绘图函数时调整自变量可绘出不变颜色的点、线、复线或多重线。这种为科学研究着想的设计是通用的编程语言所不及的。

总之，Matlab语言的设计思想可以说代表了当前计算机高级语言的发展方向。我们相信，在不断使用中，读者会发现它的巨大潜力。因此本文采用matlab来实现本文的算法。

5.2 各算法程序

5.2.1 一般方法

图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程，从而可以有效地把不同图像传感器的优点结合起来，提高对图像信息分析和提取的能力。简单的图像融合方法不对参加融合的源图像进行任何变换和分解，而是直接对源图像中的各对应像素分别进行选择、平均或加权平均、多元回归或其它数学运算等处理后，最终合成一幅融合图像。

对于图像融合的对象，可以分为两大类，即多光谱图像(通常为RGB彩色图像)与灰度图像之间的融合，以及灰度图像之间的融合。灰度图像之间的融合，在大体上可分为三大类。一类是简单融合方法，包括将空间对准的两幅图像直接求加权平均值。另一类方法是基于金字塔形分解和重建算法的融合方法，主要包括梯度金字塔法、对比度和比率金字塔法以及拉普拉斯金字塔法等，它们首先构造输入图像的金字塔，再按一定的特征选择方法取值形成融合金字塔，通过对金字塔实施逆变换进行图像重建，最终生成融合图像，它们的融合效果要远优于第一类方法，然而它也有很多不尽如人意的地方。还有一类方法就是近几年兴起的基于小波变换的图像融合方法，它通常采用多分辨分析和Mallat 快速算法，通过在各层的特征域上进行有针对性的融合，比较容易提取原始图像的结构信息和细节信息，所以融合效果要好于基于金字塔形变换的图像融合法。这是因为小波变换更为紧凑;小波表达式提供了方向信息，而金字塔表达式未将空间方向选择性引入分解过程;由于可以选择正交小波核，因此不同分辨率包含的信息是唯一的，而金字塔分解在两个不同的尺度之间含有冗余，另外金字塔不同级的数据相关，很难知道两级之间的相似性是由于冗余还是图像本身的性质引起的;金字塔的重构过程可能具有不稳定性，特别是两幅图像存在明显差异区域时，融合图像会出现斑块，而小波变换图像融合则没有类似的问题。此外，小波变换具function Y = fuse_pca(M1， M2)

%Y = fuse_pca(M1， M2) image fusion with PCA method

%

% M1 - input image #1

% M2 - input image #2

%

% Y - fused image

% (Oliver Rockinger 16.08.99)

% check inputs

[z1 s1] = size(M1);

[z2 s2] = size(M2);

if (z1 ~= z2) | (s1 ~= s2)

error(‘Input images are not of same size‘);

end;

% compute， select & normalize eigenvalues

[V， D] = eig(cov([M1(:) M2(:)]));

if (D(1，1) D(2，2))

a = V(:，1)./sum(V(:，1));

else

a = V(:，2)./sum(V(:，2));

end;

% and fuse

Y = a(1)*M1+a(2)*M2;

5.2.3 金字塔（Pyramid）算法程序

金字塔图像融合法:用金字塔在空间上表示图像是一种简单方便的方法。概括地说金字塔图像融合法就是将参加融合的每幅源图像作金字塔表示，将所有

图像的金字塔表示在各相应层上以一定的融合规则融合，可得到合成的金字塔。将合成的金字塔，用金字塔生成的逆过程重构图像，则可得到融合图像。金字塔可分为:Laplacian金字塔、Gaussian金字塔、梯度金字塔、数学形态金字塔等。

基于FSD Pyramid的图像融合算法程序

function Y = fuse_fsd(M1， M2， zt， ap， mp)

%Y = fuse_fsd(M1， M2， zt， ap， mp) image fusion with fsd pyramid

%

% M1 - input image A

% M2 - input image B

% zt - maximum decomposition level

% ap - coefficient selection highpass (see selc.m)

% mp - coefficient selection base image (see selb.m)

%

% Y - fused image

% (Oliver Rockinger 16.08.99)

% check inputs

[z1 s1] = size(M1);

[z2 s2] = size(M2);

if (z1 ~= z2) | (s1 ~= s2)

error(‘Input images are not of same size‘);

end;

% define filter

w = [1 4 6 4 1] / 16;

% cells for selected images

E = cell(1，zt);

% loop over decomposition depth - analysis

for i1 = 1:zt

% calculate and store actual image size

[z s] = size(M1);

zl(i1) = z; sl(i1) = s;

% check if image expansion necessary

if (floor(z/2) ~= z/2)， ew(1) = 1; else， ew(1) = 0; end;

if (floor(s/2) ~= s/2)， ew(2) = 1; else， ew(2) = 0; end; % perform expansion if necessary

if (any(ew))

M1 = adb(M1，ew);

M2 = adb(M2，ew);

end;

% perform filtering

G1 = conv2(conv2(es2(M1，2)， w，‘valid‘)，w‘，‘valid‘); G2 = conv2(conv2(es2(M2，2)， w，‘valid‘)，w‘，‘valid‘);

% select coefficients and store them

E(i1) = {selc(M1-G1， M2-G2， ap)};

% decimate

M1 = dec2(G1);

M2 = dec2(G2);

end;

% select base coefficients of last decompostion stage

M1 = selb(M1，M2，mp);

% loop over decomposition depth - synthesis

for i1 = zt:-1:1

% undecimate and interpolate

M1T = conv2(conv2(es2(undec2(M1)， 2)， 2*w，‘valid‘)，2*w‘，‘valid‘);

% add coefficients

M1 = M1T + E{i1};

% select valid image region

M1 = M1(1:zl(i1)，1:sl(i1));

end;

% copy image

Y = M1;

5.2 .4 小波变换（DWT）算法程序

在众多的图像融合技术中，基于小波变换的图像融合方法已成为现今研究的一个热点。这类算法主要是利用人眼对局部对比度的变化比较敏感这一事实，根据一定的融合规则，在多幅原图像中选择出最显着的特征，例如边缘、

线段等，并将这些特征保留在最终的合成图像中。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显着的特征，所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数，也就是三个方向上的高频系数，从而达到保留图像边缘的目的。虽然小波系数(高频系数)的选择对于保留图像的边缘等特征具有非常主要的作用，但尺度系数(低频系数)决定了图像的轮廓，正确地选择尺度系数对提高合成图像的视觉效果具有举足轻重的作用。

基于SIDWT（Shift Invariance Discrete Wavelet Transform）小波变换的算法程序

function Y = fuse_sih(M1， M2， zt， ap， mp)

%Y = fuse_sih(M1， M2， zt， ap， mp) image fusion with SIDWT，Wavelet is Haar

%

% M1 - input image A

% M2 - input image B

% zt - maximum decomposition level

% ap - coefficient selection highpass (see selc.m)

% mp - coefficient selection base image (see selb.m)

%

% Y - fused image

% (Oliver Rockinger 16.08.99)

% check inputs

[z1 s1] = size(M1);

[z2 s2] = size(M2);

if (z1 ~= z2) | (s1 ~= s2)

error(‘Input images are not of same size‘);

end;

% cells for selected images

E = cell(3，zt);

% loop over decomposition depth -> analysis

for i1 = 1:zt

% calculate and store actual image size

[z s] = size(M1);

zl(i1) = z; sl(i1) = s;

% define actual filters (inserting zeros between coefficients)

h1 = [zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，floor(2^(i1-1)-1))， 0.5， zeros(1，max([floor(2^(i1-2))，1]))];

g1 = [zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，floor(2^(i1-1)-1))， -0.5， zeros(1，max([floor(2^(i1-2))，1]))];

fh = floor(length(h1)/2);

% image A

Z1 = conv2(es(M1， fh， 1)， g1，‘valid‘);

A1 = conv2(es(Z1， fh， 2)，g1‘，‘valid‘);

A2 = conv2(es(Z1， fh， 2)，h1‘，‘valid‘);

Z1 = conv2(es(M1， fh， 1)， h1，‘valid‘);

A3 = conv2(es(Z1， fh， 2)，g1‘，‘valid‘);

A4 = conv2(es(Z1， fh， 2)，h1‘，‘valid‘);

% image B

Z1 = conv2(es(M2， fh， 1)， g1，‘valid‘);

B1 = conv2(es(Z1， fh， 2)，g1‘，‘valid‘);

B2 = conv2(es(Z1， fh， 2)，h1‘，‘valid‘);

Z1 = conv2(es(M2， fh， 1)， h1，‘valid‘);

B3 = conv2(es(Z1， fh， 2)，g1‘，‘valid‘);

B4 = conv2(es(Z1， fh， 2)，h1‘，‘valid‘);

% select coefficients and store them

E(1，i1) = {selc(A1， B1， ap)};

E(2，i1) = {selc(A2， B2， ap)};

E(3，i1) = {selc(A3， B3， ap)};

% copy input image for next decomposition stage

M1 = A4;

M2 = B4;

end;

% select base coefficients of last decompostion stage

A4 = selb(A4，B4，mp);

% loop over decomposition depth -> synthesis

for i1 = zt:-1:1

% define actual filters (inserting zeros between coefficients)

h2 = fliplr([zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，

floor(2^(i1-1)-1))， 0.5， zeros(1，max([floor(2^(i1-2))，1]))]);

g2 = fliplr([zeros(1，floor(2^(i1-2)))， 0.5， zeros(1，

floor(2^(i1-1)-1))， -0.5， zeros(1，max([floor(2^(i1-2))，1]))]); fh = floor(length(h2)/2);

% filter (rows)

A4 = conv2(es(A4， fh， 2)，h2‘，‘valid‘);

A3 = conv2(es(E{3，i1}， fh， 2)， g2‘，‘valid‘);

A2 = conv2(es(E{2，i1}， fh， 2)，h2‘，‘valid‘);

A1 = conv2(es(E{1，i1}， fh， 2)，g2‘，‘valid‘);

% filter (columns)

A4 = conv2(es(A4+A3， fh， 1)， h2，‘valid‘);

A2 = conv2(es(A2+A1， fh， 1)， g2，‘valid‘);

% add images

A4 = A4 + A2;

end;

% copy image

Y = A4;

5．3实验结果

下面将本文的算法用于多聚焦图像的融合。多聚焦图像指的是对相同的场景用不同的焦距进行拍摄，得到镜头

全景拼接算法简介

全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机

最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。

matlab的图像拼接程序(20210119152549)

mat lab的图像拼接程 序 -CAL-FENGHAI-(2020YEAR-YICAI) JINGBIAN ll=imread{,,)；%6dTAEuODpAp￥dy2All%6D j u j A ll=double(ll); [hl wl dl]=size(ll);%TEOEdl±al2lldU±a>>0dl I2= imread(n)；

I2=double(l2); [h2 w2 d2]=size(l2); %show input images and prompt for correspondences figure;subplot( 1,2,1)； image(ll/255); axis image; hold on; title(*first input image')； [XI Yl]=ginput(2); %get two points from the usersubplot(l z2,2); image(l2/255); axis image; hold on; title('sec ond input image*)； [X2 Y2]=ginput(2); %get two points from the user %estimate parameter vector(t); Z=[X2' Y2'； Y2'?X2'； HOOjOOll]1； xp=[Xl; Yl]; t=Z\xp; %solve the I in ear system a=t(l); %=s cos(alpha) b=t(2);%=s sin(alpha) tx=t(3); ty=t(4); % con struct transformation matrix(T) T=[a b tx;?b a ty; 0 0 1]; % warp incoming corners to determine the size of the output image(in to out) cp二T*[l 1 w2 w2; 1 h2 1 h2; 1 111]; Xpr=min([cp(l/:)/O]): max([cp(l/:)/wl]);%min x:maxx Ypr=min([cp(2/:)/0]): max([cp(2/:)/hl]); %min y: max y [Xp/Yp]=ndgrid(Xpr/ Ypr); [wp hp]=size(Xp); %=size(Yp) % do backwards transform (from out to in) X=T\[Xp(:) Yp(:) ones(wp*hp/l)]'；%warp %re-sample pixel values with bilinear interpolation clear Ip; xl二reshape(X(b：)Mp,hp)‘; yl=reshape(X(2/:)/wp/hp)1; lp(:/:/l)=interp2(l2(:/:/l)/xl/ yl, '?bilinear*); %red Ip(:/:/2)=interp2(l2(:/:/2)/xl/ yl, '?bilinear1)；%green lp(:z:/3)=interp2(l2(:/:/3)/xl/ yl, ^bilinear1)；%blue % offset and copy original image into the warped image offset= -rounddmindcpfl/)^]) min([cp(2,:),0])]); lp(l+offset ⑵:hl+offset(2), 1+off set {1): wl+offset (1 )z:); doublefllflihl.liwl,:)); %show the result figure; image(lp/255); axis image; title('mosaic image')； ll=double(imread(n)); [hl wl dl]=size(ll);%TEOEdl±aPll6lJ±agl I2=double(imread(n)); [h2 w2 d2]=size(l2); %show input images and prompt for correspondences figure; subplot(l,2z l); image(ll/255); axis image; hold on; title('first input image'); [XI Yl]=ginput(2); %get two points from the user subplot(122); image(l2/255); axis image; hold on; title('sec ond input image1)； [X2 Y2]=ginput(2); %get two points from the user %estimate parameter vector(t); Z=[X2' Y2'； Y2'-X2' ；1100;0011]'； xp=[Xl; Yl]; t=Z\xp; %solve the linear system %% a=t(l); %=s cos(alpha) b=t(2); %=s sin(alpha)

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待

基于matlab的图像识别与匹配

基于matlab的图像识别与匹配 摘要 图像的识别与匹配是立体视觉的一个重要分支，该项技术被广泛应用在航空测绘，星球探测机器人导航以及三维重建等领域。 本文意在熟练运用图像的识别与匹配的方法，为此本文使用一个包装袋并对上面的数字进行识别与匹配。首先在包装袋上提取出来要用的数字，然后提取出该数字与包装袋上的特征点，用SIFT方法对两幅图进行识别与匹配，最终得到对应匹配数字的匹配点。仿真结果表明，该方法能够把给定数字与包装袋上的相同数字进行识别与匹配，得到了良好的实验结果，基本完成了识别与匹配的任务。

1 研究内容 图像识别中的模式识别是一种从大量信息和数据出发，利用计算机和数学推理的方法对形状、模式、曲线、数字、字符格式和图形自动完成识别、评价的过程。 图形辨别是图像识别技术的一个重要分支，图形辨别指通过对图形的图像采用特定算法，从而辨别图形或者数字，通过特征点检测，精确定位特征点，通过将模板与图形或数字匹配，根据匹配结果进行辨别。 2 研究意义 数字图像处理在各个领域都有着非常重要的应用，随着数字时代的到来，视频领域的数字化也必将到来，视频图像处理技术也将会发生日新月异的变化。在多媒体技术的各个领域中，视频处理技术占有非常重要的地位，被广泛的使用于农业，智能交通，汽车电子，网络多媒体通信，实时监控系统等诸多方面。因此，现今对技术领域的研究已日趋活跃和繁荣。而图像识别也同样有着更重要的作用。 3 设计原理 3.1 算法选择 Harris 角点检测器对于图像尺度变化非常敏感，这在很大程度上限制了它的应用范围。对于仅存在平移、旋转以及很小尺度变换的图像，基于Harris 特征点的方法都可以得到准确的配准结果，但是对于存在大尺度变换的图像，这一类方法将无法保证正确的配准和拼接。后来，研究人员相继提出了具有尺度不变性的特征点检测方法，具有仿射不变性的特征点检测方法，局部不变性的特征检测方法等大量的基于不变量技术的特征检测方法。 David.Lowe 于2004年在上述算法的基础上，总结了现有的基于不变量技术的特征检测方法，正式提出了一种基于尺度空间的，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征，以及基于该特征的描述符。并将这种方法命名为尺度不变特征变换（Scale Invariant Feature Transform），以下简称SIFT 算法。SIFT 算法首先在尺度空间进行特征检测，并确定特征点的位置和特征点所处的尺度，然后使用特征点邻域梯度的主方向作为该特征点的方向特征，以实现算子对尺度和方向的无关性。利用SIFT 算法从图像中提取出的特征可用于同一个物体或场景的可靠匹配，对图像尺度和旋转具有不变性，对光照变化、

360°全景拼接技术简介

本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容

利用MATLAB进行图像截取_拼接(灰色_彩色)

%灰色图像拼接 clc; clear; A=imread('C:\Documents and Settings\s35\桌面\新建文件夹\v1.jpg'); figure,imshow(A) A1=im2bw(A); A2=double(A1); se=strel('disk',20); A4=imdilate(A2,se); figure,imshow(A4) A5=double(A4); A6=not(A5); A7=double(A6); B=imread('C:\Documents and Settings\All Users\Documents\My Pictures\示例图片\Water lilies.jpg'); C=imread('C:\Documents and Settings\All Users\Documents\My Pictures\示例图片\Winter.jpg'); [m,n]=size(A4); B2=rgb2gray(B); B3=imresize(B2,[m,n]); B4=double(B3); C2=rgb2gray(C); C3=imresize(C2,[m,n]); C4=double(C3); D=A5.*B4; E=A7.*C4; F=uint8(D+E); figure,imshow(F) %彩色图像拼接 clc; clear; A=imread('C:\Documents and Settings\s35\桌面\新建文件夹\v1.jpg'); figure,imshow(A) A1=im2bw(A); A2=double(A1); se=strel('disk',20); A4=imdilate(A2,se); figure,imshow(A4)

图像拼接算法及实现(一).

图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this

图像拼接原理及方法

第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对

图像拼接算法及实现.doc

图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论

基于MATLAB的图像拼接技术

基于MATLAB的图像拼接技术 基于MATLAB的图像拼接技术实验报告 学院:数信学院 专业班级: 12级信息工程1班 姓名学号: 一、实验名称:基于MATLAB的图像拼接技术 二、实验目的:利用图像拼接技术得到超宽视角的图像，用来虚拟实际场景。 三、实验原理: 基于相位相关的图像拼接技术是一种基于频域的方法，通过求得图像在频 域上是相位相关特点来找到特征位置，从而进行图像拼接。其基本原理是 基于傅氏功率谱的相关技术。该方法仅利用互功率谱中的相位信息进行图 像配准，对图像间的亮度变化不敏感，而且所获得的相关峰尖突出，具有 一定的鲁棒性和较高的配准精度。 基于相位相关法进行图像拼接的基本原理如下:假设f(x，y)表示尺寸为MN的图像，该函数的二维离散傅里叶变换(DFT)为: ， MN,,111,,，juxMvyN2(//) Fuvfxye,(,)(,),,MN，xy,,00 其中，F(u，v)是复变函数;u、v是频率变量，u=0，1，…，M-1，v=0，1，…，N-1;x、y是空间或图像变量。 二维离散傅里叶逆变换(IDFT)为: N,1M,1,，juxMvyN2(//),fuve(,) Fxy(,),,,y,0x,0 ，…，M-1;y=0，1，…，N-1。其中，x=0，1 设两幅图像、的重叠位置为(，)，则图像、的互功率谱为:IIxyII112002 *II(,)(,),,,,，,，jxy,,,2()1200 ,eII(,)(,)，,,,,12

其中，*为共轭符号，对上式两边进行傅里叶逆变换将在(x，y)处产生一00个函数。因此，只要检测上式傅里叶逆变换结果最大值的位置，就可以获得两xy幅图像间的评议量(，。具体算法步骤如下: 00 II?读入两幅图片、(函数输入)，并转换为灰度图像; 12 II?分别对、做二维傅里叶变换，即: 12 fftIfftI A=() B=() 1222 C则通过A、B的简单的矩阵运算得到另一矩阵，即: 3 C =B*.conj(A)/norm(B*.conj(A)，1) 3 矩阵的二维傅里叶逆变换C在(，)处取得最大，可通过遍历比较C(i，Cxy300 j)大小即可找到该位置，并作为函数返回值。 四实验程序 tic x=[1 2;0 1]; a=imread('7.jpg'); %读取图片 b=imread('8.jpg'); figure imshow(a); figure imshow(b); imwrite(b,'160.jpg'); IMG={a,b}; %将图片存为元胞结构 num=size(IMG,2); %计算图片个数 move_ht=0; %累计平移量初值 move_wd=0; for count=1:num-1 input1=IMG{count}; %读取图象 input11=imresize(rgb2gray(input1),[300,200]);

高清图像全景拼接

高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998

全景拼接白皮书

目录

1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。

图像拼接方法总结

图像拼接方法总结 图像拼接方法总结 (1) 引言 (1) 1 基于网格的拼接 (3) 2基于块匹配的拼接（也叫模板匹配） (4) 3基于比值法拼接 (6) 4 基于FFT的相位相关拼接 (7) 基于特征的图像配准方法 (9) 5 Harris角点检测算法 (10) 6基于SIFT尺度不变特征的图像拼接 (15) SIFT主要思想及特点 (16) SIFT算法详细过程 (16) SIFT匹配算法实现 (20) 7 基于surf 的图像配准 (22) SURF算法介绍 (22) 算法详细过程 (23) 8 基于最大互信息的图像配准 (24) 9 基于小波的图像拼接 (27) 10 基于轮廓特征的图像拼接技术 (27) 引言 首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合， 图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。图像 预处理包括：图像投影、图像去噪、图像修正等。 图像配准采用的算法主要有两类： 一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。 另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法， 第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这

图像拼接根据harris检测matlab代码

自定义函数都在下面 clc clear all % 读入图片 pic1=imread('lena1.jpg'); pic2=imread('lena2.jpg'); % Harris角点检测 points1=myHarris(pic1); points2=myHarris(pic2); % 画出Harris角点 figure(1) drawHarrisCorner(pic1,points1,pic2,points2); % 角点特征描述 des1=myHarrisCornerDescription(pic1,points1); des2=myHarrisCornerDescription(pic2,points2); % 角点粗匹配 matchs=myMatch(des1,des2); % 获取各自出匹配角点位置 matchedPoints1=points1(matchs(:,1),:); matchedPoints2=points2(matchs(:,2),:); % 粗匹配角点连线 figure(2)

drawLinedCorner(pic1,matchedPoints1,pic2,matchedPoints2); % 角点精匹配 [newLoc1,newLoc2]=pointsSelect(matchedPoints1,matchedPoints2); % 精匹配角点连线 figure(3) drawLinedCorner(pic1,newLoc1,pic2,newLoc2); % 图像拼接 im=picMatched(pic1,newLoc1,pic2,newLoc2); % 显示拼接图像 figure(4) imshow(im); set(gcf,'Color','w'); function points=myHarris(pic) % 功能：寻找Harris角点 % 输入：RGB图像或gray图 % 输出：角点所在的行、纵的N×2矩阵 if length(size(pic))==3 pic=rgb2gray(pic); end pic=double(pic); hx=[-1 0 1]; Ix=filter2(hx,pic);

图像拼接原理及方法

图像拼接原理及方法 This model paper was revised by the Standardization Office on December 10, 2020

第一章绪论 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像