视频图像拼接技术研究.
南京理工大学
硕士学位论文
视频图像拼接技术研究
姓名：林学晶
申请学位级别：硕士
专业：控制理论与控制工程
指导教师：茅耀斌
20100620
硕士论文视频图像拼接技术研究
摘要
视频图像拼接技术是视频应用领域研究的一个热门课题，可广泛应用于全景图生成、双目机器人应用等多个方面。本文主要针对三类视频图像序列拼接应用进行了研究：
针对仅存在平移变换关系的视频图像序列，本文研究了一种基于频域的相位相关方法。论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程，然后通过实验证明该方法适用于帧与帧问有较大重叠区域的视频序列，并且允许视频中存在少量小的运动物体。在此基础上设计实现了适用于小平移视频序列的实时拼接软件。
针对在不同的视角位置同时采集得到的双实时视频图像序列，本文研究了两种基于点特征的拼接技术。论文首先介绍了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子的原理，然后阐述了基于点特征的双摄像头拼接技术的各个环节，包括特征点匹配、ＲＡＮＳＡＣ去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。本
文比较了几种图像的融合方法，采用了一种自动调节亮度值和加权融合方法，消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。由于Ｈａｒｒｉｓ角点易受噪声影响，本文提出了一种投票机制的改进方法，增强了Ｈａｒｒｉｓ角点定位的准确性。本文最后搭建了基于ＤｉｒｅｃｔＳｈｏｗ的双摄像头采集平台、设计实现了基于Ｈａｒｒｉｓ角点和ＳＩＦＴ算子两种点特征的双摄像头实时视频拼接程序，前者适用于摄像机采集的视频图像存在平移、旋转的情况，后者适用于存在平移、旋转和尺度缩放的情况。
本文最后针对低分辨率图像序列，研究了基于ＳＩＦＴ算子的拼接问题，并将之应用于手机连续抓拍文本序列图像的拼接。关键词：相位相关方法，Ｈａｒｒｉｓ角点，ＲＡＮＳＡＣ，透视变换矩阵，加权融合
Ａｂｓｔｒａｃｔ硕士论文
Ａｂｓｔｒａｃｔ
Ｖｉｄｅｏｍｏｓａｉｃｉｓａｐｏｐｕｌａｒｔｏｐｉｃｏｎｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙｔｈａｔｓｈｏｗｓｓｉｇｎｉｆｉｃａｎｔｉｍｐｏｒｔａｎｔ
ａｐｐｌｉｃａｔｉｏｎｆｏｒｐａｎｏｒａｍｉｃｉｍａｇｅｓ，ｂｉｎｏｃｕｌａｒｒｏｂｏｔａｎｄ
ＳＯｏｎ．Ｄｉｆｆｅｒｅｎｔｔｅｃｈｎｉｑｕｅｓｏｆｖｉｄｅｏｍｏｓａｉｃ
ａｒｅｕｓｅｄｉｎｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｒｅｅｔｙｐｅｓｏｆｃａｓｅａｒｅｓｔｕｄｉｅｄ：
Ｔｈｅｍｅｔｈｏｄｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｂａｓｅｄｏｎｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｉｓｓｔｕｄｉｅｄｆｏｒａｖｉｄｅｏ
ｓｅｑｕｅｎｃｅｏｆｔｒａｎｓｌａｔｉｏｎ．Ｆｉｒｓｔ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆｐｈａｓｅ
ｃｏｒｒｅｌａｔｉｏｎａｎｄｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｃｅｓｓｏｆｖｉｄｅｏｍｏｓａｉｃｂａｓｅｄｏｎｔｈｉｓｍｅｔｈｏｄ
ａｒｅｉｎｔｒｏｄｕｃｅｄ．Ｔｈｅｎ，ｗｉｔｈａｃｏｍｐａｒｉｓｏｎｏｆｅｘｐｅｒｉｍｅｎｔｓ，ｔｈｉｓｍｅｔｈｏｄｉｓｓｕｉｔａｂｌｅｆｏｒａｌａｒｇｅｏｖｅｒｌａｐｏｆｖｉｄｅｏｓｅｑｕｅｎｃｅｓｂｅｔｗｅｅｎｆｒａｍｅｓ
ｗｉｔｈｃｅｒｔａｉｎｓｍａｌｌｍｏｖｉｎｇｏｂｊｅｃｔｓ．Ａｐｒｏｇｒａｍｏｆｒｅａｌ—ｔｉｍｅｓｔｉｔｃｈｉｎｇｆｏｒｖｉｄｅｏｓｅｑｕｅｎｃｅｗｉｔｈ
ａｓｍａｌｌｔｒａｎｓｌａｔｉｏｎｉｓｄｅｓｉｇｎｅｄ．
Ｔｗｏｋｉｎｄｓｏｆｍｏｓａｉｃｔｅｃｈｎｏｌｏｇｙｂａｓｅｄｏｎｐｏｉｎｔｆｅａｔｕｒｅａｒｅｓｔｕｄｉｅｄｆｏｒｔｗｏｒｅａｌ—ｔｉｍｅｖｉｄｅｏｓｓｙｎｃｈｒｏｎｏｕｓｌｙｃａｐｔｕｒｅｄｆｒｏｍｄｉｆｆｅｒｅｎｔｖｉｅｗｐｏｉｎｔｓ．Ｆｉｒｓｔ，ｔｈｅｐｒｉｎｃｉｐｌｅｏｆＨａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒａｎｄＳＩＦＴｏｐｅｒａｔｏｒａｒｅｉｎｔｒｏｄｕｃｅｄ，Ｔｈｅｎ，ａｂｉｎｏｃｕｌａｒｖｉｄｅｏｍｏｓａｉｃｔｅｃｈｎｏｌｏｇｙｔｈａｔｅｍｐｌｏｙｓｐｏｉｎｔｆｅａｔｕｒｅｓｉｓｐｒｅｓｅｎｔｅｄ．Ｔｈｅｔｅｃｈｎｏｌｏｇｙｃｏｎｓｉｓｔｓｏｆｓｅｖｅｒａｌｓｔｅｐｓｓｕｃｈ
ａｓｔｈｅｍａｔｃｈｉｎｇｏｆｐｏｉｎｔｐａｉｒｓ，ｔｈｅｒｅｍｏｖａｌｏｆｆａｌｓｅｍａｔｃｈｅｓｂｙ
ｕｓｅｏｆＲＡＮＳＡＣ，ｔｈｅｃａｌｃｕｌａｔｉｏｎｏｆｔｈｅｍｏｄｅｌｐａｒａｍｅｔｅｒｓｉｎａｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａ
ｔｉｏｎｍａｔｒｉｘ，ｉｎｔｅｒｐｏｌａｔｉｏｎ，ａｎｄｐｉｘｅｌｆｕｓｉｏｎ．Ｃｏｎｃｅｒｎｉｎｇｐｉｘｅｌｆｕｓｉｏｎｆｏｒｓｔｉｔｃｈｉｎｇｉｍａｇｅｓ，ａｍｅｔｈｏｄｏｆａｕｔｏｍａｔｉｃｂｒｉｇｈｔｎｅｓｓａｄｊｕｓｔｍｅｎｔａｎｄｗｅｉｇｈｔｅｄｆｕｓｉｏｎｉｓａｄｏｐｔｅｄｆｏｒｅｌｉｍｉｎａｔｉｎｇｓｔｉｔｃｈｉｎｇｓｅａｍｓａｎｄｕｎｎａｔｕｒａｌｃｏｌｏｒｔｒａｎｓｉｔｉｏｎｔｈｒｏｕｇｈｅｘｐｅｒｉｍｅｎｔａｌｃｏｍｐａｒｉｓｏｎ．ＤｕｅｔｏｔｈｅｎｏｉｓｅｓｅｎｓｉｔｉｖｉｔｙｏｆｔｈｅＨａｍｓｃｏｍｅｒｄｅｔｅｃｔｏｒ，ｉｎｔｈｉｓｐａｐｅｒ，ａｎｉｍｐｒｏｖｅｄｍｅｔｈｏｄｕｓｉｎｇｖｏｔｉｎｇｍｅｃｈａｎｉｓｍｉｓｐｕｔｆｏｒｔｈｆｏｒｅｎｈａｎｃｉｎｇｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅａｌｉｇｎｍｅｎｔｏｆｔｈｅｃｏｍｅｒｓ．Ｆｉｎａｌｌｙ，ｒｅａｌ—ｔｉｍｅｖｉｄｅｏｍｏｓａｉｃｐｒｏｇｒａｍｓｆｏｒｄｕａｌｃａｍｅｒａｓｒｅｓｐｅｃｔｉｖｅｌｙｂａｓｅｄｏｎＨａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒａｎｄＳＩＦＴｏｐｅｒａｔｏｒｉｓｉｍｐｌｅｍｅｎｔｅｄ，ｉｎｗｈｉｃｈｔｈｅｆｏｒｍｅｒｉｓｔｏｌｅｒａｎｔｔｏｉｍａｇｅｔｒａｎｓｌａｔｉｏｎ
ａｎｄｒｏｔａｔｉｏｎ，ｗｈｉｌｅｔｈｅｌａｔｅｒｃａｎｒｅｓｉｓｔｔｒａｎｓｌａｔｅ，ｒｏｔａｔｅａｎｄｓｃａｌｅｃｈａｎｇｅｓ．
Ａｔｌａｓｔ，ｉｎｔｈｉｓｐａｐｅｒ，ｍｏｓａｉｃｏｆａｓｅｑｕｅｎｃｅｏｆｉｍａｇｅｓｂａｓｅｄ
ｏｎＳＩＦＴａｒｅｓｔｕｄｉｅｄ．Ｉｔｉｓａｌｓｏａｐｐｌｉｅｄｔｏｔｈｅｍｏｓａｉｃｏｆａｓｅｑｕｅｎｃｅｏｆｔｅｘｔｉｍａｇｅｓｗｈｉｃｈａｒｅｃａｐｔｕｒｅｄｂｙｃｅｌｌ—ｐｈｏｎｅ．
Ｋｅｙｗｏｒｄｓ：Ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｍｅｔｈｏｄ，Ｈａｒｒｉｓｃｏｍｅｒｄｅｔｅｃｔｏｒ，ＲＡＮＳＡＣ，Ｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘ，Ｗｅｉｇｈｔｅｄｆｕｓｉｏｎ
声明
本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。
研究生签名：窭基垦盆矽归年‘月Ⅱ日
学位论文使用授权声明
南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文，按保密的有关规定和程序处理。
研究生签名：■触刎年，月加
硕上论文视频图像拼接技术研究１绪论
１．１图像拼接技术研究目的和应用前景
图像拼接（ｉｍａｇｅｓｔｉｔｃｈｉｎｇ）是将两幅或多幅有重叠区域的图像序列通过一定的方法拼接成一幅具有更大视野的图像，它是计算机视觉领域研究的一个热门课题，相关研究还涉及到图像处理、计算机图形学、拓扑学、几何学等多门学科知识。
近年来，伴随着信息产业技术的革命，微电子技术得到了迅猛的发展，用于连续快速捕获视频序列的数码相机、数码摄像机等高端电子产品出现在了消费市场，并逐渐成为人们日常生活的必需品。国家航空航天技术和遥感成像技术也有了日新月异的发展，高空拍摄获得的高分辨率的遥感图像能够动态、准确、快速地传送回地面接收站。这些科技的发展都为图像拼接技术领域研究注入了新的活力，同时由于视频拼接实时性的要求也给图像拼接技术研究带来了新的挑战。
实时的视频拼接技术应用范围很广，主要应用于航拍视频图像、医学显微视频图像、视频监控等。
航拍视频图像拼接是由飞机低空飞行拍摄地面场景或人造卫星高空拍摄遥感图像等，把图像数据信息传输到地面接收站，由地面接收站通过一定的拼接技术，将接收到的图像实时的拼接到已拼接的图像中去。航拍视频图像拼接主要应用于城市布局建设规划、军事目标设施侦察、海洋资源开发作业、生态环境污染检测、电子地图制作等。
医学显微视频图像拼接，主要通过多个植入人体的内窥镜，将反馈回的图像进行拼接，实时显示人体内部生理组织结构变化。医学显微视频图像拼接能够帮助医生更好地临床诊断癌症等突发病变，使病人及时得到治疗。
视频监控是指在同一场景的不同位置安装多个摄像头进行监控。由于每个摄像头视角有限，只能拍摄到场景中的一小部分区域，需要通过实时视频拼接手段，把展现全场景的动态监控画面传输到终端监控室，由此提高监控能力。视频拼接在监控中的应用，对维护社会稳定、严防恐怖活动并促进安保工作开展等都起了极其重要的作用。
同时实时的视频拼接技术还广泛应用于双目视觉研究、虚拟场景构建、电视电话会议召开等多个领域。
鉴于视频拼接技术对于国防安全建设、军事战略等都有极其重要的作用，而相关技术尚未成熟完善，本文对实时视频拼接技术的实现进行了研究。希望能有助于促进国内厂商尽快开发出满足各种需求的实时视频拼接系统，为自然资源的合理开发、国家建设的整体规划、医学研究的发展、国家安全稳定以及军队在军事战略行动上占据主动权等多方面应用提供一定的技术借鉴。
１绪论硕上论文１．２图像拼接技术分类及研究现状
图像拼接技术最早起源于摄影测量学［４５】（Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ），当时人们主要通过手工定位控制点的方法进行拼接。迄今为止，国内外学者已经提出了多种拼接算法，各种算法都是面向一定的应用场合，具有各自的特点。
图像拼接技术按照拼接对象不同一般可以分为基于静态图像的拼接技术和基于动态视频的拼接技术。基于静态图像的拼接技术是指将两幅或多幅具有重叠区域的图像进行拼接。基于动态视频的拼接技术是在基于静态图像的拼接技术基础上，考虑时间的开销，实现对时间上连续播放、空间上有重叠区域的视频序列进行快速、准确的拼接。前者侧重于拼接的精度，时间消耗上没有要求：后者在保证一定精度的前提下更侧重于实时性，主要用于能够动态的展现场景中的变化。ＭａｔｔｈｅｗＢｒｏｗｎ和ＤａｖｉｄＧＬｏｗｅ等人ｐｊｌ利用ＳＩＦＴ算子ｌ”１开发的拼图软件ａｕｔｏｓｔｉｔｃｈ，能够用于多幅静态图像的拼接，李忠新［４０ｊ、赵辉［４ｌ】等人对静态图像的拼接优化进行了相应的研究，ＲｉｃｈａｒｄＳｚｅｌｉｓｋｉ［１６】将视频拼接技术应用于创建虚拟环境，ＭａｓａｋａｔｓｕＫｏｕｒｏｇｉ等人【５ｌ】用光流的方法实现了对视频序列的实时拼接，王丙勤【５２】等人对多视点的视频拼接进行了研究。
图像拼接技术按照图像采集的视点不同可以分为基于单视点采集的图像拼接技术和基于多视点采集的图像拼接技术。所谓单视点采集，一般是将一个摄像机固定在某个位置，然后将摄像机绕固定轴水平旋转一周获取一组图像；或者将多个摄像机共圆放置，摄像机光轴在同一平面上并且相交于一点，进行实时的视频采集。文献［４１，５５］对单视点采集图像作柱面全景图（ＣｙｌｉｎｄｒｉｃａｌＰａｎｏｒａｍａ）的拼接作了介绍，马力等人【５６】利用柱面模型实现了一种高分辨率的全景视频监控系统ＫＤ—ＰＶＳ。多视点采集，一般是将一个摄像机水平拍摄一组视频序列，或者是在不同位置安放多个摄像头，同时采集视频图像。基于多视点采集的图像拼接技术一般用于带状全景图（ＳｔｒｉｐＰａｎｏｒａｍａ）的拼接。ＡｓｅｅｍＡｇａｒｗａｌａ等人【５７Ｊ设计了一种基于马尔可夫随机场作优化的方法实现了这种多视点的带状全景图的拼接，ＡｕｇｕｓｔｏＲｏｍａｎ等人［５８］采用了影像比畸变准则来防止带状全景图拼接出现变形失真。
图像拼接技术实现流程如图１．１所示，包括图像获取、图像预处理、图像配准（ｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ）和图像融合四个步骤。其中图像配准和图像融合是图像拼接过程中的两个关键技术。图像获取主要通过ＣＣＤ或ＣＭＯＳ的摄像机进行拍摄采集。针对图像在采集过程中可能受到各种噪声影响，或者由于镜头自身原因使得获取的图像发生畸变等情况，需要先对图像进行滤波、几何校正等预处理。马颂德等人１２９Ｊ对非线性畸变图像的校正作了研究。
图像配准技术主要研究如何定位图像之间的几何位置关系。一般把图像拼接技术按照图像配准方式分为三大类【ｌ’４５】：基于频域的方法、基于区域的方法和基于特征的方法。
２
硕十论文视频陶像拼接技术研究文献［１０］对基于区域的方法和基于特征的方法进行了比较分析。
图１．１图像拼接技术一般流程
基于频域的方法是将图像的空间信息转化成频域信息，利用傅立叶变换的性质，实现图像的配准。１９７５年，Ｋｕｇｉｎ等人【５９】提出了一种相位相关的方法，利用傅立叶变换的互功率谱性质，求得两平移图像的位置关系。文献［６０］研究了扩展的相位相关方法，将频域直角坐标系转换成极坐标系，能够对有平移、旋转位置关系的图像进行配准。改进的傅立叶梅林变换［３５，３６，３８］适用于存在平移、旋转、尺度变化三种变换关系的图像配准。ＨａｓｓａｎＦｏｒｏｏｓｈ等人ｌｌ，７Ｊ将相位相关方法扩展应用到亚像素级的图像配准。Ｈａｒｏｌｄ等人ｆ眨】采用了一种快速傅立叶变换的方法，通过平移和归一化照度变化，实现图像的亚像素级配准。ＶｉｌｌｅＯｊａｎｓｉｖｕ等人…Ｊ研究了一种模糊不变的相位相关算法进行图像的配准。
基于区域的方法主要利用图像的狄度值信息，首先在参考图像的重叠区域中选择某个块作为模板，然后在待配准图像的的重叠区域，利用一定的搜索策略
【２】，如三步搜索法【４¨、交叉搜索法【４‘】等，寻找和模板最相似的匹配块，如图１．２和图１．３所示。在搜索过程中，必须选择相似性测度【２，３０ｊ，如灰度差平方和法ｆ４８】，即ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）。钟力等人【２３］在参考图像重叠区域中选择两列像素的比值作为模板，在待配准图像中搜索最佳匹配，这种方法大大减少了计算量。冷晓艳【３７】等人采用区域特征与灰度交叉相关相结合的配准方法，实现了序列图像的拼接。
参考图像选取模板待配准图像
，一．．．一．．．．缓／
图１．２参考图像、待配准图像和模板
１绪论硕士论文横向
图１．３模板在重叠区域搜索，寻找最大相似块位置
基于特征的方法，主要是寻找图像中的显著性的结构特征，如点、线、边缘、轮廓等。
基于点特征配准的图像拼接技术是目前大部分文献采用的方法。点特征配准首先检测特征点，建立一一对应关系，然后求得变换模型参数，最后对待配准图像进行坐标变换和插值，具体实现流程如图１．４所示。
图１．４基于点特征的图像配准的一般流程
常用的点检测子有Ｍｏｒａｖｅｃ点检测子【ｌ８１、Ｈａｒｒｉｓ角点检测子【Ｉ９１、Ｓｕｓａｎ角点检测子［４６】、ＳＩＦＴ检测子【１５＇２０，２１】等。文献［１４】提出了一种颜色不变的点检测子，对光照变化具有不变性。ＰａｔｒｉｃｋＢａｕｄｉｓｃｈ等人【６ｌＪ用ＭＯＰｓ［６２Ｊ（Ｍｕｌｔｉ．ｓｃａｌｅＯｒｉｅｎｔｅｄＰａｔｃｈｅｓ）描述子作匹配，开发出了一套可用于实时拼接的全景图探测器（ＰａｎｏｒａｍｉｃＶｉｅｗｆｉｎｄｅｒ）。
Ｐ．Ｓａｒａｖａｎａｎ等人［９１矛ｌＪ用光流和特征相结合的方法实现了航拍图像序列的拼接。康彦肖等人【３９】尝试了用Ｍｏｒｅｖｅｃ检测子对视频图像进行拼接。文献［１９］提出了直方图均衡和分段线性直方图拉伸等预处理手段来提高匹配的精度。为了提高匹配速度，文献［８］提出了一种由粗到细的金字塔优化的模型选择方法，最上层选用最简单的粗模型，一般为平移模型，然后逐层增加参数来细化模型。ＹａｎＫｅ等人【２２Ｊ提出了一种新的算子ＰＣＡ—ＳＩＦＴ，这是ＳＩＦＴ算子的一种改进，通过ＰＣＡ降维的方法来减少ＳＩＦＴ描述子的维数，极大地提高匹配速度。点匹配过程中容易产生误匹配点对，从而可能导致拼接失败，一般采用随机采样一致性（ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ，简称ＲＡＮＳＡＣ）方法酬排除误匹配点对［２４，２８，３Ｉ，３２，４０】，增强拼接算法的稳定性。文献［５１１采用了Ｍ估计的方法来排除误匹配点对，该方法执行速度较快，其他的方法还有ＭＬＥＳＡＣ、ＩＭＰＳＡＣ［３，４】等。通过最４，－乘最优化模型参数［８，２６，２７．４
硕上论文视频图像拼接技术研究
２８一Ｏｌ，可以提高拼接的精度。不同环境条件下的变换模型选择也是一个重要的环节，ＳｔｅｖｅＭａｎｎＩｓ］等人采用了～种光流和投影模型相结合的方法，提高了序列图像拼接的精度，文献【３，４，７］对几种模型进行了比较。图像在变换过程中需要进行插值，文献［１］对几种常用的插值技术进行了比较。
由于光照变化以及摄像头采集图像时受噪声的影响，拼接后的图像可能出现鬼影（曲ｏｓｔ）和拼接缝现象【４５１。图像融合技术就是研究如何消除这种现象，从视觉上增强图像的流畅性和真实感。方贤勇等人【２５Ｊ提出了一种最佳缝合线和多分辨率的融合方法，能够很好的消除拼接中出现的鬼影和拼接缝现象，但该方法计算量较大。文献１３４］总结比较了中值滤波法、小波变换法、加权平滑法这３种常用的融合算法，指出中值滤波法虽然速度快，但容易使分辨率降低，产生细节模糊：小波变换法能很好的兼顾图像的清晰度和光滑度，但计算量大；加权平滑方法执行速度快，能够解决～般的图像融合问题。肖甫等人【３副设计了－ｋｅｏ包含图像梯度的能量函数来改进图像的融合质量。
目前，图像拼接技术研究取得了很大的进展，但是由于视频图像拼接对实时性要求高、拼接成功与否易受复杂环境的影响、同时还存在诸如运动目标影响、图像低质量影响等有待解决的问题，促使本文在前人研究的基础上，做进一步的应用研究，特别是在工程实现方面进行有益的尝试。
１．３本文的主要研究工作和内容安排
本文的主要研究工作包括：
针对帧与帧之间仅存在平移关系的情况，本文主要研究了基于傅立叶变换的相位相关视频拼接方法。通过多组实验分析比较发现，该方法对图像间存在小平移的情况有效，允许图像序列中存在小的运动物体，并且算法执行速度快。在此基础上，本文设计实现了实时的视频序列拼接程序。该程序能够适用于视点不停变换的小平移视频序歹Ⅱ，在对两段航拍视频进行的测试中，获得了较好的结果。
本文针对两个固定视点获取的视频帧间可能存在旋转、平移、尺度缩放变化的情况，研究了基于Ｈａｒｒｉｓ角点和基于ＳＩＦＴ算子的两种视频拼接技术，并通过实验，分析比较了这两种技术各自的特点。同时，本文对Ｈａｒｒｉｓ角点定位作了改进，增强了Ｈａｒｒｉｓ角点的稳定性。在此基础上，本文实现了基于这两种点特征的双摄像头采集视频作实时拼接的程序。程序中实现的拼接算法用Ｃ和Ｃ＋＋写成，未调用任何库，为移植到嵌入式系统作更深层次的研究开发提供了一定的技术借鉴。
论文最后研究了用ＳＩＦＴ算子对序列图像的拼接，并实现了对低分辨率手机连续拍摄文本序列的无缝拼接。
全文内容安排如下：
第ｌ章绪论，首先阐述了图像拼接技术研究目的和应用前景，然后介绍了图像拼接Ｓ
１绪论硕１二论文
技术的分类和研究现状，最后介绍了本文的主要研究工作和内容安排。
第２章是图像拼接技术及开发平台简介。本章主要介绍了齐次坐标和非齐次坐标概念、三种坐标系定义、坐标系之间的转换关系、宽基线和窄基线的区别、图像变换模型以及插值技术等，最后对实验丌发平台和开发工具作简要介绍。
第３章是频域视频拼接技术。本章主要介绍了相位相关算法原理以及利用相位相关算法实现视频拼接技术的流程，分析比较了这种方法的特点和适用范围，设计实现了实时的视频序列拼接程序，并对两段航拍视频进行了实验测试。
第４章是基于点特征的双摄像头实时视频拼接技术。本章主要介绍并比较了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子各自的特性，搭建了双摄像头采集视频的软件平台，对特征点检测、特征点匹配、去除误匹配点对、构建参数模型、图像变形以及融合拼接作了详细的描述，并实现了基于这两种点特征的双摄像头采集视频作实时拼接的软件。
第５章是基于ＳＩＦＴ的序列图像拼接及在扫描文本拼接中的应用。本章介绍了序列图像的合成方式，并利用ＳＩＦＴ算子实现了对手机拍摄的文本图像序列的无缝拼接。
第６章是总结和展望，对本文所做工作进行总结，同时指出论文工作不足并展望未来工作。
６
硕士论文视频图像拼接技术研究２图像拼接技术及开发平台简介
图像拼接技术主要包括图像配准和图像融合两部分。本章主要介绍图像拼接技术中涉及到的基本理论概念和常用技术，包括齐次坐标和非齐次坐标的概念、三种坐标系定义及其转换关系、宽基线和窄基线的区别、几种常用的变换模型和插值技术等，最后介绍了程序开发的实验平台和开发工具。
２．１计算机视觉中常用的三种坐标系
２．１．１齐次坐标和非齐次坐标的概念
设直线上建立了坐标系，如图２。１所示。Ｄ为坐标原点，直线上任意一点Ｐ的坐标为Ｘ＝ＯＰ。现在引入变量Ｘｉ和Ｘ２，令Ｘｌ／Ｘ２＝Ｘ，Ｘ２≠０，则只要ＸＩ和Ｘ２的比值不变，Ｘ也不变，称（Ｘ?，Ｘｚ）为直线上点Ｐ的齐次坐标【６３１，Ｘ则称为点Ｐ的非齐次坐标。当某点为无穷远点时，可以用齐次坐标（Ｘ－，Ｏ）表示。
Ｐ（Ｘ）
０Ｊｐ（ｘｌ，ｘ２）Ｘ
图２．１齐次坐标和非齐次坐标表示
２．１．２三种坐标系定义
（１）图像坐标系
图像在计算机中是以一维数组的形式进行排列存储的，为运算方便，一般将图像看成一个二维数组。定义二维图像坐标系，坐标中心Ｄ位于图像左上角，以像素为单位，横轴Ｕ方向水平向右，纵轴ｙ方向竖直向下，每一像素点的坐标（“，ｖ）分别表示该像素点在二维数组中的列数与行数，如图２．２所示。
（２）摄像机坐标系
；１！．ｉ图２．２图像坐标系
２图像拼接技术及开发平台简介硕一仁论文
摄像机坐标系是三维坐标系，以摄像机光心为坐标中心仇，以毫米为单位，横轴丘和纵轴Ｋ分别平行于图像坐标系的横轴和纵轴，乙轴为摄像机的光轴，垂直于图像平面交于Ｏ’，仅Ｄ’为摄像机焦距厂，如图２．３所示。
图２．３摄像机坐标系
（３）世界坐标系
由于摄像机可安放在环境中的任意位置，选用一个基准坐标系来描述摄像机的位置，并描述环境中其它物体的摆放位置，这个坐标系称为世界坐标系。世界坐标系也是一个三维的坐标系，用仉代表坐标中心，瓜、Ｋ和乙分别代表世界坐标系的三个方向，如图２．４所示。
图２．４世界坐标系
２．１．３三种坐标系之间存在的转换关系
空间中任意一点在图像中的成像位置可以用透视投影模型［２７＇２９】（又称针孔模型）来近似表示，如图２．５所示。设空间中任意一点尸在摄像机坐标系和世界坐标系下的齐次坐标分别为［皿ＫＺｃ１】。和［凰Ｋ乙１］７，投影到图像坐标系下的齐次坐标Ｑ为ｆ甜ｖ１１７，则存在如下转换关系‘２７．２９】：
（１）摄像机坐标系与世界坐标系的转换关系
皿
Ｋ
Ｚｃ
ｌ＝瞄
‰Ｋ厶１（２．１．３．１）其中Ｒ为３Ｘ３的旋转矩阵（正交单位阵），ｔ为３Ｘ１维平移向量，ｏ＝［ｏ０ｏ】７’。
（２）图像坐标系与世界坐标系的转换关系门一
硕Ｊ二论文视频图像拼接技术研究
料畦Ｕ？０罔（２．１．３。２）
其中口。＝ｆｌｄｘ，口ｙ＝ｆｌｄｙ，ｄｘ、ｄｙ分别是每一个像素点在横向和纵向的实际物理尺寸，‰、％是像素点０’在图像坐标系中的坐标位置。
（３）图像坐标系与摄像机坐标系的转换关系
摄像机坐标系
、ｒ尼］０００ｌ｜Ｉ
ｌｏｏ陋｜｜｜Ｚｃ０１０
ｌ｜Ｊ【－１ｊ
世界坐标系
图２．５透视投影模型及三种坐标系（２．１．３．３）
９
●＇．Ｉ
ｔ●－Ｒ旷Ｏ
Ｏ
Ｏ１００‰％，ｏ∞ｏ弧００ｆ｛“Ｖ●乙
２图像拼接技术及＂熊平台简升硕士论文２．２宽基线和窄基线的区别
基线（ｂａｓｅｌｉｎｅ）口”是两摄像机光心的连线距离，根据拍摄图像时选择的视点位置不同可以将匹配问题分为窄基线匹配和宽基线匹配ⅢＪ。两者没有严格的界限区分，通俗的讲，窄蓐线是指两摄像机的视差比较小，对同一场景拍摄得到的景物没有明显的视觉变化；宽基线是指两摄像机的视差比较大，对同一场景拍摄得到的景物有明显的视觉变化。如在不同视点对同位置观察，可能出现亮度不同、景物遮挡、景物大小不同等视觉差异。如图２．６（ａ）和（ｂ），这是两幅
从不同角度观测同一场景得到的图像。红色方框叶］的图景发生了明显的变化，这就是一种常见的视觉差异现象。视觉差异问题可能导致图像拼接失败。
２．３几种变换模型
图２．６不同视点拍摄的两幅图像
ＲｉｃｈａｒｄＳｚｅｌｉｓｋｉ［４５１对２Ｄ变换的模型作了总结，将２Ｄ变换分为平移、旋转、尺度缩放、仿射、投影等几种变换，这些模型适用于多视点的平面图像拼接ｍ２８６”。
图２７展示了基本的２Ｄ变换Ｈ”。令空削中有任意点Ｐ，在待变换图像中的投影点为尸ｔ，用齐次坐标表示为Ｘ＝（ｚ，Ｙ，１）７，在参考图像中的投影点为尸：．用齐次坐标表示为ｘ＋＝（ｚ。，Ｙ：１）７。以参考图像所在的图像坐标系作为参考坐标系，将待变换图像的像素点坐标经过几何变换投影到参考坐标系所在的平面上。
（１）平移（Ｔｒａｎｓｌａｔｉｏｎ）变换
ｘ’＝『川ｘｎ“，这里Ｉ是２ｘ２的单位矩阵，ｔ＝（Ａｘ，Ａｙ）７是２ｘ１维平移向量，出是横向偏移量，△ｖ
硕上论文视频图像拼接技术研究是纵向偏移量，ｏ＝［ｏｏ】７’。
ｙ
图２．７基本的２Ｄ变换
（２）欧式（Ｅｕｃｌｉｄｅａｎ）变换
这种变换又称刚性变换［２７】，变换形式为：
ｘ．：ｌ鼍ｔＸ（２．３．２）犁２ｌｏｒ１Ｉ
Ｑ３２’其中Ｒ：Ｉ∞？ｓ曼吖ｓｌｎ？ｌ是一个标准正交化的旋转矩阵，护是旋转的角度。Ｓｓｉｎ∥ＳＣＯＳ６『ｌ
（３）相似（Ｓｉｍｉｌａｒｉｔｙ）变换
相似变换保留两直线间的夹角不变，其变换形式为：
ｘ’＝［列ｘｘｔ一㈥！］Ｘ
（２．３．３）（２．３．４）
仿射变换含有６个参数，特点是平行的直线变换后仍然保持平行。
（５）投影（Ｐｒｏｊｅｃｔｉｖｅ）变换这种变换又称为透视变换，特点是直线变换后仍保持为直线，其变换形式为：
２图像拼接技术及开发甲台简介硕士论文ｈｏ办ｌｈ２
—
ｘ?：Ｉｈ３ｈ４ｈ５ｌＸ（２．３．５）Ｉ庇６Ｊｌｚ７五８ｌ
作归一化处理后得：
ｘｔ：垒！兰±垒！羔±垒！（２．３．６）ｈ６ｘ＋ｈＴｙ＋庇８
１，?：—ｈ３ｘ＋ｈ—４ｙ＋ｈ５（２．３．７）１，’＝——（２．３．’７）’ｈ６ｘ＋ｈ７ｙ＋ｈ８
『－ｈ。ｈｌｈｚ］
其中Ｈ＝ｌｈ３ｈ４ｈ５Ｉ是透视变换矩阵，又称单应性矩阵（ＨｏｍｏｇｒａｐｈｙＭａｔｒｉｘ）。
Ｊｆｚ６厅７矗８ｌ
图像序列拼接需要建立图像之间的几何变换模型，平移变换模型适用于仅存在平移运动的图像序列，欧式模型适用于存在平移、旋转变化的图像序列，相似模型能够用于平移、旋转和尺度缩放变化的图像序列，仿射模型能够用于平移、旋转、尺度缩放变化、剪切【２７１变化的图像序列，而投影模型不仅具有仿射模型的各项优点，而且适用于有梯形失真和线性调频现象【２７】的图像。
前四种模型实际上是第五种模型的特例，都可以用式（２．３．５）表示，见表２．１。
表２．Ｉ几种模型参数比较（ｈｓ＝１）
＾ｏｈＩＪｌｚ２办３ｈ４五５ｈ６五７
平移ｌ０止Ｏ１Ａｙ０Ｏ
欧式ＣＯＳ０——ｓｉｎ０血ｓｉｎ０ＣＯＳ０ＡｙＯＯ
相似ＳＣＯＳ０－－Ｓｓｉｎ０ＡｘＳｓｉｎ０ＳＣＯＳ臼ＡｙＯＯ
债裁ａｏ口ｌ盘２口３口４ａ５Ｏ０
李忠新‘２７１对投影模型中的前８个参数ｈ?～ｈ，（ｈｓ在方程组中是个公因子，一般解方程时可以消去ｈｓ。Ｈ仅有８个自由度【４５１）所表现得摄像机运动状态以及图像变换的成像效果作了研究，如表２．２。
表２．２投影模璎各参数对应的图像变形
参数图像变形效果
ｈ２水平运动
五５竖直运动
Ｊｌｚｏ，五ｌ，ｈ３，ｈ４缩放、旋转、剪切变形
ｈ６，ｈ７梯形失真等
２．４插值技术
在对图像进行空间变换后，原图像上的像素点位置可能不在变换后图像的栅格点１２
硕士论文视频图像拼接技术研究
上，例如发生旋转等几何变形，或者存在变换前的图像没有的像素位置，例如对图像做放大两倍处理，为了避免图像失真，需要进行插值处理。插值技术根据映射方式不同可以分为日仃向捅值映射和后向插值映射。前向插值映射方法如图２．８所示。首先将原图像上的每个像素点Ｐｔ（ｘ，Ｙ）通过正向变换Ｘ’＝ＨＸ求得变换后图像上的点，记为Ｐｆｆｘ’，ｙ－），Ｐ２（ｘ’，ｙｆ）点的像素值就是Ｐ一（ｘ，Ｙ）点的像素值。将Ｐｔ（ｘ，Ｙ）点的像素值赋给Ｐ２（ｘ’，Ｊ，－）点，由于插值运算是浮点运算，Ｐ２（ｘ’，），ｔ）点可能不在像素栅格点上，Ｐ２（ｘ’，．），Ｉ）点影响邻域四个点ａ、ｂ、Ｃ、ｄ的像素值。这种前向的插值技术常会使变换后的图像出现像素值变化不连贯，或者由于某些点受到影响太小而未分配到像素值，产生黑孔现象。
原图像
当前像素点影响邻域４点的像素值变换后的图像
，Ｙ’）６
图２．８前向插值映射
后向插值映射方法如图２．９所示。首先将变换后的图像上的每个像素点Ｐ２（ｘ’，Ｙｒ）通过逆向变换Ｘ＝Ｈ。１Ｘ’求得在原图像上的对应点Ｐｔ（ｘ，Ｙ），由于浮点插值运算，Ａ（ｘ，Ｙ）点可能不在像素栅格点上，Ａ（石，Ｙ）点由邻域四个点ａ、６、ｃ、ｄ的像素值决定，求得的Ｐｌ（ｘ，ｙ）像素值就是
Ｐ２（ｘ’，Ｙ’）点像素值。这种后向插值映射方法避免了前向插值映射可能出现的黑孔现象。
实验中一般采用后向的插值技术。后向插值技术按具体实现又可以分为最近邻插值法、均值插值法、双线性插值法等。
２图像拼接技术及开发平台简介硕士论文
邻域４点影响当前点的像素值
图２．９后向映射插值
（１）最近邻插值方法：ａ、ｂ、ｃ、ｄ四个点距离Ｐｌ点最近的点的像素值作为尸ｚ点的像素值，该方法计算速度快，但误差大，容易造成图像模糊。
（２）均值插值方法：对ａ、ｂ、Ｃ、ｄ四个点的像素值之和求平均作为Ｐｚ点的像素值，即：
Ｉｍ＝Ｉｅ，＝（厶＋Ｉｂ＋厶＋ＩＪ）／４（２．４．１）该方法效果上略优于最近邻插值方法，但也容易造成图像模糊。
（３）双线性插值方法：如果把均值插值方法看作是ａ、ｂ、ｃ、ｄ四点平均分配权重的插值方法，那么双线性插值方法就是给ｇ、ｂ、Ｃ、ｄ四点按照距离中心像素点的远近来对应地分配权重值的方法。该方法速度上略慢于最近邻插值法和均值插值法，但效果明显优于前两种方法，插值质量高，使图像不易产生模糊。本文采用了双线性插值方法，对变换后的图像上的每个栅格像素点逆向变换到原图像中，利用原图像邻域的四个点进行双线性插值求该像素点的像素值。下面对双线性插值的实现原理进行详细介绍。
１４
硕士论文视频图像拼接技术研究
分布式大屏幕拼接器技术方案.
显约XNET网络分布式处理器 技术方案 北京显约科技有限公司
目录 XNet分布式处理器介绍----------------------------------------3 XNet分布式处理器系统组成----------------------------------3 XNet系统连接图-------------------------------------------------3 XNet的主要技术特点-------------------------------------------5 XNet的设备性能指标-------------------------------------------6 XNet分布式处理器与传统集中式处理器比较------------14 XNet分布式处理器与其他分布式处理器比较------------15 XNet系统管理软件---------------------------------------------18 XNet系统设备清单---------------------------------------------25 XNet工程案例---------------------------------------------------26
XNet分布式处理器介绍 分布式图像控制系统是基于传统集中式控制器的缺点及新的市场发展趋势而出现的。分布式图像控制系统就是以嵌入式系统为平台，以专有实时图像编解码算法为手段，以高速以太网为通道，实现大屏幕拼接墙高性能高灵活性的显示控制解决方案。 XNet是显约科技公司自主研发的国内首创的一款大屏幕拼接产品。他将计算机领域复杂的高带宽网络技术应用于视频数据交换，通过网络交换技术，可灵活的将大量的、多样化的视频源连接至同样大量的、多样化的输出设备上，实现视频的缩放、跨屏、漫游等功能。 XNet分布式处理器系统组成 系统由输入节点、输出节点、千兆交换机、和控制节点（普通PC）及网线组成。输入节点采集视频信号并将它们转化为可被输出端点接收的通用格式，输出节点接收此格式信号并将它们转化为显示器可显示的格式。所有的XNet端点都通过交换机互联，交换机负责输入到输出的数据传输。 XNet系统连接图
基于SIFT特征向量的图像拼接技术研究
基于SIFT特征向量的图像拼接技术研究摘要 图像拼接技术是数字图像处理邻域的一个研究热点，一直是计算机视觉、模式识别、医学等领域研究的一个重要课题，图像拼接技术也是图像处理工作中的关键技术之一。所谓图像拼接就是将有重叠的图像无缝拼成一幅大宽视域图像的技术。它包含两个关键技术：图像配准和图像融合。近年来，随着技术的成熟，图像拼接技术被很好的应用到了机器人导航、无人平台战场监控、航拍图像处理等多个领域。基于特征的图像配准与拼接技术配准结果准确拼接效果良好且不易受光照、旋转等因素的影响是当前图像配准与拼接领域研究的热点。本文在深入研究和学习已有的基于SIFT的图像配准与拼接技术的基础上，详尽地分析了现有算法的不足，并提出了若干改进算法。 关键字：图像拼接，特征，线段特征，图像融合 Image splicing technology research based on SIFT feature vector abstract Image splicing technology is a research focus in the neighborhood of digital image processing, has been the computer vision, pattern recognition, an important hot topic in the field of medicine and other fields, image splicing technology is one of the key technologies of image processing work. The so-called image mosaicing is there will be overlapping images seamless Mosaic a big wide horizon image technology. It includes two key techniques: image registration and image fusion. In recent years, with mature technology, image splicing technology is very good application in robot navigation, unmanned platform battlefield monitoring, aerial image processing and other fields. Based on the characteristics of image registration and Mosaic registration results are accurate stitching effect is good and not easily influenced by factors such as illumination, rotation is the hotspot in research of image registration and Mosaic. Based on the in-depth research and study of the existing image registration based on SIFT and splicing technology, on the basis of the shortage of the existing algorithm is analyzed in detail, and puts forward some improved algorithm. The keyword：Image stitching, features, line features, image fusion 目录 第一章绪论 (2) 1.1研究背景和意义 (2) 1.2国内外研究现状 (3) 1.3研究内容 (4) 第二章图像拼接的相关理论基础 (6) 2.1图像拼接的基本流程 (6)
全景拼接算法简介
全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
图像拼接技术的研究历史悠久
图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。
视频拼接器
超大全彩LED拼接解决方案 CK4L系列全彩LED多画面视频图像处理器是国家高新技术企业深圳市创凯电子有限公司推出的针对全彩LED的高性能图像处理和控制设备。该设备整合创凯公司多年在视频图像处理、高清晰信号处理和显示等方面的丰富经验,采用专利技术硬件设计,结合全彩LED屏显示的特殊要求设计，可以同时接受并处理多种不同视频图形信号,并在全彩LED上显示。 CK4L6000, 多画面全彩LED拼接图像处理器,单机最多同时可支持16张不同分辨率的发射卡,单机最高可以支持30720*1080 LED点阵。多台机器级联可以实现无限幅度的LED点阵实时动态显示。 CK4L6000，可以任意配置发射卡进行LED点阵堆砌，可以自由选择灰度级数。可以任意设置单个LED发射卡的输出内容点阵。 CK4L6000 具备的技术特点： 实时多通道并行图像处理,专利技术的全硬件架构,无运动拖尾和锯齿； 单机最高可以支持30720*1080LED等效点阵,多机并联可以驱动无限幅度LED点阵； APSP技术,自定义图像输出的大小以及输出位置。 具有值机功能，即可以通过监视器时时观看LED大屏幕的状态(选配)。 帧同步技术，各输出图像间无错位和延迟； 多窗口控制叠加显示技术,实现任意信号的窗口叠加、漫游、缩放以及无缝切换； 针对LED显示领域的多种特殊显示驱动模式； 所见即所得软件操控界面，无需复杂的窗口预设操作； 16种不同模式场景预设； 预留LED发送卡槽位，系统高度集成； 高可靠性和稳定性，7天/ 24小时应用。 CK4L 系列LED图像处理器，内部无操作系统支持，上电即可工作，稳定性高。 系统连接拓扑图（以支持4张发射卡为例） 特点介绍 一、超大场景显示
360°全景拼接技术简介
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
拼接屏技术方案
技 术 方 案 设 计 书 青岛三众泰网络工程有限公司 2013年12月
目录 第1章．系统设计概述 (3) 第2章．LCD TFT 液晶屏的显示原理及DID屏的特征 (3) 第3章．液晶拼接墙的系统设计 (4) 3.1系统的可行性 (4) 3.2系统的实用性 (5) 3.3系统的可靠性 (5) 3.4系统的经济性 (5) 3.5系统的开放性及可扩展性 (5) 第4章．液晶拼接墙功能特点 (6) 4.1拼接单元功能特点 (6) 4.2液晶拼接控制器特点 (9) 第5章．液晶拼接墙的技术指标 (12) 5.1拼接单元性能参数 (12) 5.2液晶拼接控制器主要技术指标 (13) 第6章．系统结构与组成 (14) 6.1液晶拼接墙的基本构成 (14) 6.2拼接墙显示尺寸与外观尺寸 (16) 6.3系统连接示意图 (16) 第7章．液晶拼接墙显示系统配置清单 (17) 第8章．液晶拼接墙功能介绍 (18) 第9章．系统环境设计和要求 (20) 11.1 安装要求 (20) 11.2操作控制台（室）装修及设备位置要求 (20) 11.3光线要求 (21) 11.4走线及线槽要求 (21) 11.5空调要求 (21) 11.6供电电源 (21) 11.7系统环境 (22) 第10章．企业简介 (22) 第11章．售后服务体系 (23) 13.1售后服务范围............................................................... 错误!未定义书签。 13.2售后服务承诺............................................................... 错误!未定义书签。
高清图像全景拼接
高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998
全景拼接白皮书
目录
1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。
图像拼接算法及实现(一).
图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this
视频拼接综述
视频拼接全景摄像机综述 作者：上海凯视力成信息科技有限公司 随着摄像机从模拟走向网络，“高清”日渐成为市场关注的热点，它的出现让人们可以看得更清楚，获得更多的细节。但是，客户在从之前“只能看见人脸”到现在“能看清人脸”的同时，又提出了另一方面的要求，那就是“看得更广”，即在同一个场景中能看到更多的东西。对此，原来是通过用几只摄像头覆盖一个区域，或用快球来回巡航扫描去解决。但在某些场合，这些方案还不能完全满足客户的要求，比如客户需要在同一个画面里确定人的移动，或需要用同一个场景中监看到的事物去说明一些问题，这个时候就需要全景摄像机，本文试图对全景摄像机做一综述。作者：上海凯视力成信息科技有限公司 1．全景摄像机的好处 全景摄像机可以带来如下好处： （1）超宽监控视角。一枚鱼眼镜头尽收360度全景，四周的影像一次尽收眼底，完全消灭死角。 （2）降低成本。一台好的全景摄像机可以替代多台传统摄像机的应用，这种360度实时全景监控能力，使得无需为涵盖整个监控区域而安装多台摄像机，因 而节省了摄像机硬件投资。监控摄像机路数大大减少，可以节省配套设备， 如镜头、防护罩、布线、电源、录像、显示等相应配件和设备的成本，还可 降低施工布线难度，节省安装时间、人工费用以及后续维护费用。 （3）虚拟PTZ技术。采用虚拟PTZ技术，可以放大或移动监控视野内的图像区域，当转变方向观察另一个图像区域时，不会发出任何噪音，隐秘且不易察觉。 由于没有机械移动部件，不需要时刻的进行机械化运转，全景摄像机不会发 生任何磨损，产品结实耐用，使用寿命大大延长。全景环视的图像失真矫正 可对多个图像区进行，这样，与机械PTZ摄像机不同，全景摄像机能同时观 察和摄录多个不同的区域。作者：上海凯视力成信息科技有限公司
图像拼接原理及方法
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
二维图像拼接技术
专业设计报告 设计题目：基于机器人视觉的图像处理方法研究 ——二维图像处理 姓名：学号： 学院：专业： 指导教师： 同组人姓名：
摘要： 在实际应用中，经常会用到超过人眼视野范围甚至是全方位的高分辨率图像，普通数码相机的视野范围往往难以满足要求。为了得到大视野范围的图像，人们使用广角镜头和扫描式相机进行拍摄。但这些设备往往价格昂贵、使用复杂，此外，广角镜头的图像边缘会难以避免的产生扭曲变形，不利于一些场合的应用。为了在不降低图像分辨率的条件下获取大视野范围的图像，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至360度的全景图，这样就可以用普通数码相机实现场面宏大的景物拍摄。利用计算机进行匹配，将多幅具有重叠关系的图像拼合成为一幅具有更大视野范围的图像，这就是图像拼接的目的。 图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。最初主要是对大量航拍或卫星的图像的整合,也可运用于军事领域网的夜视成像技术,。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。在医学图像处理方面，把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，图像拼接技术的应用也日益广泛。 通过本课题的研究，初步了解图像拼接技术的基本应用，并了解sift语言的应用，将两幅具有相同特征点的图拼接在一起，实现二维图像的初步拼接处理。 关键词： 图像获取，图像配准，图像融合，图像合成，SIFT。 一、设计的任务和目的 二维和三维图像测量方法，具有非接触,自扫描,高精度的优点，已得到广泛应用。但在保证高精度的条件下，要实现大范围,多参数测量，单纯提高摄像机性能往往受到限制，而且成本高。图像拼接技术能够实现上述测量目的，达到较高的性能价格比。二维图像拼接是利用已获得的多幅被测物图像，提取图像间的公共特性，并通过公共特征将多图数据统一到同一坐标下，从而挖掘出数据中的深层次信息。 二维图像拼接依据特征信息提取方法的不同，可以分为基于区域和基于特征两种。基于区域的拼接一般通过求相关系数实现，计算量大，运行时间长。基于特征的拼接可以提取有旋转,平移,缩放不变性的不变量，具有快速,准确的特点，在工业测量中还可人为加入特制标记，使测量更有实用性。 图像拼接的关键是精确找出相邻图像中重叠部分的位置，然后确定两张图像的变换关系，然后进行拼接和拼缝融合。但是由于照相机受环境和硬件等条件影响，所要拼接的图像往往存在平移、旋转、大小、色差及其组合的形变与扭曲等差别。本设计采用基于特征的图像拼接技术，首先对图像进行轮廓提取，然后再对提取的轮廓进行匹配，从
视频图像拼接技术研究.
南京理工大学 硕士学位论文 视频图像拼接技术研究 姓名：林学晶 申请学位级别：硕士 专业：控制理论与控制工程 指导教师：茅耀斌 20100620 硕士论文视频图像拼接技术研究 摘要 视频图像拼接技术是视频应用领域研究的一个热门课题，可广泛应用于全景图生成、双目机器人应用等多个方面。本文主要针对三类视频图像序列拼接应用进行了研究： 针对仅存在平移变换关系的视频图像序列，本文研究了一种基于频域的相位相关方法。论文首先介绍了相位相关方法的原理和利用这种方法实现视频拼接的算法流程，然后通过实验证明该方法适用于帧与帧问有较大重叠区域的视频序列，并且允许视频中存在少量小的运动物体。在此基础上设计实现了适用于小平移视频序列的实时拼接软件。 针对在不同的视角位置同时采集得到的双实时视频图像序列，本文研究了两种基于点特征的拼接技术。论文首先介绍了Ｈａｒｒｉｓ角点和ＳＩＦＴ算子的原理，然后阐述了基于点特征的双摄像头拼接技术的各个环节，包括特征点匹配、ＲＡＮＳＡＣ去除误匹配点对、透视变换矩阵模型参数计算、插值处理和融合等。本
文比较了几种图像的融合方法，采用了一种自动调节亮度值和加权融合方法，消除了图像拼接后可能出现的拼接缝隙和颜色过渡不自然的现象。由于Ｈａｒｒｉｓ角点易受噪声影响，本文提出了一种投票机制的改进方法，增强了Ｈａｒｒｉｓ角点定位的准确性。本文最后搭建了基于ＤｉｒｅｃｔＳｈｏｗ的双摄像头采集平台、设计实现了基于Ｈａｒｒｉｓ角点和ＳＩＦＴ算子两种点特征的双摄像头实时视频拼接程序，前者适用于摄像机采集的视频图像存在平移、旋转的情况，后者适用于存在平移、旋转和尺度缩放的情况。 本文最后针对低分辨率图像序列，研究了基于ＳＩＦＴ算子的拼接问题，并将之应用于手机连续抓拍文本序列图像的拼接。关键词：相位相关方法，Ｈａｒｒｉｓ角点，ＲＡＮＳＡＣ，透视变换矩阵，加权融合 Ａｂｓｔｒａｃｔ硕士论文 Ａｂｓｔｒａｃｔ Ｖｉｄｅｏｍｏｓａｉｃｉｓａｐｏｐｕｌａｒｔｏｐｉｃｏｎｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙｔｈａｔｓｈｏｗｓｓｉｇｎｉｆｉｃａｎｔｉｍｐｏｒｔａｎｔ ａｐｐｌｉｃａｔｉｏｎｆｏｒｐａｎｏｒａｍｉｃｉｍａｇｅｓ，ｂｉｎｏｃｕｌａｒｒｏｂｏｔａｎｄ ＳＯｏｎ．Ｄｉｆｆｅｒｅｎｔｔｅｃｈｎｉｑｕｅｓｏｆｖｉｄｅｏｍｏｓａｉｃ ａｒｅｕｓｅｄｉｎｄｉｆｆｅｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｔｈｒｅｅｔｙｐｅｓｏｆｃａｓｅａｒｅｓｔｕｄｉｅｄ： Ｔｈｅｍｅｔｈｏｄｏｆｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎｂａｓｅｄｏｎｆｒｅｑｕｅｎｃｙｄｏｍａｉｎｉｓｓｔｕｄｉｅｄｆｏｒａｖｉｄｅｏ
关于视频图像处理系统关键技术的研究
关于视频图像处理系统关键技术的研究 摘要：对视频图像处理系统的关键环节-图像采集，预处理，压缩编码进行了详细分析，并对该领域目前出现的具体实现技术进行了优缺点总结。 关键词：视频图像处理图像处理图像压缩图像编码实现 所谓视频图像处理系统，小到照相机，摄影机，录像机，大到地质成像扫描系统，气象卫星图像显示系统，视频监控系统都属于该范畴，但他们却千差万别，各有自己所属的专业领域、独特之处。本文旨在具体分析其中的关键环节，在广泛比较各种图像处理系统具体实现方式的基础上，总结出它们的优缺点、注意事项。为以后对视频图像处理系统的理论研究和项目实践提供系统决策阶段的方案选型参考。 1.视频图像采集 ①图像采集部分的主要工作是从图像采集传感器输出的模拟视频信号中提取图像，实现数字化后作后续处理和分析。 目前，市场上通用的图像采集传感器主要有两种：CCD传感器和CMOS 传感器。CCD器件具有高信噪比和高电荷转换效率。但是要实现这一目标，需要专门处理器、高电压、多重电源，因此也带来高功耗，高价位。CMOS传感器简化了配套电路，降低了功耗和价位，但无法保证每个像点的放大率都保持严格一致，所得图像品质低于CCD传感器。 2.视频图像预处理 ②图像预处理部分的主要工作是把经过图像数字化后的图像信号进行亮度信号提取,奇偶场合并及图像尺寸剪裁,使最终读出的图像数据大小,数据位宽,象素时钟达到目标系统的要求。在要求较高的应用中，预处理还需要完成去噪声，平滑话等功能算法，例如比较知名的直方图均衡化处理，中值滤波降噪处理。 视频信号预处理过程以前多由数字电路组合产生，这样做不但电路复杂、体积大，而且不够灵活；逐渐被采用单片机处理的方案取代，用单片机处理视频信号能够解决电路的复杂度和灵活性问题，但精度不高，难以用于对同步要求严格的场合；后来出现了利用DSP来进行视频信号的处理方案,DSP具有更高的集成度和更快的运行速度，比普遍采用的单片机在数字图像处理领域有着明显的优势，但是成本却居高不下；近年来，利用低成本的FPGA芯片来实现预处理逐渐流行开来,FPGA具有丰富的10端口数，触发器数量多，适宜进行复杂时序功能设计，缺点是开发门槛高，需要在FPGA专用开发平台下使用硬件描述语言实现预处理算法的调试，硬编码等一系列高级数字系统设计流程；同时，市场上也出现了以ARM处理器位为核心的精简处理方案：数字摄像头接收ARM送来的控制指令和工作时钟，并在采集到适当信号后放入指定的高速缓存，然后由ARM
图像拼接原理及方法
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
视频拼接关键技术
全景视频拼接关键技术 作者：一、原理介绍 图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几个方面：摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接（融合），以及亮度与颜色的均衡处理等，以下对各个步骤进行分析。 摄相机标定 由于安装设计，以及摄相机之间的差异，会造成视频图像之间有缩放（镜头焦距不一致造成）、倾 斜（垂直旋转）、方位角差异（水平旋转），因此物理的差异需要预先校准，得到一致性好的图像，便于 后续图像拼接。作者： 相机的运动方式与成像结果之间的关系见下图。
图1：相机的运动方式与成像结果之间的关系 图像坐标变换 在实际应用中，全景图像的获得往往需要摄像机以不同的位置排列和不同的倾角拍摄。例如由于机载或车载特性，相机的排列方式不尽相同，不能保证相机在同一面上，如柱面投影不一定在同一个柱面上，平面投影不一定在同一平面上；另外为了避免出现盲区，相机拍摄的时候往往会向下倾斜一定角度。这些情况比较常见，而且容易被忽略，直接投影再拼接效果较差。因而有必要在所有图像投影到某个柱面（或平面）之前，需要根据相机的位置信息和角度信息来获得坐标变换后的图像。 理论上只要满足静止三维图像或者平面场景的两个条件中的任何一个，两幅图像的对应关系就可以用投影变换矩阵表示，换句话说只要满足这其中任何一个条件，一个相机拍摄的图像可以通过坐标变换表示为另一个虚拟相机拍摄的图像。作者：