【技术实现步骤摘要】
本专利技术涉及无人驾驶和智慧交通领域，具体为一种面向远程辅助驾驶的实时视频拼接方法。
技术介绍
1、实时视频拼接是一种将多个视频流或图像进行无缝连接的技术。在当今社会，实时视频拼接技术已经在多摄像头监控系统、无人驾驶、智能交通、远程辅助驾驶和机器人技术等领域得到了广泛的应用；在远程辅助驾驶中主要用于环境感知、盲区检测、视频回放与分析、驾驶员或远程操作员辅助，可以将车辆周围的实时视频流传输到远程操作中心，使远程操作员能够更好地监控和辅助驾驶任务。远程驾驶员可以提供实时指导和干预，确保行车安全。
2、深度学习在图像拼接领域的发展为实现更准确、自动化的图像拼接提供了新的方法和技术，由于深度学习在视频图像处理时，复杂度通常由模型的层数、参数数量和每层的计算操作等决定，复杂的模型需要更多的计算资源来完成图像的拼接，使得视频拼接还不够实时，经典的基于深度学习的图像拼接方法模型复杂度较高，需要很大的计算量，实时效率较低，并且需要在确保实时拼接的同时还需要保证视频图像拼接的质量、清晰度等。
技术实现思路
1、本专利技术针对现有的图像拼接方法模型复杂度较高、计算量大和实时效率较低的问题，提供了一种面向远程辅助驾驶的实时视频拼接方法。本专利技术以superpoint为基础网络，将superpoint网络模型中原来编码层卷积使用可分离卷积进行替换，还对视频帧进行了挑帧进行运算处理，整体框架图如图1所示，在gpu环境下加速运行，以达到实时拼接的效果。
2、本专利技术利用改进的sup
3、步骤一：取合成数据集与coco数据集，合成数据集是由图形组成的数据集，通过预处理将coco数据集中图片进行缩放；
4、步骤二：构建改进的superpoint网络模型，将superpoint网络模型中编码层卷积用可分离卷积进行替换；
5、步骤三：首先采用合成数据集训练改进的superpoint网络模型去提取角点，其次通过使用自监督学习的方法，在coco数据集上来训练改进的superpoint网络模型；
6、步骤四：接收视频数据并进行预处理，然后将待拼接的视频帧输入到改进的superpoint网络模型中进行特征点提取；
7、步骤五：将预处理后待拼接的视频帧进行特征编码，一次深度可分离卷积分为深度卷积和逐点卷积，在每次深度卷积之后添加了批归一层bn1，每次逐点卷积之后添加了批归一层bn2，在批归一化之后使用了relu6激活函数；
8、步骤六：在进行两次深度可分离卷积之后，采用池化操作，多次深度可分离卷积与池化操作后，将最后的视频帧进行解码操作；
9、步骤七：解码操作包括特征点解码与描述符解码，且二者是同步进行的，在进行特征点解码时，将经过卷积池化后的特征视频帧经过一次卷积来提取视频帧的特征，并采用relu激活函数帮助网络更好地捕捉特征，然后通过一次卷积，得到视频帧的特征点，最后进行非极大值抑制操作；在描述符解码时，将卷积池化后的特征视频帧经过卷积层处理并通过激活函数relu进行非线性变换，然后将得到的特征信息继续通过卷积进行处理，获得最终的描述符，然后将得到的描述符进行l2归一化操作；
10、步骤八:将经过改进的superpoint网络模型后提取到特征点和描述符的待拼接视频帧送入superglue中，进行特征点匹配，找到源点和目标点，并剔除错误匹配的点；
11、步骤九:将经过superglue后得到的源点和目标点使用ransac算法，计算出透视变换的单应性矩阵h，利用单应性矩阵h对待拼接视频帧进行透视变换，得到透视变换后的图像，最后将两个图像进行拼接，得到最终的结果。
12、上述的一种面向远程辅助驾驶的实时视频拼接方法，步骤四中预处理时，对视频帧进行剪裁以减少算法运算量，并且对视频帧挑帧进行计算以达到视频拼接的实时性。
13、本专利技术以superpoint为基础网络，将superpoint原来编码层卷积使用可分离卷积进行替换，可分离卷积分为深度可分离卷积和逐点卷积，首先使用深度可分离卷积，可以减少模型的参数量和计算量，提高网络的效率和速度，其次，在深度可分离卷积后添加了批归一层，提高了模型的泛化能力，在批归一化之后使用了relu6激活函数，比常规的relu激活函数具有更强的非线性表达能力，提高特征表达能力，最后使用逐点卷积可以对特征图进行整合和融合，提取更丰富的特征信息。然后，使用superglue对图像特征进行匹配，并且剔除错误匹配的特征点，进一步提升特征匹配的准确率。本专利技术还对视频帧进行了挑帧进行运算处理，在gpu环境下加速运行，以达到实时拼接的效果。本专利技术模型复杂度低、计算量小且实时拼接，还保证了视频图像拼接的质量、清晰度。
本文档来自技高网...【技术保护点】
1.一种面向远程辅助驾驶的实时视频拼接方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种面向远程辅助驾驶的实时视频拼接方法，其特征在于：步骤四中预处理时，对视频帧进行剪裁以减少算法运算量，并且对视频帧挑帧进行计算以达到视频拼接的实时性。
【技术特征摘要】
1.一种面向远程辅助驾驶的实时视频拼接方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种面向远程辅助驾驶的...
【专利技术属性】
技术研发人员：杨潞霞，任佳乐，李红梅，林兴亮，张创辉，侯一林，崔耀文，陆剑，韩睿，
申请(专利权)人：太原师范学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。