【技术实现步骤摘要】
一种基于语义指导的自然场景下屏幕区域检测方法
本专利技术涉及深度学习以及计算机视觉领域，具体涉及一种基于语义指导的边缘检测网络和屏幕定位方法。
技术介绍
随着科技的进步手机等便携设备的计算能力不断增强，拥有摄像头的移动设备也越来越普及，应用这些设备可以很方便地进行拍照和摄像。人们经常需要利用手机等便携设备记录屏幕中播放的重要信息，但是在拍摄到屏幕的同时不可避免地会拍摄到屏幕外的背景，这些背景对后续的屏幕内容处理会带来很大的干扰。另一方面在自然场景下，利用手机等便携设备对于屏幕内容进行拍摄，不可能避免地会受到自然场景下的许多因素干扰，这些干扰会影响后续的进行屏幕边缘检测处理结果的准确度，因此需要一种具有适合自然条件下的屏幕定位技术帮助准确定位到屏幕位置，以达到减少自然条件下所带外界噪声对于屏幕内容分析的干扰目的。而在自然场景下对于屏幕定位技术方面的研究依旧较少，这一方面急需进一步探索与研究。在计算机视觉领域，通常检测屏幕使用的是传统边缘检测方法，使用传统方法对于整张图像进行边缘检测处理，最后通过人工特征进行匹配...
【技术保护点】
1.一种基于语义指导的自然场景下屏幕区域检测方法，其特征在于，能够对自然场景下拍摄的屏幕图片进行处理，得到其屏幕内容，具体包括以下步骤：/n步骤1、采集用户手机拍摄的场景屏幕图像，并对输入图像进行预处理；/n步骤2、构建一个基于语义指导的边缘检测网络；/n步骤3、通过迁移学习的方式，使用自制屏幕边缘数据集对网络进行微调；/n步骤4、在训练完成后的神经网络上对输入图像进行屏幕边缘检测，得到屏幕边缘图像。/n步骤5、利用得到的屏幕边缘图像进行后处理操作，结合屏幕边缘特征筛选出图像中四个屏幕角点，并且经过仿射变换进行倾斜角度矫正，得到最终的屏幕内容图像。/n
【技术特征摘要】
1.一种基于语义指导的自然场景下屏幕区域检测方法，其特征在于，能够对自然场景下拍摄的屏幕图片进行处理，得到其屏幕内容，具体包括以下步骤：
步骤1、采集用户手机拍摄的场景屏幕图像，并对输入图像进行预处理；
步骤2、构建一个基于语义指导的边缘检测网络；
步骤3、通过迁移学习的方式，使用自制屏幕边缘数据集对网络进行微调；
步骤4、在训练完成后的神经网络上对输入图像进行屏幕边缘检测，得到屏幕边缘图像。
步骤5、利用得到的屏幕边缘图像进行后处理操作，结合屏幕边缘特征筛选出图像中四个屏幕角点，并且经过仿射变换进行倾斜角度矫正，得到最终的屏幕内容图像。
2.根据权利要求1所述的一种基于语义指导的自然场景下屏幕区域检测方法，其特征在于，所构建的一种基于语义指导的边缘检测网络包括特征提取模块、图像分割模块、图像边缘检测模块以及语义指导融合模块，其中，图像分割模块通过反卷积构建一条扩展路径提取图像语义信息特征以及图像分割；图像边缘检测模块通过本发明提出的具有注意力机制的多尺度特征融合模块(FeatureFusionModule)来进行边缘特征提取以及融合；语义指导融合模块将图像分割模块提取到的语义特征与图像边缘检测模块的边缘特征进行融合，得到语义指导下的精细化边缘图像。
3.根据权利要求2所述的一种基于语义指导的边缘检测网络，其特征在于，特征提取模块由去掉VGG16的全连接层后构成的全卷积网络组成，并且为了在不丢失大量局部信息的情况下增大网络的感受野，在最后两层卷积层中加入了混合膨胀卷积(HybridDilatedConvolution)的方法，在卷积层中设置一组三个不同膨胀率(DilationRate)的卷积核依次进行卷积，能够减少膨胀卷积产生的空洞并增大感受野。
4.根据权利要求2所述的一种基于语义指导的边缘检测网络，其特征在于，图像边缘检测模块中通过具有注意力机制的多尺度特征融合模块(Feat...
【专利技术属性】
技术研发人员：黄胜，冉浩杉，张盛峰，李洋洋，付川，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。