一种基于频率约束的相机与屏幕通信方法技术

一种基于频率约束的相机与屏幕通信方法，包括：基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；将各帧亮度分量和色差分量重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。本发明专利技术检测距离远，降低对周围实验环境的要求，在实际生活中有其一定应用价值。

A method of communication between camera and screen based on frequency constraint

A communication method, camera and screen based on frequency constraint including: frequency constraint template for frequency constraints on the initial frequency domain amplitude map based access can transfer information in frequency domain amplitude; the frame luminance and color component to obtain synthetic video sequence, a remake of video, again by rotating and shearing operation is extracted from image frame sequence get, video sequence processing; separating the luminance component of each frame of video sequence processing, for each frame luminance block discrete cosine transform and modulus operation, can be extracted in the video sequence of each Y component in frequency domain amplitude; amplitude and curve fitting to extract information from each component of the Y frequency domain amplitude figure through the energy histogram, as the detection feature vector, and enter the SVM classification of the test sequence detector, using classification detector Detection, extraction of transmission information. The invention has a long distance and reduces the requirements for the surrounding experimental environment, and has its certain application value in the actual life.

【技术实现步骤摘要】
一种基于频率约束的相机与屏幕通信方法
本专利技术涉及无线链路的设备对通信领域，尤其涉及一种基于频率约束的相机与屏幕通信方法。
技术介绍
日常生活中，屏幕被用来传达丰富的视觉信息。与此同时，随着智能手机在捕获视频方面的飞速发展，屏幕相机通信技术出现在各种应用程序中，并成为近年来的热点研究课题。屏幕相机通信的研究工作开始于直接可见的条码和屏幕上的标记。PixNet[1]正交频分复用数字多载波调制方法(OFDM)调制出高吞吐率的2D条形码并优化大容量液晶显示器通信。COBRA[2]在实时相机与相机通信场景中改进了彩色条形码系统，提高了由运动模糊引起的解码准确度。静态条形码技术现在被广泛使用。例如，超市中的所有产品都标记有条形码以表示其属性和信息。另一个常见的情况是邮件上的条形码，它可以跟踪物品信息。此外，可进行屏幕相机通信的可视码的另一突破是隐写术和水印技术的出现[3]，其将空间码(如二维码)嵌入在图像中，但对于人眼仍然可见，比如：微信上的名片。最近的研究往往集中于建立隐形的屏幕相机通信系统，在通信系统中将光谱用作多信道，并趋向于提供高准确率和不可见的屏幕相机通信系统。VR[4]用了这种技术，利用只有混合颜色才能被人眼感知这一事实，将高频红色和绿色光在相机和相机之间进行通信，并且是人眼无法感知。InFrame++[5]这篇文章利用人类视觉系统的闪烁融合特性嵌入数据，它依赖于高的屏幕刷新率和相机捕获帧率实现视觉的不可感知。HiLight[6]文章通过轻微像素半透明度变化来传递信息。High-rate[7]利用高屏幕刷新率和相机捕捉速率在空间和时间域均嵌入信息提高了系统的吞吐量。上述几种方法的检测距离均在1米以内，对光感知的有效性使得上述方法存在短距离通信的弊端，同时普通屏幕的刷新率仍在60HZ，短距离和高刷新率的要求限制了技术在实际应用中的发展。因此提出适用于远距离和低刷新率的强鲁棒通信方法是非常有必要的。
技术实现思路
本专利技术提供了一种基于频率约束的相机与屏幕通信方法，本专利技术实现了远距离和低屏幕刷新率的通信，详见下文描述：一种基于频率约束的相机与屏幕通信方法，所述相机与屏幕通信方法包括以下步骤：1)基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；2)将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；3)对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；4)通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。在步骤1)之前，所述方法还包括：对每帧亮度分量进行分块离散余弦变换和取模运算，获取视频序列中每帧亮度分量的初始频域幅值图。在步骤1)之前，所述方法还包括：对输入视频序列的各帧进行亮度分量和两个色差分量的分离操作。所述基于频率约束模板对频域幅值图进行频率约束，获取能够传递信息的频域幅值图具体为：变换不同频率约束模板对频域幅值图进行约束处理，采用每隔连续的四帧图像再变换频率约束模板的形式，从而实现时间域的信息冗余。其中，所述频率约束模板，用于使频率在变换域成某些特定形状，从而进行信息携带。在步骤4)之后，所述方法还包括：将提取到的传递信息进行纠错处理。进一步地，所述将提取到的传递信息进行纠错处理具体为：判断频率约束模板变换的临界帧，即哪些临界帧是使用相同频率约束模板的连续四帧；采用投票机制里少数服从多数的原则，决定锁定的四帧具体使用的是哪种频率约束模板类型进行的频率约束。本专利技术提供的技术方案的有益效果是：1、通过对图像提取出的Y分量在频域进行频率约束，此处采取高频抑制方法，来实现图像的信息携带；2、将携带信息的Y分量与U、V分量重新合成新视频。携带信息的视频在屏幕上进行播放，相机作为接收端在较远距离的位置进行视频拍摄；3、将拍摄后视频利用频率域的能量统计直方图分析方法，分析频率的变化规律，再经过纠错机制提高准确率，进而实现通信目的；4、本专利技术的检测距离远，降低对周围实验环境的要求，在实际生活中有其一定应用价值。附图说明图1是本专利技术基于频率约束的相机与屏幕通信方法的整体流程图；图2是3种频率约束模板样例示意图；其中，(a)为未约束模板；(b)为约束两个区域的模板；(c)为约束四个区域的模板。图3是频率幅值图像块经过未截断和截断两种模板处理的具体样例示意图；图4是应用三种模板在时间域进行视频序列处理的具体情况示意图；图5是相机在2米远处对测试序列进行拍摄的场景示意图；图6是14个测试序列样例示意图；图7是远距离视频拍摄图像与旋转剪切后图像的样例示意图；其中，(a)为远距离拍摄原图；(b)为旋转剪切矫正后图像。图8是利用能量统计直方图方法从频域图提取出D维频率幅值信息的简单示例示意图；图9是未约束块和约束块通过能量统计直方图得到的曲线示意图。其中，(a)为约束区域得到的能量曲线；(b)为未约束区域得到的能量曲线。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种基于频率约束的相机与屏幕通信方法，参见图1，该相机与屏幕通信方法包括以下步骤：101：基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；102：将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；103：对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；104：通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。其中，在步骤101之前，该方法还包括：对每帧亮度分量进行分块离散余弦变换和取模运算，获取视频序列中每帧亮度分量的初始频域幅值图。其中，在步骤101之前，该方法还包括：对输入视频序列的各帧进行亮度分量和两个色差分量的分离操作。进一步地，步骤101中的基于频率约束模板对频域幅值图进行频率约束，获取能够传递信息的频域幅值图具体为：变换不同频率约束模板对频域幅值图进行约束处理，采用每隔连续的四帧图像再变换频率约束模板的形式，从而实现时间域的信息冗余。上述所述频率约束模板，用于使频率在变换域成某些特定形状，从而进行信息携带。进一步地，在步骤104之后，该方法还包括：将提取到的传递信息进行纠错处理。其中，上一步骤将提取到的传递信息进行纠错处理具体为：判断频率约束模板变换的临界帧，即哪些临界帧是使用相同频率约束模板的连续四帧；采用投票机制里少数服从多数的原则，决定锁定的四帧具体使用的是哪种频率约束模板类型进行的频率约束。综上所述，本专利技术实施例通过上述步骤101-步骤104实现了远距离和低屏幕刷新率的通信，其检测距离远，降低了本文档来自技高网...

【技术保护点】
一种基于频率约束的相机与屏幕通信方法，其特征在于，所述相机与屏幕通信方法包括以下步骤：1)基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；2)将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；3)对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；4)通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。

【技术特征摘要】
1.一种基于频率约束的相机与屏幕通信方法，其特征在于，所述相机与屏幕通信方法包括以下步骤：1)基于频率约束模板对初始频域幅值图进行频率约束，获取能够传递信息的频域幅值图；2)将传递信息的频域幅值图通过反离散余弦变换操作得到亮度分量Y，各帧亮度分量Y和色差分量U、V重新合成视频序列，获取翻拍视频，再次提取帧序列进行图像的旋转和剪切操作，得到处理后的视频序列；3)对处理后的视频序列进行各帧亮度分量的分离，对每帧亮度分量进行分块离散余弦变换和取模运算，得到待提取视频序列中每块Y分量频域幅值图；4)通过能量统计直方图从每块Y分量频域幅值图中提取幅值和曲线的拟合信息，作为检测特征向量，并输入SVM得到分类检测器，利用分类检测器对测试序列检测，提取传递信息。2.根据权利要求1所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，在步骤1)之前，所述方法还包括：对每帧亮度分量进行分块离散余弦变换和取模运算，获取视频序列中每帧亮度分量的初始频域幅值图。3.根据权利要求1所述的一种基于频率约束的相机与屏幕通信方法，其特征在于，在步骤1)...

【专利技术属性】
技术研发人员：褚晶辉，田叶，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12