一种长距离实时显示摄像通信系统及方法技术方案

本发明专利技术公开了一种长距离实时显示摄像通信系统及方法，系统包括隐藏信息输入模块、显示内容输入模块、LED显示通信组团式调制模块、LED显示屏驱动模块、LED显示屏和CMOS图像传感器、图像处理及信息解调模块；所述隐藏信息输入模块、显示内容输入模块分别与LED显示通信组团式调制模块相连，所述LED显示通信组团式调制模块将待发送信号以组团式方法调制到LED显示屏的多个相邻发光芯片上发出可见光信号，所述可见光信号在预设范围内被CMOS图像传感器捕获为图像信息，所述图像信息被发送到与所述CMOS图像传感器连接的图像处理及信息解调模块进行处理。本发明专利技术具有增强系统实用性，保障实时性和可靠性的优势，可用于如智能手机等移动设备。移动设备。移动设备。

【技术实现步骤摘要】
一种长距离实时显示摄像通信系统及方法


[0001]本专利技术涉及光通信和图像识别领域，具体涉及一种长距离实时显示摄像通信系统及方法。

技术介绍

[0002]LED显示屏广泛应用于商业传媒、文化演出、体育场馆、新闻发布、证券交易等信息传播场所，可以满足多种环境的需要。如果可以将LED显示摄像通信技术与这些场所中的LED显示屏结合，将隐藏数据快速调制到LED发光芯片上，使其在正常显示图像/视频的同时，发出人眼无法察觉的高速闪烁信号并用图像传感器接收恢复，可以实现显示和通信的双重功能。
[0003]目前的LED显示摄像通信系统只能应用在近距离通信场景。通过增大发送端发光面积和增加接收端图像传感器分辨率的方法可以提高捕获到的光信号质量以延长通信距离，LED显示屏拥有的大规模发光芯片数量恰好可以用于增加显示通信两用区域的发光面积，与此同时，高分辨率摄像头产生的大量图像数据对移动设备接收端的实时图像处理速度提出了更高的要求，影响着系统的实时长距离通信能力。

技术实现思路

[0004]本专利技术的主要目的在于针对现有LED显示摄像通信技术传输距离短、图像处理接收算法复杂导致时延的问题，提出了一种长距离实时显示摄像通信系统及方法，本专利技术使用提出的LED显示摄像通信组团技术将隐形信息以较高显示刷新率调制到LED显示屏的多个相邻发光芯片上，使其在正常显示图像/视频的同时传输人眼无法察觉到的高速隐形信息，接收方通过成像帧率较低的图像传感器在较远的一定距离内捕获LED发光芯片发出的含有隐形信息的光信号，使用提出的轻量级往返式图像处理技术实时解码获取传输的隐形信息，从而实现了一种基于LED显示屏和图像传感器的长距离实时显示摄像通信系统。
[0005]为了达到上述目的，本专利技术采用以下技术方案：
[0006]本专利技术一方面提供了一种长距离实时显示摄像通信系统，包括隐藏信息输入模块、显示内容输入模块、LED显示通信组团式调制模块、LED显示屏驱动模块、LED显示屏和CMOS图像传感器、图像处理及信息解调模块；所述隐藏信息输入模块、显示内容输入模块分别与LED显示通信组团式调制模块相连，所述LED显示通信组团式调制模块又与LED显示屏驱动模块、LED显示屏相连，所述LED显示通信组团式调制模块将待发送信号以组团式方法调制到LED显示屏的多个相邻发光芯片上发出可见光信号，所述可见光信号在预设范围内被CMOS图像传感器捕获为图像信息，所述图像信息被发送到与所述CMOS图像传感器连接的图像处理及信息解调模块进行处理；
[0007]所述隐藏信息输入模块，用于输入需要传输的待隐藏信息；
[0008]所述显示内容输入模块，用于输入需要在LED显示屏上显示的图像/视频内容；
[0009]所述LED显示通信组团式调制模块，用于将需要传输的隐藏信息正反交替重复编
码并组团式植入到待显示的图像/视频内容中，并调制成适合在LED发光芯片上发送的高刷新率合成调制信号，所述高刷新率是指150fps及以上；
[0010]所述LED显示屏驱动模块，用于放大合成调制信号的功率，将放大后的调制信号输入LED显示屏并驱动其发光；
[0011]所述LED显示屏，用于高刷新率地显示图像/视频内容，并发出含有隐藏信息的光信号，所述高刷新率是指150fps及以上；
[0012]所述CMOS图像传感器，用于低成像帧率地捕获LED显示屏发出的含有隐藏信息的光信号并生成为图像信息，所述低成像帧率是指30fps及以下；
[0013]所述图像处理及信息解调模块，用于实时处理CMOS图像传感器生成的图像信息，使用轻量级往返式图像处理技术解调恢复其中的隐藏信息。
[0014]作为优选的技术方案，所述隐藏信息输入模块是将待隐藏数字信息处理成原始二进制“0”、“1”序列。
[0015]作为优选的技术方案，所述正反交替重复编码的规则如下：
[0016]假设接收端CMOS图像传感器成像帧率为n帧/秒，设定发送端LED显示屏的显示刷新帧率为m帧/秒，且满足m＝k
×
n，其中k为根据系统各模块性能上限选取的正整数；以k作为正反交替重复编码次数，对原始二进制序列进行正反交替重复编码，对于原始二进制序列中的“0”，按照“010101
…”
正反交替重复的方式编码为扩频码片，且扩频码片长度等于k；对于原始二进制序列中的“1”，按照“101010
…”
正反交替重复的方式编码为扩频码片，且扩频码片长度等于k，原始二进制序列经正反交替重复编码后的扩频码长变为原始码长的k倍，码字“1”或“0”连续相同长度不大于2。
[0017]作为优选的技术方案，所述将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，具体为：
[0018]在原始二进制序列前插入特定的取反指示比特串“00000010”用于指示图像处理及信息解调模块译码时是否进行取反码操作；将加入了取反指示比特串的原始二进制序列按照正反交替重复编码规则进行编码，得到扩频序列，选取LED显示屏中的N个相互相邻发光芯片作为组团调制区域，进行隐形信号的信息植入，信息植入方法用以下公式描述：
[0019]LED
i
(x,y)＝b(t)
×
p
i
(x,y)，i∈[1,N][0020]其中，b(t)是随时间t变化的要进行信息植入的扩频序列，由原始二进制序列进行正反交替重复编码获得；N是组团调制区域的像素点/发光芯片总个数，且组团调制区域内的像素点/发光芯片相互相邻；p
i
(x,y)是待显示的图像/视频帧组团调制区域中第i个像素点的亮度值，(x,y)是对应像素点在图像/视频帧画面中的二维坐标；LED
i
(x,y)是LED显示屏上组团调制区域中第i个发光芯片的合成调制信号，(x,y)是对应发光芯片在LED显示屏中的二维坐标，且与p
i
(x,y)中的二维坐标逐个对应，依照上述公式运算，将b(t)与待显示的图像/视频每一帧中的p
i
(x,y)结合，因此LED
i
(x,y)将跟随b(t)变化，最终隐形信号通过LED显示屏组团调制区域中的N个相互相邻发光芯片发送，完成信息植入。
[0021]作为优选的技术方案，所述LED显示屏在合成调制信号的控制下以m帧/秒的显示刷新率显示包含有隐藏信号的图像/视频内容，且隐藏信号的波特率与显示刷新率保持一致。
[0022]作为优选的技术方案，所述CMOS图像传感器工作状态设置为低感光模式，快门时
间设置为秒，其中m为LED显示屏的显示刷新帧率。
[0023]作为优选的技术方案，所述使用轻量级往返式图像处理技术解调恢复其中的隐藏信息，具体为：
[0024]所述CMOS图像传感器工作在低感光模式，在其捕获的图像信息中，除LED显示区域外的其余区域像素亮度值接近零，先使用像素采样的方法，采样步长为L1，以L1为间距本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种长距离实时显示摄像通信系统，其特征在于，包括隐藏信息输入模块、显示内容输入模块、LED显示通信组团式调制模块、LED显示屏驱动模块、LED显示屏和CMOS图像传感器、图像处理及信息解调模块；所述隐藏信息输入模块、显示内容输入模块分别与LED显示通信组团式调制模块相连，所述LED显示通信组团式调制模块又与LED显示屏驱动模块、LED显示屏相连，所述LED显示通信组团式调制模块将待发送信号以组团式方法调制到LED显示屏的多个相邻发光芯片上发出可见光信号，所述可见光信号在预设范围内被CMOS图像传感器捕获为图像信息，所述图像信息被发送到与所述CMOS图像传感器连接的图像处理及信息解调模块进行处理；所述隐藏信息输入模块，用于输入需要传输的待隐藏信息；所述显示内容输入模块，用于输入需要在LED显示屏上显示的图像/视频内容；所述LED显示通信组团式调制模块，用于将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，并调制成适合在LED发光芯片上发送的高刷新率合成调制信号，所述高刷新率是指150fps及以上；所述LED显示屏驱动模块，用于放大合成调制信号的功率，将放大后的调制信号输入LED显示屏并驱动其发光；所述LED显示屏，用于高刷新率地显示图像/视频内容，并发出含有隐藏信息的光信号，所述高刷新率是指150fps及以上；所述CMOS图像传感器，用于低成像帧率地捕获LED显示屏发出的含有隐藏信息的光信号并生成为图像信息，所述低成像帧率是指30fps及以下；所述图像处理及信息解调模块，用于实时处理CMOS图像传感器生成的图像信息，使用轻量级往返式图像处理技术解调恢复其中的隐藏信息。2.根据权利要求1所述的一种长距离实时显示摄像通信系统，其特征在于，所述隐藏信息输入模块是将待隐藏数字信息处理成原始二进制“0”、“1”序列。3.根据权利要求1所述的一种长距离实时显示摄像通信系统，其特征在于，所述正反交替重复编码的规则如下：假设接收端CMOS图像传感器成像帧率为n帧/秒，设定发送端LED显示屏的显示刷新帧率为m帧/秒，且满足m＝k
×
n，其中k为根据系统各模块性能上限选取的正整数；以k作为正反交替重复编码次数，对原始二进制序列进行正反交替重复编码，对于原始二进制序列中的“0”，按照“010101
…”
正反交替重复的方式编码为扩频码片，且扩频码片长度等于k；对于原始二进制序列中的“1”，按照“101010
…”
正反交替重复的方式编码为扩频码片，且扩频码片长度等于k，原始二进制序列经正反交替重复编码后的扩频码长变为原始码长的k倍，码字“1”或“0”连续相同长度不大于2。4.根据权利要求3所述的一种长距离实时显示摄像通信系统，其特征在于，所述将需要传输的隐藏信息正反交替重复编码并组团式植入到待显示的图像/视频内容中，具体为：在原始二进制序列前插入特定的取反指示比特串“00000010”用于指示图像处理及信息解调模块译码时是否进行取反码操作；将加入了取反指示比特串的原始二进制序列按照正反交替重复编码规则进行编码，得到扩频序列，选取LED显示屏中的N个相互相邻发光芯片作为组团调制区域，进行隐形信号的信息植入，信息植入方法用以下公式描述：LED
i
(x,y)＝b(t)
×
p
i
(x,y),i∈[1,N]
其中，b(t)是随时间t变化的要进行信息植入的扩频序列，由原始二进制序列进行正反交替重复编码获得；N是组团调制区域的像素点/发光芯片总个数，且组团调制区域内的像素点/发光芯片相互相邻；p
i
(x,y)是待显示的图像/视频帧组团调制区域中第i个像素点的亮度值，(x,y)是对应像素点在图像/视频帧画面中的二维坐标；LED
i
(x,y)是LED显示屏上组团调制区域中第i个发光芯片的合成调制信号，(x,y)是对应发光芯片在LED显示屏中的二维坐标，且与p
i
(x,y)中的二维坐标逐个对应，依照上述公式运算，将b(t)与待显示的图像/视频每一帧中的p
i
(x,y)结合，因此LED
i
(x,y)将跟随b(t)变化，最终隐形信号通过LED显示屏组团调制区域中的N个相互相邻发光芯片发送，完成信息植入。5.根据权利要求1所述的一种长距离实时显示摄像通信系统，其特征在于，所述LED显示屏在合成调制信号的控制下以m帧/秒的显示刷新率显示包含有隐藏信号的图像/视频内容，且隐藏信号的波特率与显示刷新率保持一致。6.根据权利要求1所述的一种长距离实时显示摄像通信系统，其特征在于，所述CMOS图像传感器工作状态设置为低感光模式，快门时间设置为秒，其中m为LED显示屏的显示刷新帧率。7.根据权利要求1所述的一种长距离实时显示摄像通信系统，其特征在于，所述使用轻量级往返式图像处理技术解调恢复其中的隐藏信息，具体为：所述CMOS图像传感器工作在低感光模式，在其捕获的图像信息中，除LED显示区域外的其余区域像素亮度值接近零，先使用像素采样的方法，采样步长为L1，以L1为间距选取图像信息中的垂直列像素，分别对每一垂直列像素中距离为L1的像素点亮度值进行垂直积分处理得到积分结果，分别将各垂直列像素积分结果与设定的阈值T1进行比对，当积分结果大于T1时说明对应垂直列像素包含LED显示区域，即可得到LED显示区域的左模糊边界和右模糊边界，为了避免因采样引入的误差，再分别以左模糊边...

【专利技术属性】
技术研发人员：方俊彬，潘俊星，利靖雯，潘楚涵，余程颖，林嘉俊，
申请(专利权)人：暨南大学，
类型：发明
国别省市：