基于红外结构光的多人图像实时提取与合成方法技术

本发明专利技术公开了一种基于红外结构光的多人图像实时提取与合成方法，通过红外结构光给目标图像增加了深度信息，利用深度信息检测目标的边界，能够实时将所有视频会议的参会者从各自的视频图像中提取出来，然后合成到一副图像中，从而增加参会者的信息获取，改善用户体验。本发明专利技术采用的装置简单，成本较低，算法复杂度小，可以实时处理视频图像，拥有很好的实用价值。

【技术实现步骤摘要】

本专利技术属于图像处理、计算机视觉和光学工程
，特指一种基于红外结构光的多人图像实时提取与合成方法。
技术介绍
视频会议是利用计算机技术和通信设备通过传输信道在两点或多个地点之间建立可视多媒体通信，实现图像、语音及数据交流的一种会议形式。在召开视频会议的时候，处于不同地点的参会代表可以接收到对方会场的声音和会场场景，使参会代表就像处于同一会场参加会议一样，这样可以显著提高工作效率。当前，关于视频会议的研究与应用初步实现了跨地域的人们进行面对面的研讨与协同工作，但是仍存在以下不足之处：(1)信息获取的不完整，在视频会议中，参会者无法在同一时刻获得所有参会者的视音频信息；(2)会议的空间感与真实感不强，不同会场的参会者对整个会议的感知没有空间感，无法构造真实的交谈环境。
技术实现思路
针对现有技术存在的不足，本专利技术提出一种基于红外结构光的多人图像实时提取与合成方法。本专利技术将所有视频会议的参会者从各自的视频图像中提取出来，然后合成到一副图像中，从而增加参会者的信息获取，改善用户体验。本专利技术采用的装置简单，成本较低，算法复杂度小，可以实时处理视频图像，拥有很好的实用价值。为了实现上述技术目的，本专利技术采用的技术方案是：一种基于红外结构光的多人图像实时提取与合成方法，包括以下步骤：S1、采集目标(其中一个参会者)的红外结构光图像以及RGB图像利用红外激光发射器以及带有红外滤光片的图像采集设备采集目标的红外结构光图像以及RGB图像，方法如下：当红外激光发射器开启时，发射出多条竖条直线到目标的表面，这时图像采集设备采集到目标的红外结构光图像；当红外激光发射器关闭时，图像采集设备采集到的是目标的RGB图像；在对目标进行图像采集时，将红外激光发射器按照一定的频率进行开启和关闭，使得图像采集设备依次获得目标的红外结构光图像和RGB图像，记相邻一次开启和关闭红外激光发射器得到的红外结构光图像为F(x,y)，RGB图像为P(x,y,z)，两幅图像的大小为M×N；S2、对红外结构光图像F(x,y)进行预处理，得到灰度图像F2(x,y)；S3、对图像F2(x,y)进行二值化，记二值化图像为F3(x,y)；S4、对F3(x,y)进行边缘检测，然后将四个边缘检测结果图像进行融合，获得边缘信息图像，记为FD(x,y)；S5、对FD(x,y)进行图像处理，去除一些孤立点，得到的新图像记为FD4(x,y)；S6、二值图像FD4(x,y)的非零点就是目标的外边界，有些边界存在断裂，这是选择断裂处的前面两个点和后面两个点，一共4个点进行平均，得到的结果对该处进行插值，这样得到一个闭合的外边界图像FD5(x,y)；S7、根据外边界图像FD5(x,y)对目标图像为P(x,y,z)进行目标分割，提取出目标部分的图像。S8、采用S1至S7中的方法，分别对不同地点的参会者进行图像提取，然后把提取出的图像放入提前设置好的一张大图上，这样就得到了一张包括所有参会者的合成图像。本专利技术的S2中，对红外结构光图像F(x,y)进行预处理，方法如下：首先，遍历F(x,y)的所有像素，对每个像素采用一个3×3的模板，对模板窗口内所有的像素点按照像素点的像素值大小进行排序，找出其中的最大值和最小值，记为噪点，进行删除，然后对剩余7个点进行平均，将均值赋给当前像素即模板窗口的中心像素，记处理后的红外结构光图像为F1(x,y)；然后，对于滤波后的图像F1(x,y)采用拉普拉斯算子对F1(x,y)进行滤波，得到新的图像记为F2(x,y)，公式如下：其中表示做卷积运算。本专利技术的S3中，采用经典的最大类间方差法对图像F2(x,y)进行二值化，只保留图像F2(x,y)上的亮条纹信息，记二值化图像为F3(x,y)。(最大类间方差法是由日本学者大津(NobuyukiOtsu)于1979年提出的,是一种自适应的阈值确定的方法,又叫大津法,简称OTSU。本专利完全按照这个方法操作，而且这个方法网上有源代码下载，直接调用)本专利技术中，S4的实现方法如下：S41根据红外竖条结构光图像的特点，设计四种新模板，如下：S42将二值化图像为F3(x,y)分别和四种新模板进行卷积，然后通过阈值进行二值化，得到四个二值化图像{FDi(x,y)|i＝1,2,3,4本文档来自技高网...

【技术保护点】
一种基于红外结构光的多人图像实时提取与合成方法，其特征在于，包括以下步骤：S1、采集目标的红外结构光图像以及RGB图像利用红外激光发射器以及带有红外滤光片的图像采集设备采集目标的红外结构光图像以及RGB图像，方法如下：当红外激光发射器开启时，发射出多条竖条直线到目标的表面，这时图像采集设备采集到目标的红外结构光图像；当红外激光发射器关闭时，图像采集设备采集到的是目标的RGB图像；在对目标进行图像采集时，将红外激光发射器按照一定的频率进行开启和关闭，使得图像采集设备依次获得目标的红外结构光图像和RGB图像，记相邻一次开启和关闭红外激光发射器得到的红外结构光图像为F(x,y)，RGB图像为P(x,y,z)，两幅图像的大小为M×N；S2、对红外结构光图像F(x,y)进行预处理，得到灰度图像F2(x,y)；S3、对图像F2(x,y)进行二值化，记二值化图像为F3(x,y)；S4、对F3(x,y)进行边缘检测，然后将四个边缘检测结果图像进行融合，获得边缘信息图像，记为FD(x,y)；S5、对FD(x,y)进行图像处理，去除一些孤立点，得到的新图像记为FD4(x,y)；S6、二值图像FD4(x,y)的非零点就是目标的外边界，有些边界存在断裂，这是选择断裂处的前面两个点和后面两个点，一共4个点进行平均，得到的结果对该处进行插值，这样得到一个闭合的外边界图像FD5(x,y)；S7、根据外边界图像FD5(x,y)对目标图像为P(x,y,z)进行目标分割，提取出目标部分的图像；S8、采用S1至S7中的方法，分别对不同地点的参会者进行图像提取，然后把提取出的图像放入提前设置好的一张大图上，这样就得到了一张包括所有参会者的合成图像。...

【技术特征摘要】
1.一种基于红外结构光的多人图像实时提取与合成方法，其特征在于，包括以下步骤：S1、采集目标的红外结构光图像以及RGB图像利用红外激光发射器以及带有红外滤光片的图像采集设备采集目标的红外结构光图像以及RGB图像，方法如下：当红外激光发射器开启时，发射出多条竖条直线到目标的表面，这时图像采集设备采集到目标的红外结构光图像；当红外激光发射器关闭时，图像采集设备采集到的是目标的RGB图像；在对目标进行图像采集时，将红外激光发射器按照一定的频率进行开启和关闭，使得图像采集设备依次获得目标的红外结构光图像和RGB图像，记相邻一次开启和关闭红外激光发射器得到的红外结构光图像为F(x,y)，RGB图像为P(x,y,z)，两幅图像的大小为M×N；S2、对红外结构光图像F(x,y)进行预处理，得到灰度图像F2(x,y)；S3、对图像F2(x,y)进行二值化，记二值化图像为F3(x,y)；S4、对F3(x,y)进行边缘检测，然后将四个边缘检测结果图像进行融合，获得边缘信息图像，记为FD(x,y)；S5、对FD(x,y)进行图像处理，去除一些孤立点，得到的新图像记为FD4(x,y)；S6、二值图像FD4(x,y)的非零点就是目标的外边界，有些边界存在断裂，这是选择断裂处的前面两个点和后面两个点，一共4个点进行平均，得到的结果对该处进行插值，这样得到一个闭合的外边界图像FD5(x,y)；S7、根据外边界图像FD5(x,y)对目标图像为P(x,y,z)进行目标分割，提取出目标部分的图像；S8、采用S1至S7中的方法，分别对不同地点...

【专利技术属性】
技术研发人员：罗文峰，
申请(专利权)人：深圳市优象计算技术有限公司，
类型：发明
国别省市：广东;44