一种深度感知计算的存储控制方法及装置制造方法及图纸

本发明专利技术公开了一种深度感知计算的存储控制方法及装置，所述方法将经过二值化处理后的一组结构光编码图像序列，按照设定的写入映射规则依次读取所述结构光编码图像序列的每帧图像中用于拼接二值化拼接图像的每部分图像数据，通过读写控制器将用于拼接成二值化拼接图像的每部分写入到存储器中进行存储，生成一帧完整的二值化拼接图像；再通过地址映射的改变，将所生成的二值化拼接图像在存储器内的某个位置进行固化；在使用时连续读出一帧或多帧二值化拼接图像，作为参考编码图像用于深度感知计算。同时，基于相应的方法功能实现了一种深度感知计算存储控制装置，通过模块划分，有助于应用管理，优化硬件实现的深度感知计算结构和面积、提高计算速度。

【技术实现步骤摘要】
一种深度感知计算的存储控制方法及装置
本专利技术属于图像处理、自然交互和集成电路
，具体涉及一种深度感知计算的存储控制方法及装置。
技术介绍
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令，其中，深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印等领域有着广泛的应用前景。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到物体表面进行编码，由图像传感器采集获得红外编码图像，再通过深度感知计算获得物体的深度信息。未来一段时间内基于结构光编码的三维深度感知技术将占据主流地位。利用存储设备将已知深度信息的红外编码图像作为参考编码图像进行存储，在使用时将所存储的编码图像输出用于深度计算，方便利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。通过将深度感知计算用硬件实现，可以具有结构简单、硬件开销小、可实时生成高分辨率的深度图序列的优点，然而如何对编码图像进行高效存储，对数据输入输出协议的支持以及节省硬件资源开销是将深度感知计算用硬件实现需要面对的问题。
技术实现思路
鉴于此，本专利技术提供了一种深度感知计算的存储控制方法及装置，用于满足深度感知计算对二值化结构光编码图像读写的存储控制，通过设定的写入flash映射关系，将多帧输入二值化编码图像进行拼接得到一帧二值化拼接图像，再将一帧或多帧二值化拼接图像在存储器中进行固化，在使用时读取出来作为参考编码图像用于三维深度感知模块的块匹配视差计算和深度计算。为实现以上专利技术目的，一种深度感知计算的存储控制方法，所述方法通过将经过二值化处理后的一组结构光编码图像序列，按照设定的写入映射规则依次读取所述结构光编码图像序列的每帧图像中用于拼接二值化拼接图像的每部分图像数据，通过读写控制器将用于拼接成二值化拼接图像的每部分写入到存储器中进行存储，生成一帧完整的二值化拼接图像；再通过地址映射的改变，可以将所生成的二值化拼接图像在存储器内的某个位置进行固化；其中：所述一组结构光编码图像序列是由激光投射器投射在与其光轴(Z轴)垂直的投射平面上、经摄像头连续采集获得的编码图像，其激光投射器与摄像头的光轴平行、基线距离为S，投射平面沿光轴与摄像头、激光投射器的垂直距离为已知距离d；所述二值化拼接图像为一种参考编码图像，用于与经过相同二值化处理后的结构光编码图像序列图像进行块匹配视差计算，输出偏移量表示的视差图，用于深度感知计算；所述深度感知计算为结合摄像头焦距f、摄像头图像传感器点距μ、激光投射器与摄像头的基线距离S、视差图的偏移量参数Δm(Δx或Δy)和参考编码图像的已知距离参数d，根据深度计算公式得到对应的深度值d′：一种深度感知计算的存储控制装置，所述装置包括写入映射模块、读写控制模块以及存储器；所述写入映射模块用于将经过二值化处理后一组结构光编码图像序列按照设定的写入映射规则依次读取所述结构光编码图像序列的每帧图像中用于拼接二值化拼接图像的每部分图像数据；所述读写控制模块将用于拼接成二值化拼接图像的每部分图像数据写入到存储器中进行存储生成一帧完整的二值化拼接图像；所述读写控制模块再通过地址映射的改变，将所生成的二值化拼接图像在存储器内的某个位置进行固化；其中：所述一组结构光编码图像序列是由激光投射器投射在与其光轴(Z轴)垂直的投射平面上、经摄像头连续采集获得的编码图像，其激光投射器与摄像头的光轴平行、基线距离为S，投射平面沿光轴与摄像头、激光投射器的垂直距离为已知距离；所述二值化拼接图像为一种参考编码图像，用于与经过二值化处理后的结构光编码图像序列图像进行块匹配视差计算，输出偏移量表示的视差图，用于深度感知计算；所述深度感知计算为结合摄像头焦距f、摄像头图像传感器点距μ、激光投射器与摄像头的基线距离S、视差图的偏移量参数Δm(Δx或Δy)和参考编码图像的已知距离参数d，根据深度计算公式得到对应的深度值d′：本专利技术通过所述方法利用存储设备将多帧二值化拼接图像作为参考编码图像进行存储，在使用时再将存储的二值化拼接图像输出用于深度计算，方便利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉。基于所述方法实现的装置，通过用硬件完成方法的功能实现，将有助于优化已实现了深度感知计算的方法或装置，提高深度感知计算的性能。附图说明图1是本专利技术实施例的在存储器中写入生成二值化拼接图像方法示意图；图2是本专利技术实施例的n条行存结构示意图；图3是本专利技术实施例的采用串口flash存储器生成二值化拼接图像的方法示意图；图4是本专利技术实施例中采用串口flash存储器实现深度感知计算存储控制方法示意图。具体实施方式在一个基础实施例中，所述方法通过将经过二值化处理后的一组结构光编码图像序列，按照设定的写入映射规则依次读取所述结构光编码图像序列的每帧图像中用于拼接二值化拼接图像的每部分图像数据，通过读写控制器将用于拼接成二值化拼接图像的每部分写入到存储器中进行存储，生成一帧完整的二值化拼接图像；再通过地址映射的改变，将所生成的二值化拼接图像在存储器内的某个位置进行固化；其中：所述一组结构光编码图像序列是由激光投射器投射在与其光轴(Z轴)垂直的投射平面上、经摄像头连续采集获得的编码图像，其激光投射器与摄像头的光轴平行、基线距离为S，投射平面沿光轴与摄像头、激光投射器的垂直距离为已知距离d；所述二值化拼接图像为一种参考编码图像，用于与经过相同二值化处理后的结构光编码图像序列图像进行块匹配视差计算，输出偏移量表示的视差图，用于深度感知计算；所述深度感知计算为结合摄像头焦距f、摄像头图像传感器点距μ、结构光投射器与摄像头的基线距离S、视差图的偏移量参数Δm(Δx或Δy)和参考编码图像的已知距离参数d，根据深度计算公式得到对应的深度值d′：在这个实施例中，提供了一种存储用于深度感知计算所需的参考编码图像的方法，所述方法不关注存储器的形式，也不关注具体的写入映射关系，只要存储的图像信息能够用于实施例中的深度感知计算即可。而将用于深度感知计算用的图像信息进行存储并固化，在使用时再将存储的深度感知信息输出用于深度计算，方便利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。所述二值化处理由灰度图像转为“0、1”表示的二值化编码图像，其中“1”表示散斑点或编码符号，如激光散斑图像、M阵列符号编码图像或其它结构光编码图像，包括视频格式转换(如Bayer、ITU601、ITU656、MIPI接口格式转换)、色度空间转换、灰度图像自适应去噪和二值化增强等。其目的是通过对输入结构光编码图像的预处理，使所投射的图形更清晰、减少噪声干扰，有利于后续的深度感知计算。在这个实施例中，一帧二值化拼接图像由一组结构光编码图像序列生成并且固化，不同组结构光编码图像序列的图像数据内容不同，可根据不同参数得到，包括调节不同的已知距离d、调节不同的图像传感器焦距f等参数。并且不同组结构光编码图像序列的图像数据内容也可能根据不同应用环境得到，如温度、湿度、激光投射器工作温度或时间长短等本文档来自技高网...

【技术保护点】
一种深度感知计算的存储控制方法及装置，其特征在于：所述方法通过将经过二值化处理后的一组结构光编码图像序列，按照设定的写入映射规则依次读取所述结构光编码图像序列的每帧图像中用于拼接二值化拼接图像的每部分图像数据，通过读写控制器将用于拼接成二值化拼接图像的每部分写入到存储器中进行存储，生成一帧完整的二值化拼接图像；再通过地址映射的改变，将所生成的二值化拼接图像在存储器内的某个位置进行固化；其中：所述一组结构光编码图像序列是由激光投射器投射在与其光轴(Z轴)垂直的投射平面上、经摄像头连续采集获得的编码图像，其激光投射器与摄像头的光轴平行、基线距离为S，投射平面沿光轴与摄像头、激光投射器的垂直距离为已知距离d；所述二值化拼接图像为一种参考编码图像，用于与经过相同二值化处理后的结构光编码图像序列图像进行块匹配视差计算，输出偏移量表示的视差图，用于深度感知计算；所述深度感知计算为结合摄像头焦距f、摄像头图像传感器点距μ、结构光投射器与摄像头的基线距离S、视差图的偏移量参数Δm(Δx或Δy)和参考编码图像的已知距离参数d，根据深度计算公式得到对应的深度值d1：d1=d-Δmμd2fS+Δmμd=fSdfS+Δmμd.]]>...

【技术特征摘要】
1.一种深度感知计算的存储控制方法，其特征在于：所述方法通过将经过二值化处理后的一组结构光编码图像序列，按照设定的写入映射规则依次读取所述结构光编码图像序列的每帧图像中用于拼接二值化拼接图像的每部分图像数据，通过读写控制器将用于拼接成二值化拼接图像的每部分写入到存储器中进行存储，生成一帧完整的二值化拼接图像；再通过地址映射的改变，将所生成的二值化拼接图像在存储器内的某个位置进行固化；其中：所述一组结构光编码图像序列是由激光投射器投射在与其光轴垂直的投射平面上、经摄像头连续采集获得的编码图像，其激光投射器与摄像头的光轴平行、基线距离为S，投射平面沿光轴与摄像头、激光投射器的垂直距离为已知距离d；所述二值化拼接图像为一种参考编码图像，用于与经过相同二值化处理后的结构光编码图像序列图像进行块匹配视差计算，输出偏移量表示的视差图，用于深度感知计算；所述深度感知计算为结合摄像头焦距f、摄像头图像传感器点距μ、结构光投射器与摄像头的基线距离S、视差图的偏移量参数Δm和参考编码图像的已知距离参数d，根据深度计算公式得到对应的深度值d′：2.根据权利要求1所述的方法，其特征在于：所述存储器为支持SPI/QPI接口协议的串口flash。3.根据权利要求2所述的方法，其特征在于：所述二值化拼接图像的生成方法步骤为：S1、按照设定的写入映射规则依次将用于拼接成二值化拼接图像的一部分图像数据放入缓存；S2、通过读写控制器将缓存中的数据每次以页为单位写入到串口flash存储器中，直到该页数据写完；S3、检查缓存中数据是否全部写入串口flash存储器中，如果缓存中还有数据，则重复步骤S2，否则执行步骤S4；S4、检查用于拼接成二值化拼接图像的该组结构光编码图像序列中的图像的所有数据是否都写入串口flash存储器中，如果是，则生成一帧二值化拼接图像；否则，则重新执行步骤S1～S3。4.根据权利要求1所述的方法，其特征在于：所述写入映射规则：将第x帧输入二值化编码图像的第(x-1)×n+1到第x×n行图像数据输入到缓存进行存储；所述n的大小根据存储器设置，并且保证在一帧的时间里，读写控制器能够将n行数据存储到存储器中。5.根据权利要求1所述的方法，其特征在于：所述读写控制器能够同时存储生成多帧二值化拼接图像；在使用时，所述读写控制器能够读出一帧或多帧二值化拼接图像；所述多帧二值化拼接图像分别由多组结构光编码图像序列生成。6.一种深度感知计算的存储控制装置，其...

【专利技术属性】
技术研发人员：葛晨阳，周艳辉，
申请(专利权)人：宁波盈芯信息科技有限公司，
类型：发明
国别省市：浙江;33