深度学习2D转3D单元像素块深度图修改方法及装置制造方法及图纸

本发明专利技术提供基于深度学习的2D转3D单元像素块深度图修改方法及装置，包括：导入深度学习网络2D转3D单元像素块深度图中提取的位置深度格式数据并生成点图；接收用户第一指令通过涂抹修改点图中位置深度点深度信息；接收用户第二指令采用图像匹配跟踪方式修改点图中位置深度点深度和位置信息；接收用户第三指令移动图像匹配跟踪方式无法追踪的位置深度点；接收用户第四指令选择点图中的位置深度点，删除该点所有生命周期内的点组成的凸包内的非所选点；接收用户第五指令选择点图中的位置并加点；以位置深度格式导出修改后的点图以供在深度学习网络2D转3D过程中使用单元像素块深度图的流程使用。能提高3D深度图像准确性，满足观众需求。

【技术实现步骤摘要】

本专利技术涉及3D领域，尤其涉及一种基于深度学习的2D转3D单元像素块深度图中提取出来的位置深度格式数据的修改方法及装置。
技术介绍
目前，深度学习发展迅速，在各个领域都出现了令人欣喜的成果。现有的专利《一种基于深度学习的2D图像转3D图像的方法及系统》是将深度学习技术用于2D转3D领域，通过学习已有的3D影片，将2D影片转为3D，现有的2D转3D技术是基于深度学习将2D单视差图像(也就是需要转制成为3D的原始图像)输出为单元像素块深度图，再通过着色器等获取2D单视差图像对应的3D图像，其效果与传统的自动2D转3D相比有显著的提高。但是该方法3D深度图像的准确性还是不能使所有镜头的效果都能够满足观众的需求。鉴于此，如何提高3D深度图像的准确性，以使2D转3D中镜头的效果满足观众的需求成为目前需要解决的技术问题。
技术实现思路
为解决上述的技术问题，本专利技术提供一种基于深度学习的2D转3D单元像素块深度图中提取出来的位置深度格式数据的修改方法及装置，能够有效地提高3D深度图像的准确性，以提高2D转3D后镜头的效果，满足观众的需求。第一方面，本专利技术提供一种基于深度学习的2D转3D单元像素块深度图中提取出来的位置深度格式数据的修改方法，包括：导入深度学习网络2D转3D的单元像素块深度图中提取出来的位置深度格式数据，生成点图，包括将位置深度格式数据储存在点图的位置深度点中，生成相应的深度图，和用彩色点标记位置深度点的位置及状态；接收用户的第一指令，根据所述第一指令通过涂抹对点图中的位置深度点的深度信息进行修改；接收用户的第二指令，根据所述第二指令采用图像匹配跟踪的方式对点图中的位置深度点的深度和位置信息进行修改；接收用户的第三指令，根据所述第三指令对点图中采用图像匹配跟踪的方式无法追踪的位置深度点进行移动；接收用户的第四指令，根据所述第四指令对点图中的位置深度点进行选择，并将所选位置深度点的所有生命周期内的位置深度点组成的凸包内的非所选位置深度点删除；接收用户的第五指令，根据所述第五指令选择点图中的位置，并在所选的位置加位置深度点；将修改后的点图以位置深度格式数据导出，以供在深度学习网络2D转3D过程中使用上述单元像素块深度图的流程使用。可选地，所述彩色点包括：黄色的方点、绿色的方点、红色的方点、紫色的方点、红色单箭头和绿色双箭头；所述黄色的方点表示所述点图中孤立位置深度点；所述绿色的方点表示所述点图中连续位置深度点好的部分，叫做好点，好点既有位置又有深度；所述红色的方点表示所述点图中连续位置深度点坏的部分，叫做坏点，坏点只有位置没有深度；所述红色单箭头表示根据方向分别指前面的帧或后面的帧是坏点，其在当前帧是好点；所述红色单箭头还表示没有追上回滚的位置深度点，表示前面或后面没追上；所述绿色双箭头表示新加的位置深度点，生命周期只在当前帧，即孤立位置深度点；所述紫色的方点表示选中的位置深度点，如果在位置深度点的生命周期内，显示当前帧应在的位置，如果超出了生命周期，显示最近的位置关键帧所在的位置；其中，有位置指的是本帧本身是位置关键帧，或本帧不是位置关键帧但是它前面和后面都有位置关键帧；有深度指的是本帧本身是深度关键帧，或本帧不是深度关键帧但是它前面和后面都有深度关键帧。可选地，在根据所述第一指令通过涂抹对点图中的位置深度点的深度进行修改时，还包括：根据所述第一指令选择是否显示彩色点，是否显示灰度图，是否显示原图，是否显示交错图，是否显示等高线图，是否叠加半透的深度图。可选地，所述图像匹配跟踪的方式，包括：全局单向孤立式追踪、局部单向孤立式追踪、全局单向连续式追踪、局部单向连续式追踪、全局交叉孤立式追踪和全局交叉连续式追踪；其中：所述全局单向孤立式追踪，包括：单向追踪，赋值起始位置深度点的深度值和追踪得到的位置信息，删除追踪的帧的位置深度点，以孤立位置深度点的方式保存；所述局部单向孤立式追踪，包括：单向追踪，赋值起始位置深度点的深度值和追踪得到的位置信息，删除追踪帧追上的位置深度点组成的凸包范围内的位置深度点，以孤立位置深度点的方式保存；所述全局单向连续式追踪，包括：单向追踪，赋值追踪的位置，删除追踪的帧的位置深度点，以连续位置深度点的方式保存，未追上的位置深度点回滚到起始帧，标记追踪方向的红色单向箭头，追踪结束时寻找最近的位置深度点的深度信息赋予深度值；所述局部单向连续式追踪，包括：单向追踪，赋值追踪的位置，删除追踪帧追上的位置深度点组成的凸包范围内的位置深度点，以连续位置深度点的方式保存，未追上的位置深度点回滚到起始帧，标记追踪方向的红色单向箭头，追踪结束时寻找最近的位置深度点的深度赋予深度值；所述全局交叉孤立式追踪，包括：进行两遍全局单向孤立式追踪，但只在第一遍删除位置深度点；所述全局交叉连续式追踪，包括：进行两遍全局单向连续式追踪，但只在第一遍删除位置深度点。第二方面，本专利技术提供一种基于深度学习的2D转3D单元像素块深度图中提取出来的位置深度格式数据的修改装置，包括：导入模块，用于导入深度学习网络2D转3D的单元像素块深度图中提取出来的位置深度格式数据，生成点图，包括将位置深度格式数据储存在点图的位置深度点中，生成相应的深度图，和用彩色点标记位置深度点的位置及状态；涂抹模块，用于接收用户的第一指令，根据所述第一指令通过涂抹对点图中的位置深度点的深度信息进行修改；跟踪模块，用于接收用户的第二指令，根据所述第二指令采用图像匹配跟踪的方式对点图中的位置深度点的深度和位置信息进行修改；移动模块，用于接收用户的第三指令，根据所述第三指令对点图中采用图像匹配跟踪的方式无法追踪的位置深度点进行移动；删除模块，用于接收用户的第四指令，根据所述第四指令对点图中的位置深度点进行选择，并将所选位置深度点的所有生命周期内的位置深度点组成的凸包内的非所选位置深度点删除；加点模块，用于接收用户的第五指令，根据所述第五指令选择点图中的位置，并在所选的位置加位置深度点；导出模块，用于将修改后的点图以位置深度的格式导出，以供在深度学习网络2D转3D过程中使用上述单元像素块深度图的流程使用。可选地，所述彩色点包括：黄色的方点、绿色的方点、红色的方点、紫色的方点、红色单箭头和绿色双箭头；所述黄色的方点表示所述点图中孤立位置深度点；所述绿色的方点表示所述点图中连续位置深度点好的部分，叫做好点，好点既有位置又有深度；所述红色的方点表示所述点图中连续位置深度点坏的部分，叫做坏点，坏点只有位置没有深度；所述红色单箭头表示根据方向分别指前面的帧或后面的帧是坏点，其在当前帧是好点；所述红色单箭头还表示没有追上回滚的位置深度点，表示前面或后面没追上；所述绿色双箭头表示新加的位置深度点，生命周期只在当前帧，即孤立位置深度点；所述紫色的方点表示选中的位置深度点，如果在位置深度点的生命周期内，显示当前帧应在的位置，如果超出了生命周期，显示最近的位置关键帧所在的位置；其中，有位置指的是本帧本身是位置关键帧，或本帧不是位置关键帧但是它前面和后面都有位置关键帧；有深度指的是本帧本身是深度关键帧，或本帧不是深度关键帧但是它前面和后面都有深度关键帧。可选地，所述涂抹模块，还用于根据所述第一指令选择是否显示彩色点，是否显示灰度图，是否显示原图，是否显示交错图，是否显示等本文档来自技高网...

【技术保护点】
一种基于深度学习的2D转3D单元像素块深度图中提取出来的位置深度格式数据的修改方法，其特征在于，包括：导入深度学习网络2D转3D的单元像素块深度图中提取出来的位置深度格式数据，生成点图，包括将位置深度格式数据储存在点图的位置深度点中，生成相应的深度图，和用彩色点标记位置深度点的位置及状态；接收用户的第一指令，根据所述第一指令通过涂抹对点图中的位置深度点的深度信息进行修改；接收用户的第二指令，根据所述第二指令采用图像匹配跟踪的方式对点图中的位置深度点的深度和位置信息进行修改；接收用户的第三指令，根据所述第三指令对点图中采用图像匹配跟踪的方式无法追踪的位置深度点进行移动；接收用户的第四指令，根据所述第四指令对点图中的位置深度点进行选择，并将所选位置深度点的所有生命周期内的位置深度点组成的凸包内的非所选位置深度点删除；接收用户的第五指令，根据所述第五指令选择点图中的位置，并在所选的位置加位置深度点；将修改后的点图以位置深度格式数据导出，以供在深度学习网络2D转3D过程中使用上述单元像素块深度图的流程使用。

【技术特征摘要】
1.一种基于深度学习的2D转3D单元像素块深度图中提取出来的位置深度格式数据的修改方法，其特征在于，包括：导入深度学习网络2D转3D的单元像素块深度图中提取出来的位置深度格式数据，生成点图，包括将位置深度格式数据储存在点图的位置深度点中，生成相应的深度图，和用彩色点标记位置深度点的位置及状态；接收用户的第一指令，根据所述第一指令通过涂抹对点图中的位置深度点的深度信息进行修改；接收用户的第二指令，根据所述第二指令采用图像匹配跟踪的方式对点图中的位置深度点的深度和位置信息进行修改；接收用户的第三指令，根据所述第三指令对点图中采用图像匹配跟踪的方式无法追踪的位置深度点进行移动；接收用户的第四指令，根据所述第四指令对点图中的位置深度点进行选择，并将所选位置深度点的所有生命周期内的位置深度点组成的凸包内的非所选位置深度点删除；接收用户的第五指令，根据所述第五指令选择点图中的位置，并在所选的位置加位置深度点；将修改后的点图以位置深度格式数据导出，以供在深度学习网络2D转3D过程中使用上述单元像素块深度图的流程使用。2.根据权利要求1所述的方法，其特征在于，所述彩色点包括：黄色的方点、绿色的方点、红色的方点、紫色的方点、红色单箭头和绿色双箭头；所述黄色的方点表示所述点图中孤立位置深度点；所述绿色的方点表示所述点图中连续位置深度点好的部分，叫做好点，好点既有位置又有深度；所述红色的方点表示所述点图中连续位置深度点坏的部分，叫做坏点，坏点只有位置没有深度；所述红色单箭头表示根据方向分别指前面的帧或后面的帧是坏点，其在当前帧是好点；所述红色单箭头还表示没有追上回滚的位置深度点，表示前面或后面没追上；所述绿色双箭头表示新加的位置深度点，生命周期只在当前帧，即孤立位置深度点；所述紫色的方点表示选中的位置深度点，如果在位置深度点的生命周期内，显示当前帧应在的位置，如果超出了生命周期，显示最近的位置关键帧所在的位置；其中，有位置指的是本帧本身是位置关键帧，或本帧不是位置关键帧但是它前面和后面都有位置关键帧；有深度指的是本帧本身是深度关键帧，或本帧不是深度关键帧但是它前面和后面都有深度关键帧。3.根据权利要求1所述的方法，其特征在于，在根据所述第一指令通过涂抹对点图中的位置深度点的深度进行修改时，还包括：根据所述第一指令选择是否显示彩色点，是否显示灰度图，是否显示原图，是否显示交错图，是否显示等高线图，是否叠加半透的深度图。4.根据权利要求1所述的方法，其特征在于，所述图像匹配跟踪的方式，包括：全局单向孤立式追踪、局部单向孤立式追踪、全局单向连续式追踪、局部单向连续式追踪、全局交叉孤立式追踪和全局交叉连续式追踪；其中：所述全局单向孤立式追踪，包括：单向追踪，赋值起始位置深度点的深度值和追踪得到的位置信息，删除追踪的帧的位置深度点，以孤立位置深度点的方式保存；所述局部单向孤立式追踪，包括：单向追踪，赋值起始位置深度点的深度值和追踪得到的位置信息，删除追踪帧追上的位置深度点组成的凸包范围内的位置深度点，以孤立位置深度点的方式保存；所述全局单向连续式追踪，包括：单向追踪，赋值追踪的位置，删除追踪的帧的位置深度点，以连续位置深度点的方式保存，未追上的位置深度点回滚到起始帧，标记追踪方向的红色单向箭头，追踪结束时寻找最近的位置深度点的深度信息赋予深度值；所述局部单向连续式追踪，包括：单向追踪，赋值追踪的位置，删除追踪帧追上的位置深度点组成的凸包范围内的位置深度点，以连续位置深度点的方式保存，未追上的位置深度点回滚到起始帧，标记追踪方向的红色单向箭头，追踪结束时寻找最近的位置深度点的深度赋予深度值；所述全局交叉孤立式追踪，包括：进行两遍全局单向孤立式追踪，但只在第一遍删除位置深度点；所述全局交叉连续式追踪，包括：进行两遍全局单向连续式追踪，但只在第一遍删除位置深度点。5.一种基于深度学习的...

【专利技术属性】
技术研发人员：赵天奇，渠源，李桂楠，
申请(专利权)人：十二维度北京科技有限公司，
类型：发明
国别省市：北京;11