信息处理方法、信息处理装置和非易失性存储介质制造方法及图纸

本发明专利技术提供能够适当地应用效果的信息处理方法、信息处理装置和非易失性存储介质。信息处理方法包括位置信息检测处理、效果处理和显示处理。在位置信息检测处理中，基于通过ToF传感器获取的深度数据来检测真实物体的距离信息。在效果处理中，基于检测到的真实物体的距离信息来进行真实物体与由CG生成的AR物体的遮蔽处理。在显示处理中，将遮蔽处理的结果显示在显示器上。显示在显示器上。显示在显示器上。

Information processing method, information processing device and nonvolatile storage medium

【技术实现步骤摘要】
信息处理方法、信息处理装置和非易失性存储介质


[0001]本专利技术涉及信息处理方法、信息处理装置和非易失性存储介质。

技术介绍

[0002]使用AR(增强现实：Augmented Reality)技术对照片和视频赋予效果(
エフェクト
)的技术已被公众所知。例如，将由CG(计算机图形：Computer Graphics)生成的AR物体重叠在用相机拍摄的真实物体的影像上。由此，生成了如同处于异空间的影像。
[0003]现有技术文献
[0004]专利文献1US2020326830A1
[0005]为了生成逼真的影像，需要真实物体与AR物体的准确的位置关系。如果效果的应用位置偏移，则存在给观众带来违和感的可能性。

技术实现思路

[0006]因此，本专利技术提供能够适当地应用效果的信息处理方法、信息处理装置和非易失性存储介质。
[0007]根据本专利技术，提供了一种信息处理方法，其通过计算机执行如下步骤：基于通过ToF传感器获取的深度数据，检测真实物体的距离信息；根据检测到的所述真实物体的距离信息，进行所述真实物体和由CG生成的AR物体的遮蔽(
オクルージョン
)处理；以及将所述遮蔽处理的结果显示在显示器上。此外，根据本专利技术，提供了信息处理装置和非易失性存储介质，所述信息处理装置执行所述信息处理方法的信息处理，并且所述非易失性存储介质存储使计算机实现所述信息处理的程序。
附图说明
[0008]图1是示出了信息处理装置的概略结构的图。
[0009]图2是信息处理装置的功能框图。
[0010]图3是示出了效果处理的示例的图。
[0011]图4是示出了效果处理的另一示例的图。
[0012]图5是示出了效果处理的另一示例的图。
[0013]图6是示出了触发的检测方法的示例的图。
[0014]图7是示出了触发的检测方法的示例的图。
[0015]图8是示出了动作检测部检测的手势的示例的图。
[0016]图9是示出了信息处理装置实施的信息处理的示例的图。
[0017]图10是示出了信息处理装置实施的信息处理的示例的图。
[0018]图11是示出了信息处理装置实施的信息处理的另一示例的图。
[0019]图12是示出了信息处理装置实施的信息处理的另一示例的图。
[0020]图13是示出了信息处理的变形例的图。
[0021]图14是示出了信息处理的变形例的图。
[0022]图15是示出了信息处理装置实施的信息处理的另一示例的图。
[0023]图16是示出了信息处理装置的硬件结构示例的图。
[0024]附图标记说明
[0025]1 信息处理装置
[0026]11 位置信息检测部
[0027]12 姿态检测部
[0028]13 效果处理部
[0029]14 触发检测部
[0030]141 深度图像生成部
[0031]142 接点信息检测部
[0032]143 动作检测部
[0033]144 判定部
[0034]20 相机
[0035]30 ToF传感器
[0036]50 显示器
[0037]80 程序存储部(非易失性存储介质)
[0038]81 程序
[0039]AROB AR物体
[0040]CM 影像
[0041]DM 深度图像
[0042]ROB 真实物体
[0043]TOB 触发物体
具体实施方式
[0044]在下文中，基于附图对本专利技术的实施方式进行详细地说明。在下面的各实施方式中，对相同的部分标注相同的附图标记，并省略其重复说明。
[0045]另外，将按照以下的顺序进行说明。
[0046](1.信息处理装置的结构)
[0047](2.信息处理方法)
[0048](2－1.处理例1)
[0049](2－2.处理例2)
[0050](2－3.其他处理例)
[0051](3.硬件结构示例)
[0052](4.效果)
[0053](1.信息处理装置的结构)
[0054]图1是示出了信息处理装置1的概略结构的图。
[0055]信息处理装置1是处理照片和视频等各种信息的电子设备。信息处理装置1例如在前面侧具有显示器50，并且在背面侧具有相机20和ToF(飞行时间：Time of Flight)传感器
30。
[0056]相机20例如是能够切换超广角、广角和长焦距的复眼相机。ToF传感器30例如是针对每个像素检测距离信息(深度信息)的距离图像传感器。测距方式可以是dToF(直接飞行时间：direct ToF)和iToF(间接飞行时间：indirect ToF)中的任一种。作为距离信息的检测方法，可以仅利用ToF传感器30的数据，也可以使用ToF传感器30和相机20的输出数据进行检测，并且还可以利用AI(人工智能：Artificial Intelligence)技术来根据相机20的数据计算距离信息。
[0057]作为显示器50，使用LCD(液晶显示器：Liquid Crystal Display)和OLED(有机发光二极管：Organic Light Emitting Diode)显示器等公知的显示器。显示器50例如具有可触摸操作的屏幕SCR。
[0058]虽然在图1中示出了智能手机作为信息处理装置1的示例，但是信息处理装置1不限于智能手机。信息处理装置1也可以是平板终端、笔记本电脑、台式电脑和数码相机等。
[0059]图2是信息处理装置1的功能框图。
[0060]信息处理装置1例如包括处理部10、相机20、ToF传感器30、IMU(惯性测量单元：Inertial Measurement Unit)40、显示器50、效果信息存储部60、手势模型(
ジェスチャモデル
)存储部70以及程序存储部80。
[0061]处理部10基于ToF传感器30和IMU40的测量数据来对相机20的影像赋予效果。处理部10例如包括位置信息检测部11、姿态检测部12、效果处理部13以及触发检测部14。
[0062]位置信息检测部11获取由ToF传感器30测量的深度数据。深度数据包括每个像素的深度信息。位置信息检测部11基于深度数据来检测在真实空间中存在的真实物体的距离信息。
[0063]姿态检测部12获取相机20的影像数据和由IMU 40测量的IMU数据。影像数据包括照片和视频的数据。IMU数据包括与三维的角速度和加速度有关的信息。姿态检测部12使用影像数据和IMU数据来检测相机20的姿态。与相机20的姿态有关的姿态信息使用SLAM(同时定位与地图构建：Simultaneous Localization and Mapping)等公知的方法来检测。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息处理方法，其通过计算机执行：基于通过ToF传感器获取的深度数据，检测真实物体的距离信息；基于检测到的所述真实物体的距离信息，进行所述真实物体和由CG生成的AR物体的遮蔽处理；将所述遮蔽处理的结果显示在显示器上。2.一种信息处理装置，其包括：位置信息检测部，所述位置信息检测部基于通过ToF传感器获取的深度数据来检测真实物体的距离信息；效果处理部，所述效果处理部基于检测到的所述真实物体的距离信息来进行所述真实物体和由CG生成的AR物体的遮蔽处理；以及显示器，所述显示器显示所述遮蔽处理的结果。3.根据权利要求2所述的信息处理装置，还包括：触发检测部，所述触发检测部基于所述深度数据来检测触发，所述触发用于启动使用所述AR物体的效果的处理。4.根据权利要求3所述的信息处理装置，其中，所述触发检测部检测触发物体的手势作为所述触发。5.根据权利要求4所述的信息处理装置，其中，所述触发检测部包括：深度图像生成部，所述深度图像生成部使用所述深度数据来生成多个时刻的所述触发物体的深度图像；接点信息检测部，所述接点信息检测部基于所述多个时刻的深度图像来检测多个时刻的所述触发物体的接点信息；动作检测部，所述动作检测部基于所述多个时刻的接点信息来检测所述触发物体的动作；以及判定部，...

【专利技术属性】
技术研发人员：土井宏真，中川贵晶，王光宇，
申请(专利权)人：索尼半导体解决方案公司，
类型：发明
国别省市：