电子装置及其控制方法制造方法及图纸

公开了一种电子装置。该电子装置包括：显示器；处理器，该处理器电连接到显示器以控制该显示器；以及存储器，该存储器电连接到处理器，其中存储器存储指令，该指令使处理器控制显示器以显示通过将输入2D图像应用于被配置为将输入2D图像转换为3D建模图像的学习网络模型而获取的3D建模图像，并且其中学习网络模型是通过使用渲染虚拟3D建模数据而获取的3D姿势和与3D姿势相对应的2D图像来训练的学习网络模型。网络模型。网络模型。

【技术实现步骤摘要】
【国外来华专利技术】电子装置及其控制方法


[0001]本公开涉及一种电子装置及其控制方法，更具体地，涉及一种识别图像输入数据中包括的对象的动作的电子装置及其控制方法。

技术介绍

[0002]为了接收图像数据并识别图像数据中包括的对象的动作，可以使用人工智能学习网络模型。在此，经过训练的模型可以确定输入图像中包括的对象正在采取何种动作。特别地，为了确定对象采取何种动作，需要复杂的计算过程。
[0003]另外，为了提供正确的识别结果，人工智能模型应该使用大量的学习数据。通常，可以使用直接用相机拍摄对象以生成学习数据的运动捕获方法。然而，在运动捕获方法中，可能不方便直接拍摄对象。例如，物体可以是太大而无法用相机拍摄的物体，或者是难以获取的物体。
[0004]因此，运动捕获方法具有以下问题：它可能具有用于生成大量学习数据的物理限制，并且成本可能很高。

技术实现思路

[0005]技术问题
[0006]本公开旨在改进上述问题，并且本公开的目的在于提供一种通过使用3D 人体模型来生成用于姿势识别的学习网络模型的电子装置及其控制方法。
[0007]问题的解决方案
[0008]根据本公开的实施例，用于实现上述目的的电子装置包括：显示器；处理器，所述处理器电连接到所述显示器以控制所述显示器；以及存储器，所述存储器电连接到所述处理器，其中所述存储器存储指令，所述指令使所述处理器控制所述显示器以显示通过将输入2D图像应用于被配置为将所述输入2D图像转换为3D建模图像的学习网络模型而获取的3D建模图像，以及其中所述学习网络模型是通过使用渲染虚拟3D建模数据而获取的3D姿势和与所述3D姿势相对应的2D图像来训练的学习网络模型。
[0009]在此，学习网络模型是基于数据将3D人体模型转换为多个3D姿势并获取与多个3D姿势中的每一个相对应的至少一个2D图像，并且通过使用多个3D姿势和与多个3D姿势中的每一个相对应的至少一个2D图像来训练的学习网络模型。
[0010]此外，学习网络模型可以识别被包括在所述输入2D图像中的对象的轮廓信息，并获取与轮廓信息相对应的所述3D人体模型。
[0011]此外，学习网络模型可以转换3D人体模型的姿势，使得基于3D人体模型中包括的关节划分的多个身体部位基于3D建模数据在预定角度范围内移动，并且获取与转换后的姿势相对应的至少一个2D图像。
[0012]此外，学习网络模型可以基于3D建模数据将3D人体模型转换为3D 姿势，并且获取与关于3D姿势的不同方向相对应的多个2D图像。
[0013]同时，3D建模数据可以包括基于3D人体模型中包括的关节划分的多个身体部位之中的角度数据、每个身体部位的长度数据或每个身体部位的方向数据中的至少一个。
[0014]此外，学习网络模型可以通过使用多个3D姿势和与多个3D姿势中的每一个相对应的至少一个2D图像来学习包括在学习网络模型中的神经网络的权重。
[0015]同时，处理器可以在输入用于改变用户视点的用户指令时，将与用户指令相对应的信息输入到学习网络模型中，并且基于与用户指令相对应的信息来输出3D建模图像。
[0016]此处，用户视点包括用户观看的方向或用户观看的距离中的至少一个。
[0017]此外，处理器可以提供用于接收输入的用于转换3D人体模型的姿势信息的UI。
[0018]根据本公开的实施例的电子装置的控制方法包括以下步骤：接收输入的2D图像；以及显示通过将所述输入2D图像应用于被配置为将所述2D 图像转换为3D建模图像的学习网络模型而获取的3D建模图像，其中学习网络模型是通过使用渲染虚拟3D建模数据而获取的3D姿势和与所述 3D姿势相对应的2D图像来训练的学习网络模型。
[0019]此处，学习网络模型是基于数据将3D人体模型转换为多个3D姿势并获取与多个3D姿势中的每一个相对应的至少一个2D图像，并且通过使用多个3D姿势和与所述多个3D姿势中的每一个相对应的至少一个2D 图像来训练的学习网络模型。
[0020]此外，学习网络模型可以识别被包括在输入2D图像中的对象的轮廓信息，并获取与轮廓信息相对应的3D人体模型。
[0021]此外，学习网络模型可以转换3D人体模型的姿势，使得基于3D人体模型中包括的关节而划分的多个身体部位基于3D建模数据在预定角度范围内移动，并获取与转换后的姿势相对应的至少一个2D图像。
[0022]此外，学习网络模型可以基于3D建模数据将3D人体模型转换为3D 姿势，并获取与关于3D姿势的不同方向相对应的多个2D图像。
[0023]此外，3D建模数据可以包括基于3D人体模型中包括的关节划分的多个身体部位之中的角度数据、每个身体部位的长度数据或每个身体部位的方向数据中的至少一个。
[0024]此外，学习网络模型可以通过使用多个3D姿势和与多个3D姿势中的每一个相对应的至少一个2D图像来学习包括在学习网络模型中的神经网络的权重。
[0025]此外，电子装置的控制方法还可以包括以下步骤：在输入用于改变用户视点的用户指令时，将与用户指令相对应的信息输入到学习网络模型中，并且基于与用户指令相对应的信息来输出3D建模图像。
[0026]此处，用户视点包括用户观看的方向或用户观看的距离中的至少一个。
[0027]此外，电子装置的控制方法可以提供用于接收输入的用于转换3D人体模型的姿势信息的UI。
附图说明
[0028]图1是示出识别图像中包括的对象的动作的过程的图；
[0029]图2是示出通过运动捕获方法获取学习数据的方法的图；
[0030]图3是示出根据本公开的实施例的电子装置的框图；
[0031]图4是示出图3中电子装置的详细配置的框图；
[0032]图5是示出生成3D人体模型的操作的图；
[0033]图6是示出利用图5中生成的3D人模型来获取根据本公开的实施例的 2D图像的操作的图；
[0034]图7是示出利用图5中生成的3D人模型来获取根据本公开的另一实施例的2D图像的操作的图；
[0035]图8是示出基于由图7获取的2D图像获取学习数据的操作的图；
[0036]图9是示出适用于3D人体模型的多个姿势的图；
[0037]图10是示出基于由图9获取的2D图像获取学习数据的操作的图；
[0038]图11是示出3D人体模型关节点的图；
[0039]图12是示出根据图11的接触3D人体模型的关节点的身体部位的运动的图；
[0040]图13是示出改变3D人体模型的特定身体部位的操作的图；
[0041]图14是示出根据本公开的实施例的生成图像学习网络模型的方法的图；
[0042]图15至图17是示出学习部和识别部的操作的图；以及
[0043]图18是示出根据本公开的实施例的电子装置的控制方法的流程图。
具体实施方式
[0044]在详细描述本公开之前，将描述本说明书和附图的描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种电子装置，所述电子装置包括：显示器；处理器，所述处理器电连接到所述显示器以控制所述显示器；以及存储器，所述存储器电连接到所述处理器，其中，所述存储器存储指令，所述指令使所述处理器控制所述显示器以显示3D建模图像，所述3D建模图像是通过将输入的2D图像应用于被配置为将输入的2D图像转换为3D建模图像的学习网络模型而获取的，以及其中，所述学习网络模型是通过使用渲染虚拟3D建模数据而获取的3D姿势和与所述3D姿势相对应的2D图像来训练的学习网络模型。2.根据权利要求1所述的电子装置，其中，所述学习网络模型是基于数据将3D人体模型转换为多个3D姿势并获取与所述多个3D姿势中的每一个相对应的至少一个2D图像，并且通过使用所述多个3D姿势和与所述多个3D姿势中的每一个相对应的所述至少一个2D图像来训练的学习网络模型。3.根据权利要求2所述的电子装置，其中，所述学习网络模型被配置为：识别被包括在输入的2D图像中的对象的轮廓信息，并且获取与所述轮廓信息相对应的3D人体模型。4.根据权利要求1所述的电子装置，其中，所述学习网络模型被配置为：转换所述3D人体模型的姿势，使得基于3D人体模型中包括的关节而划分的多个身体部位基于3D建模数据在预定角度范围内移动，并获取与转换后的姿势相对应的至少一个2D图像。5.根据权利要求1所述的电子装置，其中，所述学习网络模型被配置为：基于所述3D建模数据将3D人体模型转换为所述3D姿势，并且获取与关于所述3D姿势的不同方向相对应的多个2D图像。6.根据权利要求1所述的电子装置，其中，所述3D建模数据包括基于3D人体模型中包括的关节而划分的多个身体部位之中的角度数据、每个身体部位的长度数据或每个身体部位的方向数据中的至少一个。7.根据权利要求1所述的电子装置，其中，所述学习网络模型被配置为：通过使用多个3D姿势和与所述多个3D姿势中的每一个相对应的至少一个2D图像来学习包括在所述学习网络模...

【专利技术属性】
技术研发人员：朴英真，金孝永，郑圣勋，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：