向终端提供3D人物图像的边缘数据网络及其运行方法技术

提供了一种用于向终端提供三维(3D)人物图像的边缘数据网络及其运行方法。本公开的实施例公开了一种边缘数据网络，该边缘数据网络：经由网络从第一终端获取关键点信息，该关键点信息包括第一用户的身体部位的特征点坐标；从第二终端获取观察点信息，该观察点信息包括有关第二用户观察3D人物图像的虚拟观察点的虚拟位置坐标值信息；通过将所获取的关键点信息和观察点信息与缓存在数据缓存中的关键点信息和观察点信息进行比较来测量关键点相似度和观察点相似度；基于所测量的关键点相似度和所测量的观察点相似度，读出缓存在数据缓存中的3D人物图像；以及向第二终端发送所读出的3D人物图像。出的3D人物图像。出的3D人物图像。

【技术实现步骤摘要】
【国外来华专利技术】向终端提供3D人物图像的边缘数据网络及其运行方法


[0001]本公开涉及一种用于向用户设备提供三维(3D)人物图像的边缘数据网络及其运行方法。更具体地，本公开涉及一种由与第一用户设备和第二用户设备一起执行增强现实远程呈现(Augmented Reality Telepresence)的边缘数据网络执行的向第二用户设备提供用户的3D人物图像的方法以及这种边缘数据网络。

技术介绍

[0002]最近，已经讨论了使用边缘服务器来发送数据的边缘计算技术。边缘计算技术可以包括例如多接入边缘计算(MEC)或雾计算(FOC)。边缘计算技术可以指通过安装在地理上与电子装置相邻的位置处(例如，在基站内部或附近)的单独的服务器(以下称为“边缘数据网络”或“MEC服务器”)来向电子装置提供数据的技术。例如，安装在电子装置中的至少一个应用当中要求低时延的应用可以在不经过位于外部数据网络(DN)(例如，因特网)中的服务器的情况下，经由安装在地理上相邻的位置处的边缘服务器发送或者接收数据。
[0003]最近，已经讨论了使用边缘计算技术的服务(以下，称为“基于MEC的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由边缘数据网络执行的向用户设备提供三维(3D)人物图像的方法，所述方法包括：获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括观察经由第二用户设备显示的3D人物图像的虚拟观察点的虚拟位置坐标值信息；基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物图像；将所渲染的3D人物图像与所述第一关键点信息和所述第一观察点信息关联地存储在数据缓存中；获得有关在所述第一图像帧之后获得的第二图像帧的第二关键点信息和第二观察点信息；通过将所获得的第二关键点信息和第二观察点信息分别与先前存储在所述数据缓存中的所述第一关键点信息和所述第一观察点信息进行比较来测量关键点相似度和观察点相似度；以及基于所测量的关键点相似度和所测量的观察点相似度来将先前存储在所述数据缓存中的所述3D人物图像作为有关所述第二图像帧的3D人物图像提供给所述第二用户设备。2.根据权利要求1所述的方法，其中，获得所述第一关键点信息和所述第一观察点信息包括：从所述第一用户设备接收通过使用所述第一用户设备捕获所述第一用户的图像所获得的所述第一图像帧；从所接收到的第一图像帧中提取与所述第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值的多个位置坐标值；以及获得包括所提取的多个位置坐标值的所述第一关键点信息。3.根据权利要求1所述的方法，其中，将所述3D人物图像存储在所述数据缓存中包括：将以下信息中的至少一者与所述3D人物图像一起存储在所述数据缓存中：所述第一用户的用户标识信息、有关所述第一用户的外貌、过去进行的动作、运动、姿态或方向的多条先前获得的关键点信息、用于确定关键点相似度的优先级信息、以及关于电话会议类型的信息。4.根据权利要求1所述的方法，其中，测量所述关键点相似度包括：获得第三关键点信息，所述第三关键点信息包括从第三图像帧中提取的多个第三特征坐标值；分别计算所述第三关键点信息中包括的所述多个第三特征坐标值与所述第二关键点信息中包括的多个第二特征坐标值之间的差值；识别所计算出的差值超过预设阈值的至少一个第三特征坐标值；从存储在所述数据缓存中的所述第一关键点信息中包括的多个第一特征坐标值当中识别与所识别的至少一个第三特征坐标值相对应的至少一个第一特征坐标值；以及通过测量所识别的至少一个第三特征坐标值与所述至少一个第一特征坐标值之间的相似度来测量所述第三关键点信息与所述第一关键点信息之间的关键点相似度。
5.根据权利要求1所述的方法，其中，测量所述关键点相似度包括：根据预定优先级，从所述第二关键点信息中包括的多个第二特征坐标值当中选择从身体部位中提取的具有高优先级的至少一个第二特征坐标值；从所述第一关键点信息中包括的多个第一特征坐标值当中识别与所选择的至少一个第二特征坐标值相对应的至少一个第一特征坐标值；以及通过测量所述至少一个第一特征坐标值与所述至少一个第二特征坐标值之间的相似度来测量所述关键点相似度。6.根据权利要求5所述的方法，所述方法还包括：计算通过先前进行的电话会议先前获得并存储在所述数据缓存中的多条关键点信息中分别包括的多个特征坐标值之间的差值；按从大到小的顺序列举所计算出的差值；以及基于所列举的差值的顺序，根据分别与多个位置坐标值相对应的身体部位确定优先级。7.根据权利要求1所述的方法，其中，构成运动的多条关键点信息根据运动信息被分类并存储在所述数据缓存中，其中，测量所述关键点相似度包括：接收分别从根据时间流依次获得的多个图像帧中提取的多条关键点信息；以及测量多条输入的关键点信息与先前存储在所述数据缓存中的所述多条关键点信息之间的相似度，并且其中，所述方法还包括：基于所测量的相似度识别与所述多条输入的关键点信息相对应的运动信息；以及从所述数据缓存获得与所识别的运动信息相对应的多个3D人物图像帧。8.一种用于向用户设备提供三维(3D)人物图像的边缘数据网络，所述边缘数据网络包括：网络接口；存储器，所述存储器存储有包括一个或更多个指令的程序；以及处理器，所述处理器被配置为执行存储在所述存储器中的程序的所述一个或更多个指令，其中，所述处理器还被配置为：通过使用所述网络接口来获得第一关键点信息和第一观察点信息，所述第一关键点信息包括从使用第一用户设备捕获的第一图像帧中提取的与第一用户的身体部位、姿态或骨骼结构相关的多个特征坐标值，所述第一观察点信息包括观察经由第二用户设备显示的3D人物图像的虚拟观察点的虚拟位置坐标值信息；基于所获得的第一关键点信息和第一观察点信息来渲染指示所述第一用户的外貌、动作或运动的3D人物...

【专利技术属性】
技术研发人员：朱宁贤，金善熙，金永起，金贞焄，禹孝敬，赵效莹，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：