一种动作类型识别方法、节目播出方法及装置制造方法及图纸

本发明专利技术公开了一种动作类型识别方法、节目播出方法及装置，主要内容为：对采集的骨骼数据帧分别进行水平方向、垂直方向上和景深方向上的动作类型的判断，首先利用相邻骨骼数据帧中设定骨骼节点的位置关系对当前骨骼数据帧的方向进行判定，然后在当前骨骼数据帧的帧号与标志骨骼数据帧的帧差号之差在设定范围时，利用当前骨骼数据帧中该设定骨骼节点的坐标值与标志骨骼数据帧中该设定骨骼节点的坐标值来判断设定骨骼节点的动作类型，实现了对设定骨骼节点的动作类型的识别，进而可将该识别方法应用各种场景，达到利用人物的动作对该应用场景进行实时控制的目的。

【技术实现步骤摘要】

本专利技术涉及图像处理与模式识别
，尤其涉及ー种动作类型识别方法、节目播出方法及装置。
技术介绍
在线包装是指可以在演播室、转播车、播出机房等进行节目播出过程中，在播出线上实时将模板和文字、图片、实时资讯等内容结合、渲染并播出。在线包装从功能上可应用于新闻专题、体育报道、综艺娱乐、财经资讯、天气预报等方面，提供内容广泛、专业、准确的即时信息，对视音频信号进行实时地视觉效果強化，提高节目的质量和观看性。随着计算机图形图像技术的飞速发展，观众对电视节目观赏需求也越来越高，在线包装在电视节目的整体包装中作用越来越大，应用越来越广泛。在线包装通常采用基于模板的制作和渲染方式，并采用制作和播出分离的流程。首先由美术设计人员完成场景和模板的制作，然后在播出机房完成对模板的播出控制和实时渲染。在线包装的图文包装系统提供了丰富的素材，包括三维场景、字幕条、角标、图表、左飞、扫画、题图、视窗类等等，用来满足当前模板设计的需要。当模板制作完成之后，被推送到播出线上，在播控人员的操作监控下，完成电视节目的播出。在线包装的实施分为在线包装设计制作和应用两个阶段，在应用阶段中模板制作完成之后，通常是播控人员配合主持人的动作类型、讲话内容选择将要播放的特效动画，控制模板的播放。在即时性要求较强的节目中采用这种方式时，播控人员必须紧跟主持人的节奏，完美配合，才能保证节目的正确播出，稍有疏忽，就会导致节目中出现错误；而且这种播出方式不够灵活，主持人和图文信息之间缺乏实时的互动。
技术实现思路
本专利技术实施例提供了ー种动作类型识别方法、节目播出方法及装置，用于解决现有的在线包装应用中播控人员控制模版的播放可能导致的节目播出出现错误及节目播出方式不灵活的问题。本专利技术实施例提供的技术方案主要包括—种动作类型识别方法，该方法包括接收体感装置采集的骨骼数据帧，所述骨骼数据帧中包含參考骨骼节点和至少ー个设定骨骼节点在由互相垂直的水平方向、垂直方向和景深方向构成的三维坐标空间的坐标;针对接收的每一骨骼数据帧中的每ー设定骨骼节点均执行以下操作，井根据确定的至少ー个设定骨骼节点的动作类型确定组合动作的动作类型分别确定当前骨骼数据帧中该设定骨骼节点的水平方向、垂直方向和景深方向，骨骼数据帧中设定骨骼节点的水平方向、垂直方向和景深方向分别是该骨骼数据帧中设定骨骼节点在水平方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在水平方向上的位置的变化方向、该骨骼数据帧中设定骨骼节点在垂直方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在垂直方向上的位置的变化方向以及该骨骼数据帧中设定骨骼节点在景深方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在景深方向上的位置的变化方向；分别判断确定的当前骨骼数据帧中设定骨骼节点的水平方向与水平标志方向是否相同，确定的当前骨骼数据帧中设定骨骼节点的垂直方向与垂直标志方向是否相同，以及确定的当前骨骼数据帧中设定骨骼节点的景深方向与景深标志方向是否相同；在判断结果为水平方向相同时，根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型；在判断结果为垂直方向相同时，根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型；在判断结果为景深方向相同时，根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中參考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型；根据确定的该设定骨骼节点在水平方向上的动作类型、在垂直方向上的动作类型和在景深方向上的动作类型，确定该设定骨骼节点的动作类型。ー种节目播出方法，所述节目播出方法包括利用上述动作类型识别方法确定组合动作的动作类型；根据存储的组合动作的动作类型与特效动画之间的对应关系，在未播出的特效动画列表中查找确定的组合动作的动作类型对应的特效动画；在查找到组合动作的动作类型对应的特效动画时，播出查找到的所述特效动画。ー种动作类型识别装置，该装置包括接收模块，用于接收体感装置采集的骨骼数据帧，所述骨骼数据帧中包含參考骨骼节点和至少ー个设定骨骼节点在由互相垂直的水平方向、垂直方向和景深方向构成的三维坐标空间的坐标；第一确定模块，用于针对接收的每一骨骼数据帧中的每ー设定骨骼节点分别确定当前骨骼数据帧中该设定骨骼节点的水平方向、垂直方向和景深方向，骨骼数据帧中设定骨骼节点的水平方向、垂直方向和景深方向分别是该骨骼数据帧中设定骨骼节点在水平方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在水平方向上的位置的变化方向、该骨骼数据帧中设定骨骼节点在垂直方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在垂直方向上的位置的变化方向以及该骨骼数据帧中设定骨骼节点在景深方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在景深方向上的位置的变化方向；第一判断模块，用于分别判断确定的当前骨骼数据帧中设定骨骼节点的水平方向与水平标志方向是否相同，确定的当前骨骼数据帧中设定骨骼节点的垂直方向与垂直标志方向是否相同，以及确定的当前骨骼数据帧中设定骨骼节点的景深方向与景深标志方向是否相同；第二确定模块，用于在判断结果为水平方向相同时，根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型；在判断结果为垂直方向相同时，根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型；在判断结果为景深方向相同时，根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中參考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型；动作类型确定模块，用于根据确定的该设定骨骼节点在水平方向上的动作类型、在垂直方向上的动作类型和在景深方向上的动作类型，确定该设定骨骼节点的动作类型；组合动作类型确定模块，用于根据确定的至少ー个设定骨骼节点的动作类型确定组合动作的动作类型。—种节目播出装置，所述节目播出装置包括 确定模块，用于利用上述动作类型识别装置确定组合动作的动作类型；存储模块，用于存储组合动作的动作类型与特效动画之间的对应关系；查找模块，用于根据存储的组合动作的动作类型与特效动画之间的对应关系，在未播出的特效动画列表中查找确定的组合动作的动作类型对应的特效动画；播出模块，用于在查找到组合动作的动作类型对应的特效动画时，播出查找到的所述特效动画。本专利技术实施例中，首先对当前骨骼数据帧中的设定骨骼节点的方向进行判定，然后在当前骨骼数据帧的帧号与相应的标志骨骼数据帧的帧差号之差在设定范围时，利用当前设定骨骼节点数据帧中该设定骨骼节点的坐标值与相应的标志骨骼数据帧中该设定骨骼节点的坐标值的关系来判断设定骨骼节点的动作类型，实现了对设定骨骼节点的动作类型的识别，进而可将该识别方法应用各种场景，达到对该应用场景时利用人物本文档来自技高网...

【技术保护点】
一种动作类型识别方法，其特征在于，该方法包括：接收体感装置采集的骨骼数据帧，所述骨骼数据帧中包含参考骨骼节点和至少一个设定骨骼节点在由互相垂直的水平方向、垂直方向和景深方向构成的三维坐标空间的坐标；针对接收的每一骨骼数据帧中的每一设定骨骼节点均执行以下操作，并根据确定的至少一个设定骨骼节点的动作类型确定组合动作的动作类型：分别确定当前骨骼数据帧中该设定骨骼节点的水平方向、垂直方向和景深方向，骨骼数据帧中设定骨骼节点的水平方向、垂直方向和景深方向分别是该骨骼数据帧中设定骨骼节点在水平方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在水平方向上的位置的变化方向、该骨骼数据帧中设定骨骼节点在垂直方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在垂直方向上的位置的变化方向以及该骨骼数据帧中设定骨骼节点在景深方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在景深方向上的位置的变化方向；分别判断确定的当前骨骼数据帧中设定骨骼节点的水平方向与水平标志方向是否相同，确定的当前骨骼数据帧中设定骨骼节点的垂直方向与垂直标志方向是否相同，以及确定的当前骨骼数据帧中设定骨骼节点的景深方向与景深标志方向是否相同；在判断结果为水平方向相同时，根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型；在判断结果为垂直方向相同时，根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型；在判断结果为景深方向相同时，根据当前骨骼数据帧中设定骨骼节点在景 深方向的坐标值、当前骨骼数据帧中参考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型；根据确定的该设定骨骼节点在水平方向上的动作类型、在垂直方向上的动作类型和在景深方向上的动作类型，确定该设定骨骼节点的动作类型。...

【技术特征摘要】
1.一种动作类型识别方法，其特征在于，该方法包括 接收体感装置采集的骨骼数据帧，所述骨骼数据帧中包含参考骨骼节点和至少一个设定骨骼节点在由互相垂直的水平方向、垂直方向和景深方向构成的三维坐标空间的坐标；针对接收的每一骨骼数据帧中的每一设定骨骼节点均执行以下操作，并根据确定的至少一个设定骨骼节点的动作类型确定组合动作的动作类型 分别确定当前骨骼数据帧中该设定骨骼节点的水平方向、垂直方向和景深方向，骨骼数据帧中设定骨骼节点的水平方向、垂直方向和景深方向分别是该骨骼数据帧中设定骨骼节点在水平方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在水平方向上的位置的变化方向、该骨骼数据帧中设定骨骼节点在垂直方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在垂直方向上的位置的变化方向以及该骨骼数据帧中设定骨骼节点在景深方向上的位置相对于其前一骨骼数据帧中该设定骨骼节点在景深方向上的位置的变化方向； 分别判断确定的当前骨骼数据帧中设定骨骼节点的水平方向与水平标志方向是否相同，确定的当前骨骼数据帧中设定骨骼节点的垂直方向与垂直标志方向是否相同，以及确定的当前骨骼数据帧中设定骨骼节点的景深方向与景深标志方向是否相同； 在判断结果为水平方向相同时，根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型； 在判断结果为垂直方向相同时，根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型； 在判断结果为景深方向相同时，根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中参考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型； 根据确定的该设定骨骼节点在水平方向上的动作类型、在垂直方向上的动作类型和在景深方向上的动作类型，确定该设定骨骼节点的动作类型。2.如权利要求1所述的方法，其特征在于，所述分别确定当前骨骼数据帧中该设定骨骼节点的水平方向、垂直方向和景深方向，具体包括 分别判断当前骨骼数据帧中该设定骨骼节点在水平方向的坐标值与前一骨骼数据帧中该设定骨骼节点在水平方向的坐标值之差是否大于O，当前骨骼数据帧中该设定骨骼节点在垂直方向的坐标值与前一骨骼数据帧中该设定骨骼节点在垂直方向坐标值之差是否大于O，以及当前骨骼数据帧中该设定骨骼节点在景深方向的坐标值与前一骨骼数据帧中该设定骨骼节点在景深方向坐标值之差是否大于O ; 在判断结果为水平方向的坐标值之差大于O时，确定当前骨骼数据帧中该设定骨骼节点的水平方向为向右； 在判断结果为水平方向的坐标值之差不大于O时，确定当前骨骼数据帧中该设定骨骼节点的水平方向为向左； 在判断结果为垂直方向的坐标值之差大于O时，确定当前骨骼数据帧中该设定骨骼节点的垂直方向为向上；在判断结果为垂直方向的坐标值之差不大于O时，确定当前骨骼数据帧中该设定骨骼节点的垂直方向为向下； 在判断结果为景深方向的坐标值之差大于O时，确定当前骨骼数据帧中该设定骨骼节点的景深方向为向前； 在判断结果为景深方向的坐标值之差不大于O时，确定当前骨骼数据帧中该设定骨骼节点的景深方向为向后。3.如权利要求1所述的方法，其特征在于，所述骨骼数据帧中还包含骨骼数据帧号，所述方法还包括 在判断结果为水平方向不相同时，将当前骨骼数据帧的水平方向作为水平标志方向，将前一骨骼数据帧的帧号、设定骨骼节点在水平方向的坐标值作为水平标志骨骼数据帧的帧号、设定骨骼节点在水平方向的坐标值； 在判断结果为垂直方向不相同时，将当前骨骼数据帧的垂直方向作为垂直标志方向，将前一骨骼数据帧的帧号、设定骨骼节点在垂直方向的坐标值作为垂直标志骨骼数据帧的帧号、设定骨骼节点在垂直方向的坐标值； 在判断结果为景深方向不相同时，将当前骨骼数据帧的景深方向作为景深标志方向，将前一骨骼数据帧的帧号、设定骨骼节点在景深方向的坐标值作为景深标志骨骼数据帧的帧号、设定骨骼节点在景深方向的坐标值。4.如权利要求1所述的方法，其特征在于，所述骨骼数据帧中还包含骨骼数据帧号； 在判断结果为水平方向相同之后，根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型之前，所述方法还包括 判断当前骨骼数据帧的帧号与水平标志骨骼数据帧的帧号之差是否在设定范围内；根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型，具体为 在当前骨骼数据帧的帧号与水平标志骨骼数据帧的帧号之差在设定范围内时，根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型； 在判断结果为垂直方向相同之后，根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型之前，所述方法还包括 判断当前骨骼数据帧的帧号与垂直标志骨骼数据帧的帧号之差是否在设定范围内；根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型，具体为 在当前骨骼数据帧的帧号与垂直标志骨骼数据帧的帧号之差在设定范围内时，根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型； 在判断结果为景深方向相同之后，根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中参考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型之前，所述方法还包括 判断当前骨骼数据帧的帧号与景深标志骨骼数据帧的帧号之差是否在设定范围内； 根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中参考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型，具体为 在当前骨骼数据帧的帧号与景深标志骨骼数据帧的帧号之差在设定范围内时，根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中参考骨骼节点在景深方向的坐标值和景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型。5.如权利要求4所述的方法，其特征在于， 所述根据当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值，确定该设定骨骼节点在水平方向上的动作类型，具体为 在当前骨骼数据帧中设定骨骼节点在水平方向的坐标值与水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值之差大于设定值时，确定该设定骨骼节点在水平方向上的动作类型为向右划； 在水平标志骨骼数据帧中该设定骨骼节点在水平方向的坐标值与当前骨骼数据帧中设定骨骼节点在水平方向的坐标值之差大于设定值时，确定该设定骨骼节点在水平方向上的动作类型为向左划； 所述根据当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值，确定该设定骨骼节点在垂直方向上的动作类型，具体为 在当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值与垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值之差大于设定值时，确定该设定骨骼节点在垂直方向上的动作类型为向上划； 在垂直标志骨骼数据帧中该设定骨骼节点在垂直方向的坐标值与当前骨骼数据帧中设定骨骼节点在垂直方向的坐标值之差大于设定值时，确定该设定骨骼节点在垂直方向上的动作类型为向下划； 所述根据当前骨骼数据帧中设定骨骼节点在景深方向的坐标值、当前骨骼数据帧中参考骨骼节点在景深方向的坐标值和垂直标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值，确定该设定骨骼节点在景深方向上的动作类型具体为 在当前骨骼数据帧中设定骨骼节点在景深方向的坐标值与景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值之差大于设定值，且当前骨骼数据帧中设定骨骼节点在景深方向的坐标值与当前骨骼数据帧中参考骨骼节点在景深方向的坐标值之差满足设定条件时，确定该设定骨骼节点在景深方向上的动作类型为点击； 在景深标志骨骼数据帧中该设定骨骼节点在景深方向的坐标值与当前骨骼数据帧中设定骨骼节点在景深方向的坐标值之差大于设定值，且当前骨骼数据帧中设定骨骼节点在景深方向的坐标值与当前骨骼数据帧中参考骨骼节点在景深方向的坐标值之差满足设定条件时，确定该设定骨骼节点在景深方向上的动作类型为后移。6.如权利要求1所述的方法，其特征在于，所述骨骼数据帧中包含指定骨骼节点在三维坐标空间的坐标；所述方法还包括 根据当前骨骼数据帧中的指定骨骼节点在水平方向的坐标值与前一骨骼数据帧中指定骨骼节点在水平方向的坐标值，以及当前骨骼数据帧中的指定骨骼节点在垂直方向的坐标值与前一骨骼数据帧中指定骨骼节点在垂直方向的坐标值，确定该指定骨骼节点的移动方向和移动距离。7.如权利要求1所述的方法，其特征在于，在所述骨骼数据帧中包含至少两个设定骨骼节点时，所述方法还包括在确定每一设定骨骼节点的动作类型时，标记当前骨骼数据帧的帧号为该已确定动作类型的设定骨骼节点的帧号； 在分别确定每一设定骨骼节点的动作类型之后，根据确定的至少两个设定骨骼节点的动作类型确定组合动作的动作类型之前，所述方法还包括 分别判断任意两个已确定动作类型的设定骨骼节点的帧号之差是否满足设定的条件； 根据确定的至少两个设定骨骼节点的动作类型确定组合动作的动作类型，具体为在任意已确定动作类型的设定骨骼节点的帧号之差满足设定的条件时，根据确定的至少两个设...

【专利技术属性】
技术研发人员：吴雷，李金楠，邸楠，
申请(专利权)人：北京东方艾迪普科技发展有限公司，
类型：发明
国别省市：