一种文字显示方法、装置、机顶盒及介质制造方法及图纸

本发明专利技术公开了一种文字显示方法、装置、机顶盒及介质，所述方法应用于机顶盒，包括：获取视频数据流中至少一帧视频图像；对各所述视频图像进行处理，得到目标手势集合；根据生成式对抗网络模型对目标手势集合进行识别，得到目标手势集合所对应的文字；将目标手势集合所对应的文字进行显示。利用该方法，通过对获取的各视频图像进行处理得到了目标手势集合，继而基于生成式对抗网络模型对目标手势集合进行识别，能够准确得到目标手势集合所对应的文字，提高文字显示的准确率，从而提升了交互体验。验。验。

【技术实现步骤摘要】
一种文字显示方法、装置、机顶盒及介质


[0001]本专利技术涉及图像识别
，尤其涉及一种文字显示方法、装置、机顶盒及介质。

技术介绍

[0002]近年来，通过问诊APP进行远程直播互动交流的问诊方式应运而生。在问诊APP中可以包括智能手势辅助，即将对手势进行识别得到的文字在屏幕上进行显示，以辅助问诊过程中的互动交流。
[0003]对于智能手势辅助，现有的技术方案主要包括两种方式，第一种方式需要将特定手套戴在手上以进行手势所对应文字的识别，第二种方式则通过信息熵算法从背景图像中分割出手部、提取目标图像并应用到视频数据流中以识别手势对应的文字。但是在现有的技术方案中，只有较少数量的手势能被识别到，且对汉字手势笔划的识别准确率较低，从而影响了用户交互体验。

技术实现思路

[0004]本专利技术提供了一种文字显示方法、装置、机顶盒及介质，以提高文字显示的准确率，进而提升交互体验。
[0005]根据本专利技术的一方面，提供了一种文字显示方法包括：
[0006]获取视频数据流中至少一帧视频图像；
[0007]对各所述视频图像进行处理，得到目标手势集合；
[0008]根据生成式对抗网络模型对目标手势集合进行识别，得到目标手势集合所对应的文字；
[0009]将目标手势集合所对应的文字进行显示。
[0010]根据本专利技术的另一方面，提供了一种文字显示装置，包括：
[0011]获取模块，用于获取视频数据流中至少一帧视频图像；
[0012]处理模块，用于对各所述视频图像进行处理，得到目标手势集合；
[0013]识别模块，用于根据生成式对抗网络模型对目标手势集合进行识别，得到目标手势集合所对应的文字；
[0014]显示模块，用于将目标手势集合所对应的文字进行显示。
[0015]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0016]至少一个处理器；以及
[0017]与所述至少一个处理器通信连接的存储器；其中，
[0018]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的文字显示方法。
[0019]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的文字显示方法。
[0020]本专利技术实施例提供了一种文字显示方法、装置、机顶盒及介质，所述方法应用于机顶盒通过对获取的各视频图像进行处理得到了目标手势集合，继而基于生成式对抗网络模型对目标手势集合进行识别，能够准确得到目标手势集合所对应的文字，提高文字显示的准确率，从而提升了交互体验。
[0021]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0023]图1是根据本专利技术实施例一提供的一种文字显示方法的流程图；
[0024]图2是根据本专利技术实施例一提供的一种生成式对抗网络模型结构示意图；
[0025]图3是根据本专利技术实施例二提供的一种文字显示方法的流程图；
[0026]图4是根据本专利技术实施例二提供的一种文字显示方法的结构示意图；
[0027]图5是根据本专利技术实施例三提供的一种文字显示装置的结构示意图；
[0028]图6是实现本专利技术实施例一的文字显示方法的机顶盒的结构示意图。
具体实施方式
[0029]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0030]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0031]实施例一
[0032]图1是根据本专利技术实施例一提供的一种文字显示方法的流程图，本实施例可适用于对文字进行显示情况，该方法可以由文字显示装置来执行，该文字显示装置可以采用硬件和/或软件的形式实现，该文字显示装置可配置于机顶盒中。如图1所示，该方法包括：
[0033]S110、获取视频数据流中至少一帧视频图像。
[0034]其中，视频数据流可以认为是机顶盒中摄像头获取的视频数据，视频数据可以由一帧或多帧视频图像组成。
[0035]在本实施例中，在得到视频数据流后，可以获取视频数据流中至少一帧视频图像，本实施例不对获取视频图像的方法进行限定，例如可以对视频数据流进行解帧，以将视频数据转化为一帧或多帧视频图像等。
[0036]S120、对各所述视频图像进行处理，得到目标手势集合。
[0037]目标手势集合可以理解为各视频图像所表征手势的状态集合，目标手势集合可以包括手势从开始到结束的状态集合，如开始状态集合等。
[0038]在得到一帧或多帧视频图像后，需要对视频图像进行处理，以便对视频图像中的手势进行识别得到目标手势集合。在本步骤中，得到目标手势集合的手段不限，示例性的，可以提取每一帧视频图像所对应的手势图像，然后对各手势图像进行分割等处理来得到目标手势集合。示例性的，还可以根据各视频图像的时间戳，得到手势的第一帧视频图像和最后一帧图像，然后分别对此两帧图像及两帧图像间各帧图像进行识别以得到目标手势集合，本实施例对此不作限定。
[0039]S130、根据生成式对抗网络模型对目标手势集合进行识别，得到目标手势集合所对应的文字。
[0040]在本实施例中，生成式对抗网络模型可以认为是一种深度学习模型，用来识别目标手势集合，其中，生成式对抗网络模型的具体层数及训练模型过程不限，例如，在训练模型阶段，可以基于上万张视频图像作为模型训练的初始数据，使用Adam优化算法进行训练等。
[0041]具体的，可以根据生成式对抗网络模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文字显示方法，其特征在于，应用于机顶盒，所述方法包括：获取视频数据流中至少一帧视频图像；对各所述视频图像进行处理，得到目标手势集合；根据生成式对抗网络模型对目标手势集合进行识别，得到目标手势集合所对应的文字；将目标手势集合所对应的文字进行显示。2.根据权利要求1所述的方法，其特征在于，所述对各所述视频图像进行处理，得到目标手势集合，包括：针对每帧视频图像，提取视频图像所对应的手势图像，所述手势图像包含边界框；根据手势分割算法和动态时间规划算法对各所述手势图像进行处理，得到目标手势集合，所述目标手势集合包括开始状态集合和结束状态集合。3.根据权利要求2所述的方法，其特征在于，所述针对每帧视频图像，提取视频图像所对应的手势图像，包括：针对每帧视频图像，利用HSV空间边缘算法对所述视频图像进行预处理；利用预处理后的视频图像所对应手势识别概率推测所述预处理后的视频图像中手势的具体范围；利用HSV空间边缘算法，根据所述具体范围提取所述预处理后的视频图像中的手势图像；基于最小边界框算法对所述手势图像绘制边界框。4.根据权利要求3所述的方法，其特征在于，所述手势识别概率是根据参考手势库对坐标对进行评估得到，所述坐标对由所述视频图像中同一手臂上两个关节点的坐标形成。5.根据权利要求1所述的方法，其特征在于，所述根据生成式对抗网络模型对目标手势集合进行识别，得到目标手势集合所对应的文字，包括：利用生成式对抗网络模型对目标手势集合进行识别，输出动态手势图片；基于预设神经网络模型对所述动态手...

【专利技术属性】
技术研发人员：周未，程明，谢培莹，
申请(专利权)人：日晷科技上海有限公司，
类型：发明
国别省市：