基于图形识别的交互方法及电子设备技术

本发明专利技术公开了一种基于图形识别的交互方法及电子设备，包括：获取第一待分析图像；识别第一待分析图像并得到识别结果；播放与识别结果相关联的朗读音频文件；在朗读音频文件播放完毕后，根据识别结果，播放与第一待分析图像的交互内容相关联的提问音频文件；获取第二待分析图像；确定第二待分析图像中是否存在特征图形；若第二待分析图像中存在特征图形，则确定特征图形是否与交互区域存在重叠；其中，交互区域为与提问音频文件中的问题的答案相对应的区域；若特征图形与交互区域存在重叠，则播放正确音频文件；若特征图形与交互区域不存在重叠，则播放错误音频文件。本发明专利技术提出的基于图形识别的交互方法，可提高互动性能。

【技术实现步骤摘要】
基于图形识别的交互方法及电子设备
本专利技术涉及数据处理
，特别是指一种基于图形识别的交互方法及电子设备。
技术介绍
绘本，英文称PictureBook，指一类以绘画为主，并附有少量文字的书籍。绘本不仅可用于讲故事、学知识，而且可以全面帮助孩子建构精神，培养多元智能。现有技术中，在识别绘本后，设备通常自动播放相应的音频文件，播放完毕后通常没有互动过程，用户体验不足。并且，绘本的用户通常是儿童，而儿童在使用读绘本功能的过程中，容易产生注意力分散的情况，因此急需想出一种提高儿童注意力的方法。
技术实现思路
有鉴于此，本专利技术实施例的目的之一在于，提出一种基于图形识别的交互方法及电子设备，可提高互动性能。基于上述目的，本专利技术实施例的第一个方面，提供了一种基于图形识别的交互方法，包括：获取第一待分析图像；识别所述第一待分析图像并得到识别结果；播放与所述识别结果相关联的朗读音频文件；在所述朗读音频文件播放完毕后，根据所述识别结果，播放与所述第一待分析图像的交互内容相关联的提问音频文件；获取第二待分析图像；确定第二待分析图像中是否存在特征图形；若第二待分析图像中存在特征图形，则确定所述特征图形是否与交互区域存在重叠；其中，所述交互区域为与所述提问音频文件中的问题的答案相对应的区域；若所述特征图形与交互区域存在重叠，则播放正确音频文件；若所述特征图形与交互区域不存在重叠，则播放错误音频文件。可选的，所述的方法还包括：获取特征图形数据；所述特征图形数据的数量大于预设数量阈值；对所述特征图形数据进行人工标注；利用标注后的特征图形数据和不含特征图形的训练图像数据，训练得到特征检测器；所述确定第二待分析图像中是否存在特征图形的步骤包括：利用所述特征检测器确定第二待分析图像中是否存在特征图形。可选的，所述特征图形为手指图形，所述特征检测器为手指检测器。可选的，所述手指检测器采用Haar+adaboost、svm+hog、faster-rcnn、yolo、ssd中的一种或多种方法实现。可选的，所述的方法还包括：获取训练图像数据；对所述训练图像数据人工标注出交互区域。可选的，所述的方法还包括：提取所述训练图像数据中的比对特征点；所述确定所述特征图形是否与交互区域存在重叠的步骤，包括：提取所述第二待分析图像中的特征点；将所述特征点与所述第二待分析图像对应的训练图像数据的比对特征点进行匹配，得到单应性矩阵；利用所述单应性矩阵，将所述特征图形投影到所述第二待分析图像对应的训练图像数据中，确定所述特征图形在所述训练图像数据中的投影位置；确定所述投影位置是否与所述人工标注出的交互区域存在重叠。可选的，所述交互区域包括多个，所述与所述第一待分析图像的交互内容相关联的提问音频文件包括多个；每个与所述第一待分析图像的交互内容相关联的提问音频文件与交互区域一一对应；或者，一个交互区域对应于多个与所述第一待分析图像的交互内容相关联的提问音频文件。可选的，在所述朗读音频文件播放完毕后，根据所述识别结果，播放与所述第一待分析图像的交互内容相关联的提问音频文件，包括：在所述朗读音频文件播放完毕后，根据所述识别结果，播放与所述第一待分析图像的第一交互内容相关联的第一提问音频文件；播放正确音频文件或播放错误音频文件之后，还包括：播放与所述第一待分析图像的第二交互内容相关联的第二提问音频文件。可选的，确定第二待分析图像中是否存在特征图形之后，还包括：若第二待分析图像中不存在特征图形，则播放提醒语音。本专利技术实施例的第二个方面，提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前任一项所述的方法。从上面所述可以看出，本专利技术实施例提供的基于图形识别的交互方法及电子设备，通过播放提问音频文件并对采集的待分析图像进行特征图形检测，以判断用户是否答题正确，增加了体验的多样性和互动性。附图说明图1为本专利技术提供的基于图形识别的交互方法的一个实施例的流程示意图；图2为本专利技术提供的基于图形识别的交互方法的另一个实施例的流程示意图；图3为本专利技术提供的基于图形识别的交互方法的另一个实施例中步骤214的流程示意图；图4为本专利技术提供的基于图形识别的交互方法实施例中第一待分析图像的其中一个示例的示意图；图5为本专利技术提供的基于图形识别的交互装置的一个实施例的结构示意图；图6为本专利技术提供的执行所述基于图形分析的交互方法的装置的一个实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。本专利技术实施例第一个方面，提出了一种基于图形识别的交互方法，可提高互动性能。如图1所示，为本专利技术提供的基于图形识别的交互方法的一个实施例的流程示意图。所述基于图形识别的交互方法，包括：步骤101：获取第一待分析图像；这里的获取第一待分析图像，可以是通过摄像头等具有拍摄功能的设备完成图像采集并获取得到的；所述摄像头可以是任何电子设备(如手机、平板电脑、相机等等)上具有的摄像头，也可以是基于本专利技术而专门设计的采集装置中安装的摄像头；当本实施例应用于绘本识别时，所述第一待分析图像可以是通过摄像头拍摄绘本而得到的照片，可以是绘本封面照片，也可以是绘本内页照片，可因为用户目前将绘本翻到不同页数而不同。步骤102：识别所述第一待分析图像并得到识别结果。步骤103：播放与所述识别结果相关联的朗读音频文件；这里，当本实施例应用于绘本识别时，所述识别结果为所述第一待分析图像所对应的绘本页，可以是绘本封面，也可以是绘本内页；与所述识别结果相关联的朗读音频文件，可以是指朗读该绘本页对应内容的音频文件。步骤104：在所述朗读音频文件播放完毕后，根据所述识别结果，播放与所述第一待分析图像的交互内容相关联的提问音频文件；这里所述的交互内容，可以是与识别结果相关联的互动内容，具体地，当本实施例应用于绘本识别时，所述交互内容是指绘本页中所包含的内容相对应的可用于互动的内容，例如，绘本页中存在某个主体，而所述提问音频文件可以是针对该主体提出的互动问题。步骤105：获取第二待分析图像；这里，所述第二待分析图像的获取方式可以是与所述第一待分析图像相同的。步骤106：确定第二待分析图像中是否存在特征图形；这里，当本实施例应用于绘本识别时，所述第二待分析图像可以是针对所述第一待分析图像对应的绘本页进行图像采集而得到的，当然也可以不是，而具体第二待分析图像对应的绘本页内容，可以另外设置识别步骤来进行识别。当所述第二待分析图像对应的绘本页与第一待分析图像对应的绘本页相同时，相较于所述第一待分析图像，所述第二待分析图像中可能存在特征图形。步骤107：若第二待分析图像中不存在特征图形，则播放提醒语音。这里，所述特征图形的出现，指代的是用户针对所述提问音频文件进行了相应的互动操作，例如将手指向问题答案所对应的绘本页中本文档来自技高网...

【技术保护点】
1.一种基于图形识别的交互方法，其特征在于，包括：获取第一待分析图像；识别所述第一待分析图像并得到识别结果；播放与所述识别结果相关联的朗读音频文件；在所述朗读音频文件播放完毕后，根据所述识别结果，播放与所述第一待分析图像的交互内容相关联的提问音频文件；获取第二待分析图像；确定第二待分析图像中是否存在特征图形；若第二待分析图像中存在特征图形，则确定所述特征图形是否与交互区域存在重叠；其中，所述交互区域为与所述提问音频文件中的问题的答案相对应的区域；若所述特征图形与交互区域存在重叠，则播放正确音频文件；若所述特征图形与交互区域不存在重叠，则播放错误音频文件。

【技术特征摘要】
1.一种基于图形识别的交互方法，其特征在于，包括：获取第一待分析图像；识别所述第一待分析图像并得到识别结果；播放与所述识别结果相关联的朗读音频文件；在所述朗读音频文件播放完毕后，根据所述识别结果，播放与所述第一待分析图像的交互内容相关联的提问音频文件；获取第二待分析图像；确定第二待分析图像中是否存在特征图形；若第二待分析图像中存在特征图形，则确定所述特征图形是否与交互区域存在重叠；其中，所述交互区域为与所述提问音频文件中的问题的答案相对应的区域；若所述特征图形与交互区域存在重叠，则播放正确音频文件；若所述特征图形与交互区域不存在重叠，则播放错误音频文件。2.根据权利要求1所述的方法，其特征在于，还包括：获取特征图形数据；所述特征图形数据的数量大于预设数量阈值；对所述特征图形数据进行人工标注；利用标注后的特征图形数据和不含特征图形的训练图像数据，训练得到特征检测器；所述确定第二待分析图像中是否存在特征图形的步骤包括：利用所述特征检测器确定第二待分析图像中是否存在特征图形。3.根据权利要求2所述的方法，其特征在于，所述特征图形为手指图形，所述特征检测器为手指检测器。4.根据权利要求1所述的方法，其特征在于，所述手指检测器采用Haar+adaboost、svm+hog、faster-rcnn、yolo、ssd中的一种或多种方法实现。5.根据权利要求1所述的方法，其特征在于，还包括：获取训练图像数据；对所述训练图像数据人工标注出交互区域。6.根据权利要求5所述的方法，其特征在于，还包括：提取所述训练图像数据中的比对特征点；所述确定所述特征图形是否与交互区域存...

【专利技术属性】
技术研发人员：徐乐，程璞，王西，顾嘉唯，
申请(专利权)人：北京物灵智能科技有限公司，
类型：发明
国别省市：北京,11