基于图片匹配实现互动提示的方法、装置及存储设备制造方法及图纸

本申请公开了一种基于图片匹配实现互动提示的方法、装置及存储设备，该方法包括：对相机采集图片进行透射变换；提取透射变换后的相机采集图片特征；对提取到的透射变换后的相机采集图片特征进行反透射变换；对反透射变换后的相机采集图片特征进行畸变矫正；根据畸变矫正后的相机采集图片特征、预先提取到的扫描图片特征和互动区域在扫描图片中的坐标进行语音提示。本申请能够取得的有益效果在于，互动区域不在视野范围给予语音提示；对反透射变换后的相机采集图片特征进行畸变矫正，计算量小，实时性高，在内存受限条件下有效的提升用户体验。

Method, device and storage device for realizing interactive prompting based on picture matching

This application discloses a method, device and storage device for interactive prompting based on picture matching. The method includes: transmission transformation of photographs collected by cameras; extraction of image features acquired by cameras after transmission transformation; reverse transmission transformation of image features acquired by cameras after transmission transformation; and reflection transformation of image features acquired by cameras after transmission transformation. The feature of the image captured by the camera after projection transformation is corrected for distortion; the feature of the image captured by the camera after distortion correction, the feature of the scanned image extracted in advance and the coordinates of the interactive area in the scanned image are used for voice prompting. The beneficial effect of this application is that the interactive area is not in the field of vision to give voice prompts; the distortion correction of the image features collected by the camera after the retro-transmission transformation is carried out, which has the advantages of small computation and high real-time performance, and can effectively enhance the user experience under the condition of limited memory.

【技术实现步骤摘要】
基于图片匹配实现互动提示的方法、装置及存储设备
本申请涉及人工智能
，尤其是涉及一种基于图片匹配实现互动提示的方法、装置及存储设备。
技术介绍
基于图像识别技术识别儿童绘本是通过检测相机捕获的图像中是否包含儿童绘本，并且根据图像特征确认当前图像是哪本绘本的哪一页，实现自动阅读儿童绘本的功能。为了更好的培养儿童绘本阅读习惯，可以通过基于图像识别的手指检测功能，实现简单的阅读互动，比如手指点读，问答交互(提问题，然后儿童用手指指出答案)。由于相机视野范围有限，使用环境变化多样，在进行交互时，存在儿童绘本中互动区域不在视野范围内的情况，导致互动失败的问题。
技术实现思路
本申请实施例提供一种基于图片匹配实现互动提示的方法、装置及存储设备。解决了儿童绘本中互动区域不在视野范围内的情况，导致互动失败的问题。本申请实施例提供了一种基于图片匹配实现互动提示的方法，该方法包括：对相机采集图片进行透射变换；提取透射变换后的相机采集图片特征；对提取到的透射变换后的相机采集图片特征进行反透射变换；对反透射变换后的相机采集图片特征进行畸变矫正；根据畸变矫正后的相机采集图片特征、预先提取到的扫描图片特征和互动区域在扫描图片中的坐标进行语音提示。进一步地，所述提取透射变换后的相机采集图片特征包括：利用局部特征检测算法提取透射变换后的相机采集图片特征。进一步地，所述根据畸变矫正后的相机采集图片特征、预先提取到的扫描图片特征和互动区域在扫描图片中的坐标进行语音提示包括：根据畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征得到转换矩阵；根据所述转换矩阵和所述互动区域在扫描图片中的坐标进行语音提示。进一步地，所述根据畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征得到转换矩阵包括：将畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征进行匹配得到转换矩阵。进一步地，所述将畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征进行匹配得到转换矩阵包括：利用随机抽样一致性算法计算出畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征之间的转换矩阵。进一步地，所述根据所述转换矩阵和所述互动区域在扫描图片中的坐标进行语音提示包括：利用所述转换矩阵将所述互动区域在扫描图片中的坐标转换到在畸变矫正后的相机采集图片中的坐标；根据转换的互动区域在畸变矫正后的相机采集图片中的坐标进行语音提示。进一步地，所述根据转换的互动区域在畸变矫正后的相机采集图片中的坐标进行语音提示包括：在所述转换的互动区域在畸变矫正后的相机采集图片中的坐标超出所述畸变矫正后的相机采集图片的实际坐标的情况下，进行语音提示。进一步地，所述在所述转换的互动区域在畸变矫正后的相机采集图片中的坐标超出所述畸变矫正后的相机采集图片的实际坐标的情况下，进行语音提示包括：在所述转换的互动区域在畸变矫正后的相机采集图片中的横坐标和/或纵坐标中至少一者为负的情况下，进行语音提示；在所述转换的互动区域在畸变矫正后的相机采集图片中的横坐标不小于所述畸变矫正后的相机采集图片的实际横坐标的情况下和/或在所述转换的互动区域在畸变矫正后的相机采集图片中的纵坐标不小于所述畸变矫正后的相机采集图片的实际纵坐标的情况下，进行语音提示。本申请实施例还提供了一种基于图片匹配实现互动提示的装置，该装置包括：存储设备，用于存储程序数据；处理器，用于执行所述存储设备中的程序数据以实现上述基于图片匹配实现互动提示的方法。本申请实施例还提供了一种存储设备，其上存储有程序数据，所述程序数据用于被处理器执行时实现上述的基于图片匹配实现互动提示的方法。本申请能够取得的有益效果在于，互动区域不在视野范围给予语音提示；对反透射变换后的相机采集图片特征进行畸变矫正，计算量小，实时性高，在内存受限条件下有效的提升用户体验。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为计算机组成结构框图；图2为本申请实施例提供的一种基于图片匹配实现互动提示的方法的流程示意图；图3为本申请实施例提供的一种基于图片匹配实现互动提示的装置的结构示意图；图4为本申请实施例提供的透射变换示意图；图5为本申请实施例提供的一种基于图片匹配实现互动提示的方法的流程示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为计算机组成结构框图，其中示出了计算机的主要部件。图1中，处理器110、内部存储器105、总线桥120以及网络接口115接入系统总线140，总线桥120用于桥接系统总线140和I/O总线145，I/O接口接入I/O总线145，USB接口以及外部存储器与I/O接口连接。图1中，处理器110可以为一个或多个处理器，每个处理可以具有一个或者多个处理器内核；内部存储器105为易失性存储器，例如寄存器、缓存器、各种类型的随机存取存储器等；在计算机开机运行的时候，内部存储器105中的数据包括操作系统和应用程序；网络接口115可以为以太网接口、光纤接口等；系统总线140可以用来传送数据信息、地址信息、以及控制信息；总线桥120可以用来进行协议转换，将系统总线协议转换为I/O协议或者将I/O协议转换为系统总线协议以实现数据传输；I/O总线145用来数据信息和控制信息，还可以总线终结电阻或电路来降低信号反射干扰；I/O接口130主要与各种外部设备连接，例如键盘、鼠标、传感器等等，闪存可以通过USB接口接入I/O总线，外部存储器为非易失性存储器，例如硬盘、光盘等。在计算机开机之后，处理器可以将存储于外部存储其中的数据读取到内部存储器中，并对内部存储其中的计算机指令进行处理，完成操作系统以及应用程序的功能。该示例计算机可以为台式机、笔记本电脑、平板电脑、智能手机等。为了实现儿童绘本阅读互动功能，要求在相机采集图片和数据库中的扫描图片之间建立准确、稳定的转换关系。要解决的问题，主要是相机采集图片和数据库中对应的扫描图片的坐标变换问题。利用特征点提取算法，分别在两幅图片中提取到两个特征点集，然后经过特征点匹配，获取两幅图片之间的转换矩阵；利用转换矩阵计算出儿童绘本交互区域在相机采集图片中的坐标，当该坐标超出相机视野范围时，给用户语音提升，帮助用户准确的移动绘本，使交互区域处于相机视野中，成功实现交互功能。图2为本申请实施例提供的一种基于图片匹配实现互动提示的方法的流程示意图，该流程示意图包括：步骤205，对相机采集图片进行透射变换；虽然大部分的局部特征，如尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)、加速稳健特征(SpeededUpRobustFeatures，SURF)、快速特征点提取和匹配算法(OrientedFASTandRotatedBRIEF，ORB)等都是尺度不变的，但实际应用时，尺度不变是在一定范围内的不变，所以需要考虑相机采本文档来自技高网...

【技术保护点】
1.一种基于图片匹配实现互动提示的方法，其特征在于，该方法包括：对相机采集图片进行透射变换；提取透射变换后的相机采集图片特征；对提取到的透射变换后的相机采集图片特征进行反透射变换；对反透射变换后的相机采集图片特征进行畸变矫正；根据畸变矫正后的相机采集图片特征、预先提取到的扫描图片特征和互动区域在扫描图片中的坐标进行语音提示。

【技术特征摘要】
1.一种基于图片匹配实现互动提示的方法，其特征在于，该方法包括：对相机采集图片进行透射变换；提取透射变换后的相机采集图片特征；对提取到的透射变换后的相机采集图片特征进行反透射变换；对反透射变换后的相机采集图片特征进行畸变矫正；根据畸变矫正后的相机采集图片特征、预先提取到的扫描图片特征和互动区域在扫描图片中的坐标进行语音提示。2.根据权利要求1所述的基于图片匹配实现互动提示的方法，其特征在于，所述提取透射变换后的相机采集图片特征包括：利用局部特征检测算法提取透射变换后的相机采集图片特征。3.根据权利要求2所述的基于图片匹配实现互动提示的方法，其特征在于，所述根据畸变矫正后的相机采集图片特征、预先提取到的扫描图片特征和互动区域在扫描图片中的坐标进行语音提示包括：根据畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征得到转换矩阵；根据所述转换矩阵和所述互动区域在扫描图片中的坐标进行语音提示。4.根据权利要求3所述的基于图片匹配实现互动提示的方法，其特征在于，所述根据畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征得到转换矩阵包括：将畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征进行匹配得到转换矩阵。5.根据权利要求4所述的基于图片匹配实现互动提示的方法，其特征在于，所述将畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征进行匹配得到转换矩阵包括：利用随机抽样一致性算法计算出畸变矫正后的相机采集图片特征和预先提取到的扫描图片特征之间的转换矩阵。6.根据权利要求5所述的基于图片匹配实现互动提示的方法，其特征在于，所述根据所述转换...

【专利技术属性】
技术研发人员：郑慧，顾嘉唯，
申请(专利权)人：北京物灵智能科技有限公司，
类型：发明
国别省市：北京,11