基于自然语言表达的目标检测方法、电子设备、存储介质技术

本发明专利技术提供基于自然语言表达的目标检测方法，包括获取用户输入的自然语言表达中的自然语言信息以及待测目标图片；根据快速区域卷积神经网络对提取待测目标图片中含有物体的区域图像并提取区域图像中的区域特征；采用含有注意机制和记忆机制的循环神经网络对自然语言信息进行编码处理，并根据编码提取自然语言信息中的自然语言特征；将自然语言特征与区域特征进行相似度匹配，若相似度达到预设相似度阈值，则匹配成功，区域特征为目标区域特征，将区域特征输出至用户；若相似度未达到预设相似度阈值，则匹配不成功。本发明专利技术的基于自然语言表达的目标检测方法，检测过程快速精准，可以实时有效的检测到与用户输入的自然语言表达相对应的目标区域。

Target detection method, electronic device and storage medium based on natural language expression

The invention provides a target detection method based on natural language expression, including acquiring the natural language information in the natural language expression input by the user and the target image to be measured; extracting the region image containing the object in the target image according to the fast region convolution neural network and extracting the region feature in the region image; The natural language information is coded by the cyclic neural network with attention mechanism and memory mechanism, and the natural language features in the natural language information are extracted according to the coding. The similarity between the natural language features and the regional features is matched. If the similarity reaches the preset similarity threshold, the matching is successful and the regional features are matched successfully. For the target region feature, the region feature is output to the user; if the similarity does not reach the preset similarity threshold, the matching is unsuccessful. The target detection method based on natural language expression of the invention has fast and accurate detection process, and can effectively detect the target area corresponding to the natural language expression input by the user in real time.

【技术实现步骤摘要】
基于自然语言表达的目标检测方法、电子设备、存储介质
本专利技术涉及目标检测领域，尤其涉及基于自然语言表达的目标检测方法、电子设备、存储介质。
技术介绍
目标检测问题属于计算机视觉领域的核心问题，近年来借助于卷积神经网络丰富的表达能力与GPU(图形处理单元)强大的并行计算能力，通过大量的训练数据，在准确率与检测速度上都有了极大提高,现有的目标检测算法可以准确地识别图片中的物体，例如“猫”、“自行车”等，并能精确定位其位置，但这些算法难以根据一个精确的表达(例如“左侧穿蓝衣服的男孩”)来检测图片中的目标；即根据自然语言表达在待测图片中检测到对用的区域。上述的根据自然语言表达在待测图片中的目标区域检测广泛应用于人机交互过程中，用户更希望以类似“请帮我找到右侧红色的咖啡杯”的方式给机器终端下命令，而不是告诉机器终端某物体的坐标的方式，因此机器终端必须进行一系列处理才能找到用户需要的目标区域；传统的机器终端处理的方法是采取生成的方法，即将待测目标图片划分为若干候选区域，在每个区域内都生成依据自然语言表达式，并与给定的自然语言表达进行对比，相似度高的即为目标区域；当待测目标图片比较大时，需要同时本文档来自技高网...

【技术保护点】
1.基于自然语言表达的目标检测方法，其特征在于包括：信息获取，获取用户输入的自然语言表达中的自然语言信息以及待测目标图片；区域特征提取，根据快速区域卷积神经网络对提取所述待测目标图片中含有物体的区域图像并提取所述区域图像中的区域特征；自然语言编码，采用含有注意机制和记忆机制的循环神经网络对所述自然语言信息进行编码处理，并根据编码提取所述自然语言信息中的自然语言特征；特征匹配，将所述自然语言特征与所述区域特征进行相似度匹配，若相似度达到预设相似度阈值，则匹配成功，所述区域特征为目标区域特征，将所述区域特征输出至用户；若相似度未达到预设相似度阈值，若匹配不成功。

【技术特征摘要】
1.基于自然语言表达的目标检测方法，其特征在于包括：信息获取，获取用户输入的自然语言表达中的自然语言信息以及待测目标图片；区域特征提取，根据快速区域卷积神经网络对提取所述待测目标图片中含有物体的区域图像并提取所述区域图像中的区域特征；自然语言编码，采用含有注意机制和记忆机制的循环神经网络对所述自然语言信息进行编码处理，并根据编码提取所述自然语言信息中的自然语言特征；特征匹配，将所述自然语言特征与所述区域特征进行相似度匹配，若相似度达到预设相似度阈值，则匹配成功，所述区域特征为目标区域特征，将所述区域特征输出至用户；若相似度未达到预设相似度阈值，若匹配不成功。2.如权利要求1所述的基于自然语言表达的目标检测方法，其特征在于：所述区域特征提取之前还包括训练快速区域卷积神经网络，在MSCOCO数据集中获取预设训练自然语言表达信息及预设训练图片，将所述预设训练自然语言表达信息即所述预设训练图片信息输入至所述快速区域卷积神经网络进行训练。3.如权利要求2所述的基于自然语言表达的目标检测方法，其特征在于：所述训练快速区域卷积神经网络还包括对所述预设训练自然语言表达信息进行预处理。4.如权利要求3所...

【专利技术属性】
技术研发人员：陈鑫，叶淑阳，
申请(专利权)人：淘然视界杭州科技有限公司，
类型：发明
国别省市：浙江,33