一种基于增强现实的花卉识别方法及设备技术

本发明专利技术实施例提供一种基于增强现实的花卉识别方法及设备，该方法包括：获取用户终端上传的视频流信息；将视频流信息进行分帧，获得视频流信息的单帧图像信息；将单帧图像信息输入至预设深度学习神经网络，获得花卉识别信息和花卉识别场景信息；将花卉识别信息与预设花卉增强现实信息数据库进行匹配，得到花卉识别信息所对应的花卉增强现实信息；将花卉识别场景信息和花卉增强现实信息发送到用户终端，以供用户终端实现增强现实效果的花卉识别。本发明专利技术实施例通过将用户终端上传的视频流信息，从而得到识别信息，再将对应的花卉增强现实信息发送到用户终端，以实现增强现实的花卉识别。

【技术实现步骤摘要】
一种基于增强现实的花卉识别方法及设备
本专利技术实施例涉及计算机技术
，更具体地，涉及一种基于增强现实的花卉识别方法及设备。
技术介绍
增强现实技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。现有技术中，花卉识别的识别图往往是固定的图片，开发者将事先准备用于识别花卉的图片库上传至后台，然后根据图片识别算法来对识别图进行识别，然后以文字或图片的形式呈现识别结果。现有技术无法识别除识别图片库以外的花卉，且呈现花卉识别结果的方式过于单调。
技术实现思路
本专利技术实施例提供一种基于增强现实的花卉识别方法及设备，用于解决上述问题或至少部分解决上述问题。第一方面，本专利技术实施例提供一种基于增强现实的花卉识别方法，包括：获取用户终端上传的视频流信息；将所述视频流信息进行分帧，获得所述视频流信息的单帧图像信息；将所述单帧图像信息输入至预设深度学习神经网络，获得花卉识别信息和花卉识别场景信息；将所述花卉识别信息与预设花卉增强现实信息数据库进行匹配，得到花卉识别信息所对应的花卉增强现实信息；将所述花卉识别场景信息和所述花卉增强现实信息发送到用户终端，以供所述用户终端实现增强现实效果的花卉识别。第二方面，本专利技术实施例还提供了一种基于增强现实的花卉识别方法，包括：将视频流信息按照FFmpeg编码器采用H.264编码封装成为mp4格式；将封装为mp4格式的视频流信息通过端口554发送到服务器；获取服务器反馈的花卉识别场景信息和花卉增强现实信息，以实现增强现实效果的花卉识别。第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于增强现实的花卉识别方法。第四方面，本专利技术实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述基于增强现实的花卉识别方法的步骤。第五方面，本专利技术实施例提供了一种用户终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第二方面所述基于增强现实的花卉识别方法。第六方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第二方面所述基于增强现实的花卉识别方法的步骤。本专利技术实施例提供一种基于增强现实的花卉识别方法及设备，通过将用户终端上传的视频流信息，将视频流信息分帧为单帧图片后，输入训练好的预设深度学习神经网络，从而得到花卉识别信息，再将花卉识别信息对应的花卉增强现实信息发送到用户终端，以实现增强现实的花卉识别。附图说明图1为本专利技术一实施例所提供的基于增强现实的花卉识别方法流程图；图2为本专利技术另一实施例提供的基于增强现实效果的花卉识别方法流程图；图3为本专利技术一实施例所提供的电子设备结构示意图；图4为本专利技术另一实施例所提供的电子设备结构示意图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。图1为本专利技术一实施例所提供的基于增强现实的花卉识别方法流程图，如图1所示，包括：S1，获取用户终端上传的视频流信息；S2，将所述视频流信息进行分帧，获得所述视频流信息的单帧图像信息；S3，将所述单帧图像信息输入至预设深度学习神经网络，获得花卉识别信息和花卉识别场景信息；S4，将所述花卉识别信息与预设花卉增强现实信息数据库进行匹配，得到花卉识别信息所对应的花卉增强现实信息；S5，将所述花卉识别场景信息和所述花卉增强现实信息发送到用户终端，以供所述用户终端实现增强现实效果的花卉识别。S1具体为，服务器获取用户终端上传的视频流信息，该视频流信息中的视频帧率可以为60fps，该视频流信息中的视频格式可以是mp4格式。S2具体为，在将视频流信息进行分帧之前，首先要将用户终端上传的视频流信息转换为YUV格式的视频流信息，然后再进行分帧；将YUV格式的视频流信息输入到服务器中的视频分帧器进行分帧处理，最后得到该视频流信息的多组单帧图像信息。S3具体为，该预设深度学习神经网络采用的是YOLOV3目标检测框架，预先将花卉图像数据作为训练样本集，对所述预设深度学习神经网络进行训练，从而实现输入单帧花卉图像，即可以输出花卉的识别ID和花卉识别场景信息，作为花卉的识别信息。若输入多组单帧图像信息时，则每次向预设深度学习神经网络中输入一组单帧图像信息，间隔1秒后，再次输入另一组单帧图像信息，直至输入所有单帧图像信息；每输入一组单帧图像信息到预设深度学习神经网络，则输出该单帧图像信息对应的唯一识别ID和其对应的花卉识别场景信息，若输入多组单帧图像信息到预设深度学习神经网络，则会输出多组单帧图像信息各自对应的识别ID和花卉识别场景信息。花卉识别场景信息是指每个花卉的单帧图像信息在输入预设深度学习神经网络后输出的四个世界坐标系坐标，通过这四个世界坐标系坐标可以确定花卉在世界坐标系中的位置。S4具体为，服务器在将所述花卉识别信息与预设花卉增强现实信息数据库进行匹配前，首先在服务器建立一个预设花卉增强现实信息数据库，该预设花卉增强现实信息数据库包括对预设深度学习神经网络输出的唯一识别ID的匹配信息，且该匹配信息均对应不同的花卉增强现实信息。我们可以对预设深度学习神经网络输出的唯一识别ID在该增强现实信息数据库进行匹配，若匹配成功，从而得到该匹配信息所对应的花卉增强现实信息。花卉增强现实信息包括花卉对应的名称、属性和花语等文字信息。S5具体为，在服务器将所述花卉识别场景信息和所述花卉增强现实信息发送到用户终端后，用户终端将花卉场景信息中的四个世界坐标系坐标均转化为其对应的花卉识别成像平面坐标信息；当花卉识别检测框的四个顶点的世界坐标系坐标发生变化时，其对应的花卉识别成像平面坐标信息也会相应的发生变化。用户终端根据确定花卉在世界坐标系中位置的四个所对应的成像平面坐标信息将花卉增强现实信息注册显示到用户终端的显示屏上。本专利技术实施例通过将用户终端上传的视频流信息，将视频流信息分帧为单帧图片后，输入训练好的预设深度学习神经网络，从而得到花卉识别信息，再将花卉识别信息对应的花卉增强现实信息发送到用户终端，以实现增强现实的花卉识别。在上述实施例的基础上，所述将所述视频流信息进行分帧，获得所述视频流信息的单帧图像信息的步骤，具体包括：服务器将所述视频流信息通过FFmpeg解码器将所述视频流信息解码为YUV视频信息；服务器将所述YUV视频信息输入视频分帧器，得到所述视频流信息的单帧图像信息。其中，将YUV视频输入视频分帧器后，会得到多组包含花卉信息的单帧图像信息。在分帧得到单帧图像信息后，还包括将单帧图像处理成预设深度学习神经网络所需的输入格式，例如将单帧图像信息处理为像素为640*480的单帧图像信息。本专利技术实施例通过将上传的视频流信息进行分帧，从而得到单帧图像信息，方便后续花卉识别的处理。在上述实施例的基础上，所述将所述单帧图像信息输入至预设深度学习神经本文档来自技高网...

【技术保护点】
1.一种基于增强现实的花卉识别方法，其特征在于，包括：获取用户终端上传的视频流信息；将所述视频流信息进行分帧，获得所述视频流信息的单帧图像信息；将所述单帧图像信息输入至预设深度学习神经网络，获得花卉识别信息和花卉识别场景信息；将所述花卉识别信息与预设花卉增强现实信息数据库进行匹配，得到花卉识别信息所对应的花卉增强现实信息；将所述花卉识别场景信息和所述花卉增强现实信息发送到用户终端，以供所述用户终端实现增强现实效果的花卉识别。

【技术特征摘要】
1.一种基于增强现实的花卉识别方法，其特征在于，包括：获取用户终端上传的视频流信息；将所述视频流信息进行分帧，获得所述视频流信息的单帧图像信息；将所述单帧图像信息输入至预设深度学习神经网络，获得花卉识别信息和花卉识别场景信息；将所述花卉识别信息与预设花卉增强现实信息数据库进行匹配，得到花卉识别信息所对应的花卉增强现实信息；将所述花卉识别场景信息和所述花卉增强现实信息发送到用户终端，以供所述用户终端实现增强现实效果的花卉识别。2.根据权利要求1所述方法，其特征在于，所述将所述视频流信息进行分帧，获得所述视频流信息的单帧图像信息的步骤，具体包括：将所述视频流信息通过FFmpeg解码器将所述视频流信息解码为YUV视频信息；将所述YUV视频信息输入视频分帧器，得到所述视频流信息的单帧图像信息。3.根据权利要求1所述方法，其特征在于，所述将所述单帧图像信息输入至预设深度学习神经网络，获得花卉识别信息的步骤之前，还包括：通过花卉图像数据，作为训练样本集，对所述预设深度学习神经网络进行训练。4.根据权利要求1所述方法，其特征在于，所述将所述花卉识别场景信息和所述花卉增强现实信息发送到用户终端，以实现增强现实效果的花卉识别的步骤，具体包括：向所述用户终端发送增强现实指令，所述增强现实指令用于指示所述用户终端将所述花卉识别场景信息，转化为所述花卉识别场景信息对应的花卉识别成像平面坐标信息；所述增强现实指令还用于，指示所述用户终端结合所述花卉识别成像平面坐标信息和所述花卉增强现实信息，以实现增强现...

【专利技术属性】
技术研发人员：王庆，陈云强，陈洪，
申请(专利权)人：中国农业大学，
类型：发明
国别省市：北京,11