实时数据处理方法技术

公开了一种实时数据处理方法，实时数据处理是大数据应用的一个基础环节，是实现基于数据的快速响应、快速决策的关键。在本申请中，所述实时数据处理方法基于人工智能技术针对智慧农业领域中的农机自动驾驶所产生的数据以深度学习技术进行实时去冗余，以提高农机自动驾驶过程当中的实时数据处理能力。

【技术实现步骤摘要】
实时数据处理方法
本专利技术涉及智慧加工领域下的智能控制决策，且更为具体地，涉及一种实时数据处理方法、实时数据处理与存储系统和电子设备。
技术介绍
大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低等四大特征。实时计算或者说实时数据处理是大数据应用的一个基础环节和关键技术，是实现基于数据的快速响应、快速决策的关键。随着大数据和物联网的发展，传统的农业产业在发生技术迭代与革命：基于自动驾驶技术的智慧农机逐渐进入人们的视野。自动驾驶农机主要利用角度传感器获取农机偏移数据、摄像头获取周围作物生长数据以及导航卫星实时定位跟踪车辆信息数据，将获取的数据经过无线网络传输到控制端，对数据进行分析后，利用车载计算机显示器实时显示作业情况以及作业进度等。目前，由于自动驾驶农机状态信息中的数据实时性较高，工作过程中需要不断检测当前车身偏角及位置偏移量，造成了巨大的运算量。车载终端当农机处于移动状态时，由于农机在农田的工作环境比较复杂，土壤疏松，坎坷不平，导致驾驶过程中振动大，容易出现打滑等现象，导致摄像头采集到的视频数据画面质量相对较低。且所获得的视频画面中的信息，并不都是有用的，有很多信息对于自动驾驶农机进行判断决策没有帮助。因此，期望提供一种能够适用于提高农机自动驾驶过程当中的实时数据处理能力的技术方案。目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。深度学习以及神经网络的发展为自动驾驶农机的实时数据处理提供了新的解决思路和方案。
技术实现思路
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种实时数据处理方法、实时数据处理与存储系统和电子设备，其基于人工智能技术针对智慧农业领域中的农机自动驾驶所产生的数据以深度学习技术进行实时去冗余，以提高农机自动驾驶过程当中的实时数据处理能力。具体地，所述方法通过基于深度神经网络的编码器-解码器结构，将农机的当前状态信息进行编码，将摄像头采集到的场景图像分为包含农作物对象的保留部分和包含路况信息对象的非保留部分，然后，在高维空间中将非保留部分与当前状态信息进行融合，以获得预测的下一时刻状态的高维特征向量，进行解码后，即可获得农机下一时刻的状态信息，以用于调整驾驶参数。这样，在存储过程中，智能地舍弃非保留部分的图像数据，从而提高了农机自动驾驶过程当中的实时数据处理能力。根据本申请的一个方面，提供了一种实时数据处理方法，其包括：获取农机在当前时刻的当前状态信息；将所述当前状态信息构造为输入向量并将所述输入向量输入基于第一深度神经网络的编码器，以获得编码特征向量；通过所述农机的摄像头，获取当前时刻的场景图像；提取出所述场景图像中的保留部分和非保留部分，其中，所述保留部分对应于所述场景图像中的农作物对象，所述非保留部分对应于所述场景中的路况对象；将所述非保留部分通过深度卷积神经网络，以获得路况特征图；将所述编码特征向量与所述路况特征图进行矩阵相乘，以将所述路况特征图中的特征映射到所述编码特征向量所在的特征空间中，以获得更新的编码特征向量；将所述更新的编码特征向量输入基于第二深度神经网络的解码器，以获得解码向量，其中，所述解码向量的各个位置的特征值对应于所述农机在下一时刻的状态信息；以及删除所述场景图像中的非保留部分，并实时存储被删除非保留部分的所述场景图像。在上述实时数据处理方法中，提取出所述场景图像中的保留部分和非保留部分，包括：对所述场景图像进行图像语义分割处理，以提取出所述场景图像中的保留部分和非保留部分。在上述实时数据处理方法中，提取出所述场景图像中的保留部分和非保留部分，包括：通过第一候选框框选出所述场景图像中的保留部分；以及，通过第二候选框框选出所述场景图像中的非保留部分。在上述实时数据处理方法中，所述路况特征图与所述编码特征向量具有相同的概率分布。在上述实时数据处理方法中，在训练过程中，计算所述路况特征图和所述编码特征向量之间的交叉熵损失函数值，并以所述交叉熵损失函数值来训练所述深度卷积神经网络。在上述实时数据处理方法中，所述深度神经网络为深度残差网络。在上述实时数据处理方法中，所述状态信息包括车辆坐标、俯仰角、偏航角、滚转角、变化速度和变化加速度。根据本申请的另一方面，提供了一种实时数据处理与存储系统，其包括：当前状态信息获取单元，用于获取农机在当前时刻的当前状态信息；编码特征向量生成单元，用于将所述当前状态信息获取单元获得的所述当前状态信息构造为输入向量并将所述输入向量输入基于第一深度神经网络的编码器，以获得编码特征向量；场景图像获取单元，用于通过所述农机的摄像头，获取当前时刻的场景图像；图像提取单元，用于提取出所述场景图像获取单元获得的所述场景图像中的保留部分和非保留部分，其中，所述保留部分对应于所述场景图像中的农作物对象，所述非保留部分对应于所述场景中的路况对象；路况特征图生成单元，用于将所述图像提取单元获得的所述非保留部分通过深度卷积神经网络，以获得路况特征图；更新编码特征向量生成单元，用于将所述编码特征向量生成单元获得的所述编码特征向量与所述路况特征图生成单元获得的所述路况特征图进行矩阵相乘，以将所述路况特征图中的特征映射到所述编码特征向量所在的特征空间中，以获得更新的编码特征向量；解码向量生成单元，用于将所述更新编码特征向量生成单元获得的所述更新的编码特征向量输入基于第二深度神经网络的解码器，以获得解码向量，其中，所述解码向量的各个位置的特征值对应于所述农机在下一时刻的状态信息；以及实时存储单元，用于删除所述场景图像获取单元获得的所述场景图像中的非保留部分，并实时存储被删除非保留部分的所述场景图像。在上述实时数据处理与存储系统中，所述图像提取单元，进一步用于：对所述场景图像进行图像语义分割处理，以提取出所述场景图像中的保留部分和非保留部分。在上述实时数据处理与存储系统中，所述图像提取单元，包括：保留部分选取单元，用于通过第一候选框框选出所述场景图像中的保留部分；以及，非保留部分选取单元，用于通过第二候选框框选出所述场景图像中的非保留部分。在上述实时数据处理与存储系统中，所述路况特征图与所述编码特征向量具有相同的概率分布。在上述实时数据处理与存储系统中，在训练过程中，计算所述路况特征图和所述编码特征向量之间的交叉熵损失函数值，并以所述交叉熵损失函数值来训练所述深度卷积神经网络。在上述实时数据处理与存储系统中，所述深度神经网络为深度残差网络。在上述实时数据处理与存储系统中，所述状态信息包括车辆坐标、俯仰角、偏航角、滚转角、变化速度和变化加速度。根据本申请本文档来自技高网...

【技术保护点】
1.一种实时数据处理方法，其特征在于，包括：/n获取农机在当前时刻的当前状态信息；/n将所述当前状态信息构造为输入向量并将所述输入向量输入基于第一深度神经网络的编码器，以获得编码特征向量；/n通过所述农机的摄像头，获取当前时刻的场景图像；/n提取出所述场景图像中的保留部分和非保留部分，其中，所述保留部分对应于所述场景图像中的农作物对象，所述非保留部分对应于所述场景中的路况对象；/n将所述非保留部分通过深度卷积神经网络，以获得路况特征图；/n将所述编码特征向量与所述路况特征图进行矩阵相乘，以将所述路况特征图中的特征映射到所述编码特征向量所在的特征空间中，以获得更新的编码特征向量；/n将所述更新的编码特征向量输入基于第二深度神经网络的解码器，以获得解码向量，其中，所述解码向量的各个位置的特征值对应于所述农机在下一时刻的状态信息；以及删除所述场景图像中的非保留部分，并实时存储被删除非保留部分的所述场景图像。/n

【技术特征摘要】
1.一种实时数据处理方法，其特征在于，包括：
获取农机在当前时刻的当前状态信息；
将所述当前状态信息构造为输入向量并将所述输入向量输入基于第一深度神经网络的编码器，以获得编码特征向量；
通过所述农机的摄像头，获取当前时刻的场景图像；
提取出所述场景图像中的保留部分和非保留部分，其中，所述保留部分对应于所述场景图像中的农作物对象，所述非保留部分对应于所述场景中的路况对象；
将所述非保留部分通过深度卷积神经网络，以获得路况特征图；
将所述编码特征向量与所述路况特征图进行矩阵相乘，以将所述路况特征图中的特征映射到所述编码特征向量所在的特征空间中，以获得更新的编码特征向量；
将所述更新的编码特征向量输入基于第二深度神经网络的解码器，以获得解码向量，其中，所述解码向量的各个位置的特征值对应于所述农机在下一时刻的状态信息；以及删除所述场景图像中的非保留部分，并实时存储被删除非保留部分的所述场景图像。


2.根据权利要求1所述的实时数据处理方法，其中，提取出所述场景图像中的保留部分和非保留部分，包括：
对所述场景图像进行图像语义分割处理，以提取出所述场景图像中的保留部分和非保留部分。


3.根据权利要求1所述的实时数据处理方法，其中，提取出所述场景图像中的保留部分和非保留部分，包括：
通过第一候选框框选出所述场景图像中的保留部分；以及
通过第二候选框框选出所述场景图像中的非保留部分。


4.根据权利要求1所述的实时数据处理方法，其中，所述路况特征图与所述编码特征向量具有相同的概率分布。


5.根据权利要求4所述的实时数据处理方法，其中，在训练过程中，计算所述路况特征图和所述编码特征向量之间的交叉熵损失函数值，并以所述交叉熵损失函数值来训练所述深度卷积神经网络。


6.根据权利要求1所述的实时数据处理方法，其中，所述深度神经网络为深度残差网络。


7.根据权利要求1所述的实时数据处理方法，其中，所述状态信息包括...

【专利技术属性】
技术研发人员：吴宝昕，
申请(专利权)人：杭州追猎科技有限公司，
类型：发明
国别省市：浙江;33