一种利用Volume R-CNN神经网络进行运算的方法和装置制造方法及图纸

一种利用Volume R‑CNN神经网络进行运算的方法和装置，包括：获取同一样本的不同角度的多个图像；利用RPN确定样本检测的推荐区域；利用Fast R‑CNN预测推荐区域中对象的类别和边框；根据预测的对象的边框，利用Volume R‑CNN预测每个对象所占的体积比例；根据Fast R‑CNN预测的对象类别以及Volume R‑CNN预测的对象体积比例，计算出不同类别对象的体积比例；其中，所述RPN、Fast R‑CNN和Volume R‑CNN共享卷积层。本发明专利技术可以测量复杂、多种类的样品，通过采用人工神经网络技术和芯片，对不同种类对象的识别更加精确和快速。

A method and device for computing operation by using Volume R-CNN neural network

A method and device using Volume R_CNN neural network to perform operations, including: acquiring multiple images from different angles of the same sample; determining the recommended region for sample detection by RPN; using Fast R_CNN to predict the categories and boundaries of objects in the recommended region; using Volume R_CNN according to the boundaries of the predicted objects Predict the volume ratio of each object; calculate the volume ratio of different objects according to the object category predicted by Fast R CNN and the object volume ratio predicted by Volume R CNN; where the RPN, Fast R CNN and Volume R CNN share the convolution layer. The invention can measure complex and various kinds of samples, and can identify different kinds of objects more accurately and quickly by adopting artificial neural network technology and chip.

【技术实现步骤摘要】
一种利用VolumeR-CNN神经网络进行运算的方法和装置
本专利技术涉及图像处理
，具体涉及一种利用VolumeR-CNN神经网络进行运算的方法和装置。
技术介绍
在实际生活和生产中，往往会需要测定包括不同种类对象的样品中各类对象的体积，但是现在还没有快捷、准确的测定方法。其中一种现有技术为通过手机拍摄测量样品的俯视图和侧视图，通过人工神经网络识别对象种类，在根据公式计算出每种对象的体积。上述技术的问题在于操作复杂，对输入照片要求高；侧视图容易存在对象的遮挡问题。利用焦距预测对象长宽高等参数，对于不同的手机可能存在一定偏差，使用公式法计算对象体积，不适用于形状不规则对象，计算结果误差较大。
技术实现思路
为了解决现有技术中存在的问题，本专利技术提供了一种利用VolumeR-CNN神经网络进行运算的方法，包括：获取同一样本的不同角度的多个图像；利用RPN确定样本检测的推荐区域；利用FastR-CNN预测推荐区域中对象的类别和边框；根据预测的对象的边框，利用VolumeR-CNN预测每个对象所占的体积比例；根据FastR-CNN预测的对象类别以及VolumeR-CNN预测的对象体积比例，计算出不同类别对象的体积比例；其中，所述RPN、FastR-CNN和VolumeR-CNN共享卷积层。优选地，在确定推荐区域时，所述RPN首先对输入的图片进行多层卷积操作，提取出图片的特征映射，再使用滑动窗口对特征映射进行卷积操作，然后使用分类损失函数和边框回归损失函数两个分支来计算区域分类和区域回归，得出推荐区域。优选地，所述FastR-CNN将推荐区域映射至所述特征映射得到RoIs，再对每个RoI进行池化操作，转化为同等大小的特征图，然后对池化操作后的RoIs分别进行两个全连接网络运算，计算出每个推荐区域中的对象类别以及对边框进行精确预测。优选地，所述VolumeR-CNN将预测的边框参数映射到所述特征映射上，再对相应的映射区域进行池化操作，变为同等大小的样本区域，然后对每个样本区域进行多层全连接网络运算，计算出图中每个对象的体积中间变量vi，vi为正数；然后再将所述体积中间变量转化为相应的体积比例fi，计算公式为：其中i＝1，2……n，n为图像中对象的数目。优选地，将预测的边框参数映射到所述特征图上的方法为：将每个坐标数据乘上特征图和原始图像的大小之比。优选地，所述VolumeR-CNN中损失函数Volumeloss的形式为其中fi为预测的每个对象的体积比例，fi*为实际值，训练时输入的标记数据。优选地，预测过程中神经网络的输出包括：由VolumeR-CNN计算出的一个表示图像中每个对象的所占体积比例的n维向量，每个元素位于区间(0，1]内，且各元素之和为1；由FastR-CNN计算出的一个表示图像中各个对象所属类别的n*m矩阵，m为可识别对象的类别数目，矩阵每一行只有一个元素为1，其余m-1个元素为0，元素1所对应列即为对象所属类别；以及一个表示各个对象边框的n*4的二维数组。优选地，所述方法还包括将表示各个对象体积比例的n维向量乘上表示各个对象所属类别的n*m二维数组，得到各类别对象的体积比例向量，为m维向量，该m维向量的每一维对应一类对象，每一维上的数值表示对应类别对象所占的体积比例。优选地，所述方法还包括对每个图像都计算出一个表示各个对象体积比例的m维向量，然后再将所有m维向量相加再除以图像的个数，求出平均向量作为最终的各个对象的体积比例向量。优选地，所述方法还包括自适应性训练步骤，包括：步骤一，RPN网络初始化网络参数，根据输入的图像信息前向传播计算出每个检测区域的类别标签以及区域调整参数；再根据反向传播使用随机梯度下降算法或Adam算法来更新RPN的相关参数，包括RPN的特有部分参数以及共享卷积部分的参数，训练直至收敛；步骤二，FastR-CNN利用步骤一训练的共享卷积层参数初始化卷积层参数，并将步骤一得到的推荐区域作为神经网络计算过程中的推荐区域进行训练，并更新网络参数，包括共享的卷积网络，直至网络收敛；步骤三，RPN网络利用步骤二得到的共享卷积网络，继续训练并更新RPN网络的独有部分参数，不包括共享的卷积层参数；步骤四，FastR-CNN网络使用步骤三得到的推荐区域进行训练，并且只更新FastR-CNN网络的独有部分，共享的卷积层参数不变；步骤五，VolumeR-CNN网络将步骤四得到的对象边框映射到共享卷积网络的最后一层特征映射，并进行训练更新独有部分参数，直至网络收敛；每个步骤的训练操作为，将输入数据经过网络前向计算得到每个部分的损失函数，再反向传播，使用随机梯度下降或Adam算法更新网络参数；其中上述五个步骤的训练过程可以循环执行。另一方面，本专利技术提供了一种利用VolumeR-CNN神经网络进行运算的装置，包括：信息输入部，用于获取同一样本的不同角度的多个图像；信息处理部，用于对所述图像进行处理和计算；其中所述信息处理部包括：存储单元，用于存储所述图像；推荐区域生成单元，利用RPN确定样本检测的推荐区域；类别和边框预测单元，利用FastR-CNN预测推荐区域中对象的类别和边框；以及对象体积比例预测单元，根据预测的对象的边框，利用VolumeR-CNN预测每个对象所占的体积比例；类别体积比例预测单元，根据FastR-CNN预测的对象类别以及VolumeR-CNN预测的对象体积比例，计算出类别体积比例，并对不同图像的计算结果取平均值。其中，所述RPN、FastR-CNN和VolumeR-CNN共享卷积层。优选地，所述信息处理部还包括数据转换单元，用于将处理单元输出的体积比例转化为相应的输出。优选地，所述装置还包括信息输出部，用于从所述信息处理部接收输出信息，并将信息显示出来。优选地，所述装置还包括联网部件，用于将测量数据实时上传到数据库，同时也可从云端更新最新参数模型。优选地，所述信息处理部为神经网络芯片。与现有技术相比，本专利技术具有以下有益效果：1)相较于已有的专利技术，可以测量更为复杂，更多种类的对象。2)采用人工神经网络技术和芯片，对不同对象的识别更加精确，快速。3)采用斜上方俯视图片，可以有效避免不同对象之间的遮挡，同时对事物对象有较为全面的认识。4)采用人工神经网络技术和芯片计算对象体积，计算结果更加精确而且随着训练数据的不断增加，预测精度也会提高。5)人工神经网络芯片计算能力强大，支持离线运行神经网络，在没有云端服务器协助计算的情况下用户终端/前端离线即可实现对象体积探测和相应控制的工作。当芯片联网，获得云端服务器协助计算的时候，芯片计算能力更加强大。6)装置操作简单，更加智能化，符合生活和生产需求。附图说明图1为本专利技术实施例神经网络的结构图；图2为本专利技术实施例中对象类别和边框的预测图；图3为本专利技术实施例中VolumeR-CNN的网络结构图；图4为本专利技术的装置的结构示意图。图5为本专利技术装置的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术作进一步的详细说明。本专利技术了一种利用VolumeR-CNN神经网络进行运算的方法，利用神经网络算法对图像的关键特征进行提取和处理，识别出图像中对象的种类和各类对象体积所占比例。输入图像包括本文档来自技高网...

【技术保护点】
1.一种利用Volume R‑CNN神经网络进行运算的方法，包括：获取同一样本的不同角度的多个图像；利用RPN确定样本检测的推荐区域；利用Fast R‑CNN预测推荐区域中对象的类别和边框；根据预测的对象的边框，利用Volume R‑CNN预测每个对象所占的体积比例；根据Fast R‑CNN预测的对象类别以及Volume R‑CNN预测的对象体积比例，计算出不同类别对象的体积比例；其中，所述RPN、Fast R‑CNN和Volume R‑CNN共享卷积层。

【技术特征摘要】
1.一种利用VolumeR-CNN神经网络进行运算的方法，包括：获取同一样本的不同角度的多个图像；利用RPN确定样本检测的推荐区域；利用FastR-CNN预测推荐区域中对象的类别和边框；根据预测的对象的边框，利用VolumeR-CNN预测每个对象所占的体积比例；根据FastR-CNN预测的对象类别以及VolumeR-CNN预测的对象体积比例，计算出不同类别对象的体积比例；其中，所述RPN、FastR-CNN和VolumeR-CNN共享卷积层。2.根据权利要求1所述的方法，其中，在确定推荐区域时，所述RPN首先对输入的图片进行多层卷积操作，提取出图片的特征映射，再使用滑动窗口对特征映射进行卷积操作，然后使用分类损失函数和边框回归损失函数两个分支来计算区域分类和区域回归，得出推荐区域。3.根据权利要求1所述的方法，其中，所述FastR-CNN将推荐区域映射至所述特征映射得到RoIs，再对每个RoI进行池化操作，转化为同等大小的特征图，然后对池化操作后的RoIs分别进行两个全连接网络运算，计算出每个推荐区域中的对象类别以及对边框进行精确预测。4.根据权利要求1所述的方法，其中，所述VolumeR-CNN将预测的边框参数映射到所述特征映射上，再对相应的映射区域进行池化操作，变为同等大小的样本区域，然后对每个样本区域进行多层全连接网络运算，计算出图中每个对象的体积中间变量vi，vi为正数；然后再将所述体积中间变量转化为相应的体积比例fi，计算公式为：其中i＝1，2……n，n为图像中对象的数目。5.根据权利要求1所述的方法，其中，将预测的边框参数映射到所述特征图上的方法为：将每个坐标数据乘上特征图和原始图像的大小之比。6.根据权利要求1所述的方法，其中，所述VolumeR-CNN中损失函数Volumeloss的形式为其中fi为预测的每个对象的体积比例，fi*为实际值，训练时输入的标记数据。7.根据权利要求1所述的方法，其中，预测过程中神经网络的输出包括：由VolumeR-CNN计算出的一个表示图像中每个对象的所占体积比例的n维向量，每个元素位于区间(0，1]内，且各元素之和为1；由FastR-CNN计算出的一个表示图像中各个对象所属类别的n*m矩阵，m为可识别对象的类别数目，矩阵每一行只有一个元素为1，其余m-1个元素为0，元素1所对应列即为对象所属类别；以及一个表示各个对象边框的n*4的二维数组。8.根据权利要求1所述的方法，其中，所述方法还包括将表示各个对象体积比例的n维向量乘上表示各个对象所属类别的n*m二维数组，得到各类别对象的体积比例向量，为m维向量，该m维向量的每一维对应一类对象，每一维上的数值表示对应类别对象所占的体积比例。9.根据权利要求1所述的方法，其中，所述方法还...

【专利技术属性】
技术研发人员：张团，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11