【技术实现步骤摘要】
垃圾确定系统、模型训练的方法、确定的方法、装置
[0001]本专利技术涉及图像处理领域，尤其涉及一种垃圾确定系统、模型训练的方法、确定的方法、装置、设备及存储介质。
技术介绍
[0002]在现有的垃圾确定方法中，往往采用双目电荷耦合器件(Charge Coupled Device，CCD)相机进行目标图像的采集，再经视频解码器进行解码，并传递给数字信号处理器(Digital Signal Processor，DSP)将模拟信号转换为数字信号和对图像的初步处理并通过图像数据存储器来进行储存，然后再传送给中央处理器进行数字图像再处理与双目立体视觉识别和定位，计算出目标的具体三维尺寸和位置信息。
[0003]在现有的技术方案中，因为DSP计算能力比较有限，CCD双目相机还存在视觉精度低、视野局限、深度数据不准确的缺点，所以现有的垃圾确定的技术方案中存在感知数据能力弱、逻辑实现差的问题。
技术实现思路
[0004]本专利技术实施例提供一种垃圾确定系统、模型训练的方法、确定的方法、装置、设备及存储介质，解决了现...
【技术保护点】
【技术特征摘要】
1.一种垃圾确定系统，其特征在于，所述系统包括：图像传感器，用于采集待确定物体的图像数据；雷达传感器，用于采集待确定物体的点云数据；现场可编程逻辑门阵列FPGA，用于对采集的待确定物体的图像数据和点云数据进行预处理；图形处理器GPU，用于对预处理后的待确定物体的图像数据和点云数据进行特征提取、并进行垃圾确定模型的训练，根据训练后的垃圾确定模型确定待确定物体的属性和待确定物体的边界框；通讯模块，用于所述垃圾确定系统与外界进行通讯；中央处理器CPU，用于连接所述通讯模块模块、所述图形处理器GPU、以及所述现场可编程逻辑门阵列FPGA，并向所述图形处理器GPU及所述通讯模块发送指令。2.一种垃圾确定模型训练的方法，其特征在于，所述方法包括：从图像传感器获取图像数据和从雷达传感器获取点云数据；分别提取所述图像数据和所述点云数据中的特征数据，并对应生成第一图像特征图和第一点云特征图；分别根据所述第一图像特征图中的物体框和所述第一点云特征图中的物体框，生成尺寸相同的第一图像特征图中的物体框和第一点云特征图中的物体框；将所述尺寸相同的第一图像特征图中的物体框和第一点云特征图中的物体框进行元素融合，生成第一待测框，其中，所述第一待测框包括待确定物体的三维边界框；确定所述第一待测框与待确定物体预设的真实框的坐标差值，并根据所述坐标差值调整垃圾确定模型的初始参数；当所述坐标差值满足第一预设条件时，保存调整参数后的垃圾确定模型。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：对所述第一图像特征图和所述第一点云特征图分别进行卷积运算，对应生成预处理后的图像特征图和预处理后的点云特征图；分别根据预处理后的图像特征图和预处理后的点云特征图，生成第一图像特征图中待确定物体的边界框和第一点云特征图中待确定物体的边界框；根据所述第一图像特征图中待确定物体的边界框确定所述第一图像特征图中的物体框；根据所述第一点云特征图中待确定物体的边界框确定所述第一点云特征图中的物体框。4.根据权利要求3所述的方法，其特征在于，当所述第一图像特征图中待确定物体的边界框的检测评价函数IOU大于第一预设阈值时，确定所述第一图像特征图中待确定物体的边界框为所述第一图像特征图中的物体框；当所述第一点云特征图中待确定物体的边界框的检测评价函数IOU大于第一预设阈值时，确定所述第一点云特征图中待确定物体的边界框为所述第一点云特征图中的物体框。5.根据权利要求2所述的方法，其特征在于，所述当所述坐标差值满足预设条件时，保存调整参数后的垃圾确定模型，包括：根据所述待确定物体的边界框的检测评价函数IOU，确定第一待测框；
根据所述第一待测框，分别从所述第一图像特征图和所述第一点云特征图中，对应获取第二图像特征图和第二点云特征图；对所述第二图像特征图和所述第二点云特征图进行叠加，生成第二待测框；确定所述第二待测框与所述待确定物体预设的真实框的坐标差值；当所述坐标差值满足第二预设条件时，保存调整参数后的垃圾确定模型。6.一种垃圾确定的方法，其特征在于，所述方法包括：从图像传感器获取图像数据和从雷达传感器获取点云数据；将所述图像数据和所述点云数据输入调整参数后的垃圾确定模型中，输出待确定物体的属性和待确定物体的三维边界框，其中，所述调整参数后的垃圾确定模型通过权利要求1-5中任意一种垃圾确定模型训练的方法得到。7.一种垃圾确定模型训练的装置，其特征在于，所述装置包括：获取模块，用于从图像传感器获取图像数据和从雷达传感器...
【专利技术属性】
技术研发人员：苏自翔，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。