本发明专利技术实施例公开了一种基于视频处理方法及装置、视频设备及存储介质。所述方法包括：根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。
【技术实现步骤摘要】
基于视频处理方法及装置、视频设备及存储介质
本专利技术涉及信息
，尤其涉及一种基于视频处理方法及装置、视频设备及存储介质。
技术介绍
基于视频的物体检测时计算机视觉及智能视频分析中重要问题。例如，对行人、过往车辆进行视频采集，形成了包含多个图像帧的视频。在相关技术中提供了多种对视频进行结构化分析及场景识别的方法。但是实践发现，现有的物体检测时，依然存在检测精确度低，达不到预期效果问题。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种基于视频处理方法及装置、视频设备及存储介质。本专利技术的技术方案是这样实现的：一种基于视频处理方法，其特征在于，包括：根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。基于上述方案，所述根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征，包括：根据第一像素特征和第二像素特征，生成第一待对齐特征；其中，所述第一像素特征为：从第m-1个图像帧提取的像素特征；所述第二像素特征为：从第m个图像帧中提取的像素特征；m为正整数；根据所述第二像素特征和第三像素特征，生成第二待对齐特征，其中，所述第三像素特征为：从第m个图像帧提取的像素特征；融合所述第一待对齐特征和所述第二待对齐特征，得到所述第一对齐特征。基于上述方案，所述根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征，包括：结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征。基于上述方案，所述结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征，包括：结合第一区域特征、第一像素特征及第二像素特征，得到第三待对齐特征；所述第一像素特征为所述第一类特征，是从第m-1个图像帧提取的像素特征；所述第二像素特征为所述第一类特征，是从第m个图像帧提取的像素特征；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；结合第二区域特征、所述第二像素特征及第三像素特征，得到第四待对齐特征，其中，所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；所述第三像素特征为所述第一类特征，是从第m+1个图像帧提取的像素特征根据所述第三待对齐特征及所述第四待对齐特征，得到所述第二对齐特征。基于上述方案，所述方法还包括：确定融合模式的模型参数；所述融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征，包括：根据所述模型参数，融合所述第一对齐特征和所述第二对齐特征得到所述第三对齐特征。基于上述方案，所述确定融合模式，包括：根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数。基于上述方案，所述第二类特征包括：第一区域特征和第二区域特征；所述根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数，包括：根据所述第一区域特征的第一区域中心坐标和第二区域特征的第二区域中心坐标，确定区域变化量；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；基于所述区域变化量，确定第一模型参数。基于上述方案，所述根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数包括：基于第一区域特征及第二像素特征，确定第二模型参数，其中，所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；所述第二像素特征为所述第一类特征：从第m个图像帧中提取的像素特征。基于上述方案，所述根据所述模型参数，融合所述第一对齐特征和所述第二对齐特征得到所述第三对齐特征，包括：根据所述模型参数，融合所述第一对齐特征和所述第二对齐特征得到所述第三对齐特征根据所述模型参数，确定所述第一对齐特征的第一权值；根据所述模型参数，确定所述第二对齐特征的第二权值；根据所述第一权值和所述第二权值，确定所述第一对齐特征和所述第二对齐特征的加权平均并得到所述第三对齐特征。基于上述方案，所述根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征，包括：根据光流检测从所述图像帧提取的所述第一类特征，进行光流估计得到像素级别的特征对齐的第一对齐特征。基于上述方案，所述根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征，包括：利用兴趣区域池化操作处理所述第一类特征并结合光流估计的结果，进行实例级别的同一目标的特征对齐得到所述第二对齐特征。一种视频处理装置，包括：第一对齐模块，用于根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；第二对齐模块，用于根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；融合模块，用于融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。基于上述方案，所述第一对齐模块，具体用于根据第一像素特征和第二像素特征，生成第一待对齐特征；其中，所述第一像素特征为：从第m-1个图像帧提取的像素特征；所述第二像素特征为：从第m个图像帧中提取的像素特征；m为正整数；根据所述第二像素特征和第三像素特征，生成第二待对齐特征，其中，所述第三像素特征为：从第m个图像帧提取的像素特征；融合所述第一待对齐特征和所述第二待对齐特征，得到所述第一对齐特征。基于上述方案，所述第二对齐模块，具体用于结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征。基于上述方案，所述第二对齐模块，具体结合第一区域特征、第一像素特征及第二像素特征，得到第三待对齐特征；所述第一像素特征为所述第一类特征，是从第m-1个图像帧提取的像素特征；所述第二像素特征为所述第一类特征，是从第m个图像帧提取的像素特征；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；结合第二区域特征、所述第二像素特征及第三像素特征，得到第四待对齐特征，其中，所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；所述第三像素特征为所述第一类特征，是从第m+1个图像帧提取的像素特征根据所述第三待对齐特征及所述第四待对齐特征，得到所述第二对齐特征。基于上述方案，所述装置还包括：确定模块，用于确定融合模式的模型参数；所述融合模块，用于根据所述模型参数，融合所述第一对齐特征和所述第二对齐特征得到所述第三对齐特征。基于上述方案，所述确定模块，具体用于根据所述第一类特征和/或所述第二类特征，确定融合模型的模型参数。基于上述方案，所述第二类特征包括：第一区域特征和第二区域特征；所述确定模块，具体根据所述第一区域特征的第一区域中心坐标和第二区域特征的第二区域中心坐标，确定区域变化量；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；基于所述区域变化量，确定第一模型参数。基于上述方案，所述确定模块，还用于基于第一区域特征及第二像素特征，确定第二模型参数，其中，所述第一区域特征为所述本文档来自技高网...
【技术保护点】
1.一种基于视频处理方法，其特征在于，包括：根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。
【技术特征摘要】
1.一种基于视频处理方法，其特征在于，包括：根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征；根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征；融合所述第一对齐特征和所述第二对齐特征，得到第三对齐特征。2.根据权利要求1所述的方法，其特征在于，所述根据从视频的图像帧提取的第一类特征，进行像素级别的特征对齐获得第一对齐特征，包括：根据第一像素特征和第二像素特征，生成第一待对齐特征；其中，所述第一像素特征为：从第m-1个图像帧提取的像素特征；所述第二像素特征为：从第m个图像帧中提取的像素特征；m为正整数；根据所述第二像素特征和第三像素特征，生成第二待对齐特征，其中，所述第三像素特征为：从第m个图像帧提取的像素特征；融合所述第一待对齐特征和所述第二待对齐特征，得到所述第一对齐特征。3.根据权利要求1或2所述的方法，其特征在于，所述根据从所述视频的图像帧提取的第二类特征，进行实例级别的特征对齐得到第二对齐特征，包括：结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征。4.根据权利要求3所述的方法，其特征在于，所述结合所述第一类特征和所述第二类特征，进行实例级别的同一个目标的特征对齐得到所述第二对齐特征，包括：结合第一区域特征、第一像素特征及第二像素特征，得到第三待对齐特征；所述第一像素特征为所述第一类特征，是从第m-1个图像帧提取的像素特征；所述第二像素特征为所述第一类特征，是从第m个图像帧提取的像素特征；所述第一区域特征为所述第二类特征，是从第m个图像帧提取的候选区域特征；结合第二区域特征、所述第二像素特征及第三像素特征，得到第四待对齐特征，其中，所述第二区域特征为所述第二类特征，是从第m+1个图像帧提取的候选区域特征；所述第三像...
【专利技术属性】
技术研发人员：周彧聪，王诗瑶，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。