模型训练方法、视频全景分割方法、装置、设备、介质及产品制造方法及图纸

本申请提出一种模型训练方法、视频全景分割方法、装置、设备、介质及产品，该方法包括：基于样本视频的第一视频帧对应的全景分割标签，预测确定所述样本视频的第二视频帧对应的全景分割标签；所述第一视频帧与所述第二视频帧包含相同的视频场景；至少根据全景分割模型对所述第一视频帧和所述第二视频帧的全景分割结果，以及所述第一视频帧和所述第二视频帧各自对应的全景分割标签，对所述全景分割模型进行参数优化。采用上述方案能够以较少的视频标注数据实现对全景分割模型的充分训练，从而提高基于全景分割模型的视频全景分割效果。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种模型训练方法、视频全景分割方法、装置、设备、介质及产品。

技术介绍

1、随着人工智能技术的不断发展，人工智能技术应用的场景及功能要求也越来越复杂。当前效果优良的人工智能模型离不开大量优质的人工标注数据，这大大增加了模型的优化成本，尤其针对视频相关任务，其极高的视频帧率导致所需标注的数据量大幅增加。

2、考虑到视频标注的高成本问题，当前主流的视频全景分割方案主要以单帧rgb图像完成模型训练甚至直接采用图像感知方案完成视频感知任务。基于这些方案实现的基于人工智能模型进行视频全景分割的效果不佳。

技术实现思路

1、基于上述技术现状，本申请提出一种模型训练方法、视频全景分割方法、装置、设备、介质及产品，能够以较少的视频标注数据实现对全景分割模型的充分训练，从而提高基于全景分割模型的视频全景分割效果。

2、为了达到上述技术目的，本申请具体提出如下技术方案：

3、本申请第一方面提出一种模型训练方法，包括：

4、基于样本视频的第一视频帧对应的全本文档来自技高网...

【技术保护点】

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于样本视频的第一视频帧对应的全景分割标签，预测确定所述样本视频的第二视频帧对应的全景分割标签，包括：

3.根据权利要求2所述的方法，其特征在于，所述全景分割模型包括编码器网络和全景分割网络，所述编码器网络用于提取所述第一视频帧和所述第二视频帧的图像特征，所述全景分割网络用于基于所述第一视频帧和所述第二视频帧的图像特征，对所述第一视频帧和所述第二视频帧进行全景分割，得到全景分割结果；

4.根据权利要求3所述的方法，其特征在于，至少根据全景分割模型对所述第一视频帧和所述第...

【技术特征摘要】

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于样本视频的第一视频帧对应的全景分割标签，预测确定所述样本视频的第二视频帧对应的全景分割标签，包括：

3.根据权利要求2所述的方法，其特征在于，所述全景分割模型包括编码器网络和全景分割网络，所述编码器网络用于提取所述第一视频帧和所述第二视频帧的图像特征，所述全景分割网络用于基于所述第一视频帧和所述第二视频帧的图像特征，对所述第一视频帧和所述第二视频帧进行全景分割，得到全景分割结果；

4.根据权利要求3所述的方法，其特征在于，至少根据全景分割模型对所述第一视频帧和所述第二视频帧的全景分割结果，以及所述第一视频帧和所述第二视频帧各自对应的全景分割标签，对所述全景分割模型进行参数优化，包括：

5.根据权利要求4所述的方法，...

【专利技术属性】
技术研发人员：张圆，吴嘉嘉，胡金水，潘嘉，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：