【技术实现步骤摘要】
本申请涉及多任务处理，尤其涉及一种多任务处理设备及其设计方法及装置。
技术介绍
1、随着智能化和信息化的快速发展，人们对于同一场景的识别需求日渐丰富，且对于识别的实时性和同时性也提出了要求。例如，在无人驾驶场景，需要对车道线、交通标识、障碍物等同时进行识别，以引导无人驾驶系统的行驶；在安防场景中，需要对人脸、行为模式和异常行为等实时进行识别。
2、因此，亟需设计一种同时进行多任务处理的设备。
技术实现思路
1、有鉴于此，本申请实施例提供了一种多任务处理设备及其设计方法及装置，以实现同时处理多种任务。
2、本申请实施例的技术方案是这样实现的：
3、第一方面，本申请实施例提供了一种多任务处理设备的设计方法，所述方法包括：
4、获取样本数据集；所述样本数据集包括多个场景图像和与之对应的标签组，所述标签组包括与多个识别任务一一对应的多个结果标签；
5、利用光学超表面调制承载所述场景图像的图像信息的入射光束，以及通过所述图像传感器基于调制后的所述入射光束输出图像数据；
6、利用神经网络模型对所述图像数据进行处理，得到第一结果组，所述第一结果组包括与多个所述识别任务一一对应的多个第一结果；
7、根据每个所述识别任务对应的所述第一结果和所述结果标签，确定每个所述识别任务的第一损失值；
8、基于每个所述识别任务的第一损失值，更新所述光学超表面的结构参数和/或所述神经网络模型的模型参数，直至所述神经网络模
9、在一些可行实施例中，所述光学超表面包括基底和设置于所述基底上的多个亚波长结构，所述结构参数包括所述亚波长结构的尺寸参数和/或所述亚波长结构相对于所述基底的倾斜角。
10、在一些可行实施例中，所述模型参数包括所述神经网络模型的权重参数和/或层结构。
11、在一些可行实施例中，所述图像传感器包括多个感光区域，所述图像数据包括与所述感光区域一一对应的多个子图像数据；所述神经网络模型包括与所述感光区域一一对应多个子图像模型；
12、所述利用神经网络模型对所述图像数据进行处理，得到第一结果组，包括：
13、利用多个所述子图像模型分别对对应的所述子图像数据进行处理，得到多个所述第一结果组。
14、在一些可行实施例中，所述神经网络模型还包括：共享模型；
15、所述利用多个所述子图像模型分别对对应的所述子图像数据进行处理，得到多个所述第一结果组，包括：
16、利用所述共享模型，基于所述图像数据提取图像特征信息；
17、利用多个所述子图像模型分别对相应感光区域对应的图像特征信息进行处理，得到多个所述第一结果组。
18、在一些可行实施例中，所述根据每个所述识别任务对应的所述第一结果和所述结果标签，确定每个所述识别任务的第一损失值，包括：
19、针对每个所述识别任务，根据每个所述子图像数据对应的所述第一结果和所述结果标签，确定每个所述子图像数据对应的第二损失值；
20、针对每个所述识别任务，根据所有所述子图像数据对应的所述第二损失值，确定所述识别任务的第一损失值。
21、在一些可行实施例中，所述针对每个所述识别任务，根据所有所述子图像数据对应的所述第二损失值，确定所述识别任务的第一损失值，包括：
22、针对每个所述识别任务，根据所有所述子图像数据对应的所述第二损失值和第一权重，确定所述识别任务的第一损失值，其中，所述第一权重为区分不同所述识别任务和不同所述感光区域设置的，用于表征在不同所述感光区域识别到不同所述识别任务的待识别对象的概率。
23、在一些可行实施例中，所述基于每个所述识别任务的第一损失值，更新所述光学超表面的结构参数和/或所述神经网络模型的模型参数，直至所述神经网络模型收敛，包括：
24、根据每个所述识别任务的第一损失值，确定综合损失值；
25、根据所述综合损失值，更新所述光学超表面的结构参数和/或所述神经网络模型的模型参数，直至所述神经网络模型收敛。
26、在一些可行实施例中，所述根据每个所述识别任务的第一损失值，确定综合损失值，包括：
27、根据每个所述识别任务的第一损失值和每个所述识别任务的预设的第二权重，确定所述综合损失值。
28、第二方面，本申请实施例提供了一种多任务处理设备的设计装置，包括：
29、样本获取模块，用于获取样本数据集；所述样本数据集包括多个场景图像和与之对应的标签组，所述标签组包括与多个识别任务一一对应的多个结果标签；
30、图像处理模块，用于利用光学超表面调制承载所述场景图像的图像信息的入射光束，并使其汇聚至所述图像传感器，以通过所述图像传感器输出图像数据；
31、结果获取模块，用于利用神经网络模型对所述图像数据进行处理，得到第一结果组，所述第一结果组包括与多个所述识别任务一一对应的多个第一结果；
32、损失值确定模块，用于根据每个所述识别任务对应的所述第一结果和所述结果标签，确定每个所述识别任务的第一损失值；
33、更新模块，用于基于每个所述识别任务的第一损失值，更新所述光学超表面的结构参数和/或所述神经网络模型的模型参数，直至所述神经网络模型收敛。
34、第三方面，本申请实施例提供了一种多任务处理设备，包括：
35、光学超表面，配置成调制承载目标场景的图像信息的入射光束；
36、图像传感器，配置成基于感测的调制后的所述入射光束，输出图像数据；
37、处理器，配置成利用神经网络模型对所述图像数据进行处理，得到第一结果组，所述第一结果组包括与多个识别任务一一对应的多个第一结果。
38、第四方面，本申请实施例提供了一种计算机设备，包括：
39、至少一个处理器；
40、存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行上述第一方面所述的方法的步骤。
41、第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行上述第一方面所述的方法的步骤。
42、本申请实施例提供了一种多任务处理设备及其设计方法及装置。该多任务处理设备的设计方法采用光学超表面和神经网络模型相结合的端到端设计框架，基于光学超表面和神经网络模型共同作用后的场景图像确定多个识别任务的损失值，并通过最小化多个识别任务的损失值，确定光学超表面的结构参数和/或神经网络模型的模型参数。本申请实施例多任务处理设备的设计方法综合考虑光学超表面和神经网络模型的叠加效果，以及综合其对于多个识别任务的预测的损失，使得最终确定的光学超表面的结构参数和神经网络模型的模型参数更为精确，满足多任务处理设备能同时处理多个识别任务的需求。
本文档来自技高网...【技术保护点】
1.一种多任务处理设备的设计方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述光学超表面包括基底和设置于所述基底上的多个亚波长结构，所述结构参数包括所述亚波长结构的尺寸参数和/或所述亚波长结构相对于所述基底的倾斜角。
3.根据权利要求1所述的方法，其特征在于，所述模型参数包括所述神经网络模型的权重参数和/或层结构。
4.根据权利要求1所述的方法，其特征在于，所述图像传感器包括多个感光区域，所述图像数据包括与所述感光区域一一对应的多个子图像数据；所述神经网络模型包括与所述感光区域一一对应多个子图像模型；
5.根据权利要求4所述的方法，其特征在于，所述神经网络模型还包括：共享模型；
6.根据权利要求4所述的方法，其特征在于，所述根据每个所述识别任务对应的所述第一结果和所述结果标签，确定每个所述识别任务的第一损失值，包括：
7.根据权利要求6所述的方法，其特征在于，所述针对每个所述识别任务，根据所有所述子图像数据对应的所述第二损失值，确定所述识别任务的第一损失值，包括：
8
9.根据权利要求7所述的方法，其特征在于，所述根据每个所述识别任务的第一损失值，确定综合损失值，包括：
10.一种多任务处理设备的设计装置，其特征在于，包括：
11.一种多任务处理设备，其特征在于，包括：
12.一种计算机设备，包括：
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1至9任意一项所述的方法的步骤。
...【技术特征摘要】
1.一种多任务处理设备的设计方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述光学超表面包括基底和设置于所述基底上的多个亚波长结构，所述结构参数包括所述亚波长结构的尺寸参数和/或所述亚波长结构相对于所述基底的倾斜角。
3.根据权利要求1所述的方法，其特征在于，所述模型参数包括所述神经网络模型的权重参数和/或层结构。
4.根据权利要求1所述的方法，其特征在于，所述图像传感器包括多个感光区域，所述图像数据包括与所述感光区域一一对应的多个子图像数据；所述神经网络模型包括与所述感光区域一一对应多个子图像模型；
5.根据权利要求4所述的方法，其特征在于，所述神经网络模型还包括：共享模型；
6.根据权利要求4所述的方法，其特征在于，所述根据每个所述识别任务对应的所述第一结果和所述结果标签，确定每个所述识别任务的第一损失值，...
【专利技术属性】
技术研发人员：沈华，宋凯，邱兵，
申请(专利权)人：苏州山河光电科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。