【技术实现步骤摘要】
本申请涉及数据处理，尤其涉及一种基于联邦学习的多模态疲劳驾驶数据标注方法及系统。
技术介绍
1、现有的疲劳驾驶检测的方法有单模态数据的机器学习方法和多模态数据的机器学习方法。
2、对于单模态数据的机器学习方法，如基于图像学习驾驶员的眼睛和嘴巴特征，或利用脑电、心电、呼吸等生理信号来估计驾驶员的疲劳程度。基于图像学习的计算机视觉深度学习方法在低照度情况下，检测精度并不理想。脑电、心电、呼吸等生理信号微弱，数据采集过程中易受驾驶员身体运动的影响。当单一传感器发生故障时，基于单一模态数据的系统将无法工作。因单模态数据信息量单一，预测结果精准度低。
3、多模态数据的机器学习方法，多以集中式训练机器学习模型，需要提前从用户端收集大量有标签数据，对用户隐私带来巨大风险。而且人工标注数据费时费力，标注脑电生理信号只有相关专家才能胜任。由于数据的形式和特征不同，现有的多模态联邦学习框架不能同时处理4种模态以上的数据。
技术实现思路
1、本申请提供了一基于联邦学习的多模态疲劳驾驶数据标注方法及系统，以解决现有多模态机器数据的机器学习方法中存在的收集有标签数据对客户隐私带了的巨大风险，以及人工标注费时费力，且专业性要求高，无法处理四种以上数据的技术问题，以实现4种及以上模态数据在仅有少量标签时，进行准确的自主标注。
2、为解决上述技术问题，第一方面，本申请提供了第一种基于联邦学习的多模态疲劳驾驶数据标注方法，所述方法应用于本地用户，所述方法包括：
3、获
4、对所述各模态投影矩阵进行联邦学习，获得本地投影矩阵，以使中心服务器对所述本地投影矩阵进行全聚合运算得到全聚合投影矩阵；根据所述全聚合投影矩阵进行迭代联邦学习，直至满足联邦学习的停止条件，获取全局投影矩阵；
5、获取多模态疲劳驾驶实时数据，并将所述多模态疲劳驾驶实时数据投影到所述全局投影矩阵所在的统一空间，基于所述全局投影矩阵和所述多模态疲劳驾驶实时数据在统一空间内的分布对所述多模态疲劳驾驶实时数据进行标注。
6、优选的，所述对所述各模态投影矩阵进行联邦学习，以获取本地投影矩阵，包括：
7、构建联邦学习的本地模型；所述本地模型包括跨模态相关性运算模块、标签一致性运算模块和局部几何结构运算模块；
8、将所述各模态投影矩阵输入所述本地学习模型进行迭代学习，输出本地投影矩阵。
9、优选的，所述将所述各模态投影矩阵输入所述本地模型进行迭代学习，输出本地投影矩阵，包括：
10、对所述各模态投影矩阵进行跨模态相关性运算，获取各模态投影矩阵之间的相关性；
11、对所述各模态投影矩阵进行标签一致性运算，获取多模态疲劳驾驶历史数据与标签的一致性结果；
12、对所述各模态投影矩阵进行局部几何结构运算，获得多模态疲劳驾驶历史数据的局部几何结构保持项；
13、根据所述各模态投影矩阵之间的相关性、所述多模态疲劳驾驶历史数据与标签的一致性结果和所述多模态疲劳驾驶历史数据的局部几何结构保持项进行噪声自适应学习，获得本地投影矩阵。
14、优选的，所述本地学习模型的损失函数为：
15、
16、其中，表示跨模态相关性，表示多模态疲劳驾驶历史数据与标签的一致性，表示局部几何结构保持项，||p(i)||2,1表示p(i)的带l2,1范数，λ表示惩罚因子，表示多模态疲劳驾驶历史数据的模态数，p(i)表示i模态的本地投影矩阵；
17、所述跨模态相关性的表达式为：
18、
19、其中，表示i和j两种模态中具有相同标签的i模态样本组成的特征矩阵；表示i和j两种模态中具有相同标签的j模态样本组成的特征矩阵，||x||f表示矩阵x的frobenius范数；
20、所述多模态疲劳驾驶历史数据与标签的一致性的表达式为：
21、
22、其中，表示第i种模态样本的特征矩阵，表示第i种模态样本的标签矩阵，d(i)表示第i种模态样本的特征维度，q表示历史数据样本的类别数；
23、所述局部几何结构保持项的表达式为：
24、
25、其中，n(i)和m(i)分别表示第i种模态中有标签和无标签样本的数量，a表示第i种模态中有标签和无标签样本组成的数据集的样本序号，b表示的g个最近邻的样本组成的子集的样本序号，表示中的一个样本，表示第i种模态中有标签和无标签样本组成的数据集，表示的g个最近邻的样本之一，b∈[1,g]；
26、所述带l2,1范数的惩罚项的表达式为：
27、
28、其中，表示投影矩阵p(i)中的(v,k)元素。
29、优选的，本地投影矩阵的表达式为：
30、
31、其中，表示矩阵p(i)第一行的所有元素，||·||2表示计算2-范数，diag(β1,β2,…,βn)表示主对角线上的元素分别为β1,β2,…,βn的对角矩阵。
32、优选的，所述全聚合运算公式为：
33、
34、其中，n(i)表示联邦学习系统中第i种模态的样本总数，表示用户c拥有的i模态样本数量，t表示循环次数，表示t+1次循环c用户上传的本地投影矩阵。
35、优选的，所述将所述多模态疲劳驾驶实时数据投影到所述全局投影矩阵所在的统一空间，包括：
36、将所述多模态疲劳驾驶实时数据按照预设规则投影到所述全局投影矩阵所在的统一空间；
37、所述预设规则的计算公式为：
38、
39、其中，表示训练完成的全局投影矩阵，表示多模态疲劳驾驶实时数据。
40、优选的，所述基于所述全局投影矩阵和所述多模态疲劳驾驶实时数据在统一空间内的分布对所述多模态疲劳驾驶实时数据进行标注，包括：
41、采用本地分类器对统一空间内的全局投影矩阵的多模态疲劳驾驶历史数据和多模态疲劳驾驶实时数据进行分类处理；
42、根据分类结果中所述多模态疲劳驾驶实时数据与全局投影矩阵的多模态疲劳驾驶历史数据的关系，对多模态疲劳驾驶实时数据进行标注。
43、第二方面，本申请还提供了一种基于联邦学习的多模态疲劳驾驶数据标注系统，所述系统包括：数据采集预处理单元1、联邦学习单元2、数据标注单元3；
44、所述数据采集预处理单元1，用于获取本地用户的多模态疲劳驾驶历史数据，提取各模态疲劳驾驶历史数据的维度特征，将所述各模态疲劳驾驶数据的维度特征分别组合成各模态投影矩阵；
45、所述联邦学习单元2，用于对所述各模态投影矩阵进行联邦学习，获得本地投影矩阵，以使中心服务器对所述本地投影矩阵进行全聚合运算得到全聚合投影矩阵；根据所述全聚合投影矩阵进行迭代联邦学习，本文档来自技高网...
【技术保护点】
1.一种基于联邦学习的多模态疲劳驾驶数据标注方法，所述方法应用于本地用户，其特征在于，所述方法包括：
2.如权利要求1所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述对所述各模态投影矩阵进行联邦学习，以获取本地投影矩阵，包括：
3.如权利要求2所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述将所述各模态投影矩阵输入所述本地模型进行迭代学习，输出本地投影矩阵，包括：
4.如权利要求2所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述本地学习模型的损失函数为：
5.如权利要求4所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，本地投影矩阵的表达式为：
6.如权利要求1所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述全聚合运算公式为：
7.如权利要求2所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述将所述多模态疲劳驾驶实时数据投影到所述全局投影矩阵所在的统一空间，包括：
8.如权利要求1所述的基于联邦学习的多模态疲劳
9.一种基于联邦学习的多模态疲劳驾驶数据标注系统，其特征在于，所述系统包括：数据采集预处理单元、联邦学习单元、数据标注单元；
10.一种基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述方法包括：
...【技术特征摘要】
1.一种基于联邦学习的多模态疲劳驾驶数据标注方法，所述方法应用于本地用户，其特征在于，所述方法包括：
2.如权利要求1所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述对所述各模态投影矩阵进行联邦学习，以获取本地投影矩阵，包括：
3.如权利要求2所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述将所述各模态投影矩阵输入所述本地模型进行迭代学习，输出本地投影矩阵，包括：
4.如权利要求2所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，所述本地学习模型的损失函数为：
5.如权利要求4所述的基于联邦学习的多模态疲劳驾驶数据标注方法，其特征在于，本地投影矩阵的表达式为：
6.如权利要求...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。