基于联邦学习的车载网数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种基于联邦学习的车载网数据处理方法、装置、设备及介质，包括：根据各个节点的历史通信消息数据和硬件配置信息，构建车载网的分层结构；针对每个基础分层，基于节点对应的车辆特征信息进行分组，得到至少两个基础分组；对于每个基础分组，进行组内消息队列的部署，得到目标分组；将车载网内的每个车辆标识关联分配到目标分组；执行组内局部联邦学习，对目标分组内每个节点的本地模型进行聚合更新，得到更新后的局部全局模型；将每个目标分组作为一个中心，采用每个中心对应的更新后的局部全局模型进行全局学习，得到每个中心对应的全局模型，并采用全局模型进行车载网数据的处理。采用本发明专利技术可确保数据隐私性和处理结果的准确性。理结果的准确性。理结果的准确性。

【技术实现步骤摘要】
基于联邦学习的车载网数据处理方法、装置、设备及介质


[0001]本专利技术涉及数据处理领域，尤其涉及一种基于联邦学习的车载网数据处理方法、装置、设备及介质。

技术介绍

[0002]随着智能汽车技术的不断发展，车载网的应用场景越来越广泛，例如智能驾驶、车联网、智能交通等。然而，车载网络中的车辆存在着包括硬件、软件、车型、车龄、行驶路况等因素的异构性，这些异构性使得车载网络的数据分布存在着显著的差异，导致车辆之间的数据和计算资源无法直接共享和合作，进而对车载网中进行大规模数据处理和深度学习任务提出了更高的要求。因此，亟需一种能够对异构的车载网数据进行高效处理的方法。
[0003]目前，对车联网数据处理主要通过集中式机器学习方法和分布式学习方法，在实现本专利技术的过程中，发现现有技术至少存在如下问题：在采用集中式机器学校的方法进行异构车载网数据处理时，由于处理速度较慢，往往难以满足车载网的实时响应和安全性要求。而在采用分布式学习方式时，在不集中数据的情况下进行联邦学习模型训练，能够很好地解决车载网络中的数据处理问题。但是，由于车载网络的异构性，现有的联邦学习方式也难以同时保证数据隐私和准确性。

技术实现思路

[0004]本专利技术实施例提供一种基于联邦学习的车载网数据处理方法、装置、计算机设备和存储介质，实现在处理车载网数据时，确保数据隐私性和处理结果的准确性。
[0005]为了解决上述技术问题，本申请实施例提供一种基于联邦学习的车载网数据处理方法，包括：根据各个节点的历史通信消息数据和硬件配置信息，构建车载网的分层结构，所述分层结构包括至少两个基础分层；针对每个所述基础分层，基于节点对应的车辆特征信息进行分组，得到至少两个基础分组；对于每个所述基础分组，进行分组内部消息队列的部署，得到目标分组；将车载网内的每个车辆标识关联分配到所述目标分组；执行组内局部联邦学习，对所述目标分组内每个节点的本地模型进行聚合更新，得到更新后的局部全局模型；将每个所述目标分组作为一个中心，采用每个中心对应的所述更新后的局部全局模型进行全局多中心联邦学习，得到每个中心对应的全局模型，并采用所述全局模型进行车载网通信数据的处理。
[0006]可选地，所述硬件配置信息包括带宽和通信能力，所述根据各个节点的历史通信消息数据和硬件配置信息，构建车载网的分层结构包括：基于根据上一层节点的带宽和通信能力，确定当前层计算节点数量：
[0007]其中，为第层节点的带宽，为第 层节点的处理能力，当前层的通信负载，i为大于1的正整数；获取车载网中用于进行通信的车辆标识数量，并基于所述车辆标识数量和所述节点数量，动态确定每个所述基础分层中包含的节点数量。
[0008]可选地，所述当前层的通信负载采用如下步骤确定：对于任意的两个节点和，采用如下公式计算节点和节点之间的平均消息大小：
[0009]其中，为第m条消息的权重，为第m条消息的大小;采用如下公式计算节点和节点之间的消息数目：
[0010]其中，是第个消息的大小；通过如下公式，确定当前层的通信负载：
[0011]其中，为第i层的当前层的通信负载。
[0012]可选地，所述基于车辆标识数量和所述节点数量，动态确定每个所述基础分层中包含的节点数量包括：采用如下公式，确定第i个所述基础分层中包含的节点数量：
[0013][0014]其中，表示车辆的总数数量，表示向上取整函数，为第i个所述基础分层中的最大节点数量。
[0015]可选地，所述针对每个所述基础分层，基于节点对应的车辆特征信息进行分组，得到至少两个基础分组包括：针对第i个所述基础分层，根据所述基础分层内包含节点对应的车辆特征信息，确
定组内节点数量；基于第i个所述基础分层中的节点数量和组内的节点数量，采用如下公式确定基础分组数量K：
[0016]其中，表示向上取整函数，为第i个所述基础分层的节点数量，为所述组内节点数量；根据节点对应的车辆特征信息，将层内每个节点分别分配到K个所述基础分组。
[0017]可选地，所述针对第i个所述基础分层，根据所述基础分层内包含节点对应的车辆特征信息，确定组内节点数量包括：采用如下公式计算组内的节点数量：
[0018]其中，是特征向量中的所有维度，为组别中所有节点在第维度上的均值向量，并且，，基础分层内的节点被分为个不同的组别，每个组别包含个节点，且。
[0019]可选地，所述根据节点对应的车辆特征信息，将层内每个节点分别分配到K个所述基础分组包括：根据节点对应的车辆特征信息，将层内每个节点分别分配到K个所述基础分组；针对任一所述基础分组，计算组内节点特征向量的方差，得到目标方差；将所述目标方差与第一阈值进行比较，若所述目标方差大于所述第一阈值，则确定所述基础分组为待调整分组；计算所述待调整分组中每个节点在不同特征向量上的标准差，将标准差大于第二阈值的节点，作为待调整节点；采用聚类的方式，对所述待调整节点分配到新的基础分组，并返回所述针对任一所述基础分组，计算组内节点特征向量的方差，得到目标方差的步骤继续执行，直到每个基础分组的所述目标方差均小于或等于第一阈值为止。
[0020]可选地，所述对于每个所述基础分组，进行分组内部消息队列的部署，得到目标分组包括：从所述基础分组的各个节点中选取代表节点；对每个所述代表节点进行消息队列的部署，得到目标分组。
[0021]可选地，所述从所述基础分组的各个节点中选取代表节点包括：将所述基础分组内的每个节点均作为候选节点；
基于相似度计算的方式，计算车辆标识对应的车辆特征信息和所述候选节点在各个特征上的相似度，并对得到的相似度由大到小进行排序，得到相似度序列；在所述相似度序列中，从前往后依次选取预设数量的相似度，作为目标相似度，并获取目标相似度对应的节点，作为代表节点。
[0022]可选地，所述方法还包括：对所述代表节点进行动态维护。
[0023]可选地，所述将车载网内的每个车辆标识关联分配到所述目标分组包括：针对每个车辆标识，计算所述车辆标识对应的车辆特征信息与每个所述代表节点对应的车辆特征信息的相似度；将所述车辆标识分配到与所述车辆标识的相似度值最大的代表节点对应的基础分组中；在所有车辆标识完成分配后，确定分配完成。
[0024]可选地，所述执行组内局部联邦学习，对所述目标分组内每个节点的本地模型进行更新，得到更新后的局部全局模型包括：从消息队列中接收所述目标分组内每个节点上传的本地模型，其中，所述本地模型为所述目标分组内节点根据本地历史数据进行训练生成；基于每个所述本地模型进行局部模型全局聚合，得到局部全局模型；将所述局部全局模型发送给每个所述目标分组内节点，以使所述目标分组内节点根据本地数据对所述局部全局模型进行训练更新；返回从消息队列中接收组内每个节点上传的本地模型的步骤继续执行，直到所述局部全局模型收敛，得到更新后的局部全局模型。
[0025]可选地，所述将每个所述目标分组作为一个中心，采用每个中心对应的所述更新后的局部全局模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习的车载网数据处理方法，其特征在于，所述基于联邦学习的车载网数据处理方法包括：根据各个节点的历史通信消息数据和硬件配置信息，构建车载网的分层结构，所述分层结构包括至少两个基础分层；针对每个所述基础分层，基于节点对应的车辆特征信息进行分组，得到至少两个基础分组；对于每个所述基础分组，进行分组内部消息队列的部署，得到目标分组；将车载网内的每个车辆标识关联分配到所述目标分组；执行组内局部联邦学习，对所述目标分组内每个节点的本地模型进行聚合更新，得到更新后的局部全局模型；将每个所述目标分组作为一个中心，采用每个中心对应的所述更新后的局部全局模型进行全局多中心联邦学习，得到每个中心对应的全局模型，并采用所述全局模型进行车载网通信数据的处理。2.如权利要求1所述的基于联邦学习的车载网数据处理方法，其特征在于，所述硬件配置信息包括带宽和通信能力，所述根据各个节点的历史通信消息数据和硬件配置信息，构建车载网的分层结构包括：基于根据上一层节点的带宽和通信能力，确定当前层计算节点数量：其中，为第层节点的带宽，为第 层节点的处理能力，当前层的通信负载，i为大于1的正整数；获取车载网中用于进行通信的车辆标识数量，并基于所述车辆标识数量和所述节点数量，动态确定每个所述基础分层中包含的节点数量。3.如权利要求2所述的基于联邦学习的车载网数据处理方法，其特征在于，所述当前层的通信负载采用如下步骤确定：对于任意的两个节点j和k，采用如下公式计算节点j和节点k之间的平均消息大小：其中，为第m条消息的权重，为第m条消息的大小;采用如下公式计算节点j和节点k之间的消息数目：其中，是第个消息的大小；通过如下公式，确定当前层的通信负载：其中，为第i层的当前层的通信负载。4.如权利要求2所述的基于联邦学习的车载网数据处理方法，其特征在于，所述基于车辆标识数量和所述节点数量，动态确定每个所述基础分层中包含的节点数量包括：
采用如下公式，确定第i个所述基础分层中包含的节点数量：：其中，表示车辆的总数数量，表示向上取整函数，为第i个所述基础分层中的最大节点数量。5.如权利要求2所述的基于联邦学习的车载网数据处理方法，其特征在于，所述针对每个所述基础分层，基于节点对应的车辆特征信息进行分组，得到至少两个基础分组包括：针对第i个所述基础分层，根据所述基础分层内包含节点对应的车辆特征信息，确定组内节点数量；基于第i个所述基础分层中的节点数量和组内的节点数量，采用如下公式确定基础分组数量K：其中，表示向上取整函数，为第i个所述基础分层的节点数量，为所述组内节点数量；根据节点对应的车辆特征信息，将层内每个节点分别分配到K个所述基础分组。6.如权利要求5所述的基于联邦学习的车载网数据处理方法，其特征在于，所述针对第i个所述基础分层，根据所述基础分层内包含节点对应的车辆特征信息，确定组内节点数量包括：采用如下公式计算组内的节点数量：其中，是特征向量中的所有维度，为组别中所有节点在第p维度上的均值向量，并且，，基础分层内的节点被分为个不同的组别，每个组别包含个节点，且。7.如权利要求6所述的基于联邦学习的车载网数据处理方法，其特征在于，所述根据节点对应的车辆特征信息，将层内每个节点分别分配到K个所述基础分组包括：根据节点对应的车辆特征信息，将层内每个节点分别分配到K个所述基础分组；针对任一所述基础分组，计算组内节点特征向量的方差，得到目标方差；将所述目标方差与第一阈值进行比较，若所述目标方差大于所述第一阈值，则确定所述基础分组为待调整分组；计算所述待调整分组中每个节点在不同特征向量上的标准差，将标准差大于第二阈值的节点，作为待调整节点；采用聚类的方式，对所述待调整节点分配到新的基础分组，并返回所述针对任一所述基础分组，计算组内节点特征向量的方差，得到目标方差的步骤继续执行，直到每个基础分组的所述目标方差均小于或等于第一阈值为止。8.如权利要求1所述的基于联邦学习的车载网数据处理方法，其特征在于，所述对于每个所述基础分组，进行分组内部消息队列的部署，得到目标分组包括：
从所述基础分组的各个节点中选取代表节点；对每个所述代表节点进行消息队列的部署，得到目标分组。9.如权利要求8所述的基于联邦学习的车载网数据处理方法，其特征在于，所述从所述基础分组的各个节点中选取代表节点包括：将所述基础分组内的每个节点均作...

【专利技术属性】
技术研发人员：陈晓红，许冠英，史庆宇，徐雪松，李小龙，胡东滨，
申请(专利权)人：湘江实验室，
类型：发明
国别省市：