【技术实现步骤摘要】
本专利技术涉及遥感卫星，尤其涉及一种基于多终端协同感知分布式大模型的图像处理及构建方法。
技术介绍
1、目前，遥感卫星
中，遥感图像在线处理一般基于单一的卫星终端完成。由于单一卫星终端的观测内容和计算资源有限，导致在线执行任务的性能有限，遥感图像在线处理的精度和效率偏低。并且，由于分布式大模型中边缘终端平台的算力限制，难以直接部署分布式大模型。
技术实现思路
1、有鉴于此，本专利技术第一方面提供一种基于多终端协同感知分布式大模型的图像处理方法，分布式大模型包括多个卫星终端，每个卫星终端采用神经网络模型的结构相同；方法包括：获取不同卫星观测的同一场景的多个遥感图像；将每个卫星观测的遥感图像分别输入该卫星的神经网络模型，执行以下操作：提取每个遥感图像中的第一特征；计算各个第一特征的自信分数，其中，自信分数用于表征第一特征包含的信息量；根据自信分数确定多个卫星终端中需要被协助的卫星终端，作为请求端；对于每一个请求端，计算请求端对应的第一特征与其他卫星终端对应的第一特征之间的匹配度；根据匹配度确定协助请求端至少一个卫星终端，作为协助端；计算请求端的第一特征与对应的协助端的第一特征之间的关联特征；基于自信分数和匹配度将请求端的第一特征与对应的协助端的关联特征进行加权融合，得到与该请求端对应的融合特征；根据融合特征生成图像检测结果。
2、根据本专利技术的实施例，提取每个遥感图像中的第一特征包括：采用resnet-18网络作为神经网络模型的特征提取网络，提取每个遥感图像中的第一
3、根据本专利技术的实施例，计算各个第一特征的自信分数包括：对第一特征进行编码，分别生成query和key；采用自注意力机制对query和key进行处理，并通过sigmoid函数激活，生成自信分数。
4、根据本专利技术的实施例，根据自信分数确定多个卫星终端中需要被协助的卫星终端，作为请求端包括：确定自信分数小于预设请求阈值的卫星终端为请求端。
5、根据本专利技术的实施例，对于每一个请求端，计算请求端对应的第一特征与其他卫星终端对应的第一特征之间的匹配度包括：通过请求端对对应的第一特征进行压缩编码，生成协助请求，其中，协助请求的向量长度小于key的向量长度；将协助请求发送至其他卫星终端，以使其他卫星终端对协助请求进行解码及特征投影，得到投影特征，其中，投影特征与协助端对应的key维度一致；对于其他卫星终端中的每一卫星终端，分别将对应的投影特征与第一特征进行点积运算，得到请求端的第一特征与其他卫星终端中的各个协助端的第一特征之间的匹配度。
6、根据本专利技术的实施例，根据匹配度确定协助请求端至少一个卫星终端，作为协助端包括：对匹配度进行归一化，得到匹配分数；将与匹配分数大于协助阈值卫星终端确定为协助端，协助阈值为1/(n-1)，n为分布式大模型中卫星终端的总数。
7、根据本专利技术的实施例，对匹配度进行归一化，得到匹配分数包括：采用softmax函数对匹配度进行归一化，得到匹配分数。
8、根据本专利技术的实施例，计算请求端的第一特征与对应的协助端的第一特征之间的关联特征包括：对请求端的第一特征与对应的协助端的第一特征进行全局交叉注意力操作，计算协助端的第一特征与请求端的第一特征之间的关联矩阵；将关联矩阵与协助端的第一特征进行矩阵相乘，得到请求端所需的关联特征；基于自信分数对请求端的第一特征进行加权，基于匹配分数对关联特征进行加权；将加权后的特征求和，得到融合特征。
9、本专利技术第二方面提供一种基于多终端协同感知分布式大模型的构建方法，包括：构建分布式大模型，分布式大模型包括多个卫星终端，每个卫星终端采用神经网络模型的结构相同；获取不同卫星观测的同一场景的多个遥感图像；将每个卫星观测的遥感图像分别输入该卫星的神经网络模型，执行以下操作：提取每个遥感图像中的第一特征；计算各个第一特征的自信分数，其中，自信分数用于表征第一特征包含的信息量；计算每一个卫星终端对应的第一特征与其他卫星终端对应的第一特征之间的匹配度；计算每一个卫星终端的第一特征与其他卫星终端对应的第一特征之间的关联特征；分别基于自信分数和匹配度将每一个卫星终端对应的第一特征与其他卫星终端对应的关联特征进行加权融合，得到与每一个卫星终端分别对应的融合特征；根据每一个卫星终端的融合特征生成每一个卫星终端的图像检测结果；根据图像检测结果调整各个卫星终端的神经网络模型的参数。
10、根据本专利技术实施例提供的基于多终端协同感知分布式大模型的图像处理及构建方法，至少能够实现以下技术效果：
11、利用协同感知技术自适应地融合分布式各卫星终端提取的观测信息，利用分布式终端算力解决单一终端平台算力有限以及感知信息有限的问题，提高遥感图像处理的精度和效率。
12、在处理过程中，通过自互信息匹配完成协同感知过程的协助建立，在保持精度的条件下，减少了冗余的信息传递。通过关联特征融合，避免非对齐特征信息带来的干扰，实现了多端特征的有效融合，将该融合特征用于下游任务会提升分布式大模型的整体任务性能。
13、在大模型构建过程中，通过协同感知的方式，解决边缘终端平台的算力限制的问题，实现了终端分布式大模型的直接部署。
本文档来自技高网...【技术保护点】
1.一种基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述分布式大模型包括多个卫星终端，每个卫星终端采用神经网络模型的结构相同；方法包括：
2.根据权利要求1所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述提取每个所述遥感图像中的第一特征包括：
3.根据权利要求1所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述计算各个所述第一特征的自信分数包括：
4.根据权利要求1所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述根据所述自信分数确定所述多个卫星终端中需要被协助的卫星终端，作为请求端包括：
5.根据权利要求3所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述对于每一个请求端，计算请求端对应的所述第一特征与其他卫星终端对应的第一特征之间的匹配度包括：
6.根据权利要求5所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述根据所述匹配度确定协助所述请求端至少一个卫星终端，作为协助端包括：
7.根据权利要求5所述
8.根据权利要求5所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述计算所述请求端的第一特征与对应的协助端的第一特征之间的关联特征包括：
9.一种基于多终端协同感知分布式大模型的构建方法，其特征在于，包括：
...【技术特征摘要】
1.一种基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述分布式大模型包括多个卫星终端，每个卫星终端采用神经网络模型的结构相同；方法包括：
2.根据权利要求1所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述提取每个所述遥感图像中的第一特征包括：
3.根据权利要求1所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述计算各个所述第一特征的自信分数包括：
4.根据权利要求1所述的基于多终端协同感知分布式大模型的图像处理方法，其特征在于，所述根据所述自信分数确定所述多个卫星终端中需要被协助的卫星终端，作为请求端包括：
5.根据权利要求3所述的基于多终端协同感知分布式大模型的图像处...
【专利技术属性】
技术研发人员：孙显，付琨，王智睿，陈凯强，赵良瑾，成培瑞，卢雪，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。