【技术实现步骤摘要】
一种高维数据模式分类方法、装置及系统
本申请涉及模式分类
，更具体地说，涉及一种高维数据模式分类方法、装置及系统。
技术介绍
现代生活逐渐进入物联网时代，各种不同类别和功能的实体目标通过数字化描述和网络通信实现相互联系，极大提高了生活质量和生产效率。传感器技术依据电磁波等介质与目标作用原理，能够经济便捷地采集实体目标的多种属性数据，有力支撑了人们对实体目标数字化管理和科学认知。伴随着传感器类型及其应用程度的不断增加，人们能够获取的目标属性数据的种类和数量不断增大，通过挖掘蕴含在大量数据中的不同类别的模式信息，为日常生活和科研活动带来了更多可能。然而，实际应用中关于目标的属性数据通常包含数个乃至百千个维度，具有很强的复杂性和巨大的数据量，给模式分类在效率上带来了很大困难。高维数据模式分类在实际应用中的难点主要体现在：在数据处理环节，高维数据通常数据量大，计算效率低，制约了其在时效性要求比较高的场景中应用。
技术实现思路
有鉴于此，本申请提供了一种高维数据模式分类方法、装置及系统，用于解决现有高维数据模式分类计算效率低下的问题。为了实现上述目的，现提出的方案如下：一种高维数据模式分类方法，应用于主节点，所述主节点与从属节点具备通信连接关系，该方法包括：读取待分类的高维数据，所述高维数据为由行、列和层组成的三维数组R，其中，任意行和列组合对应位置处的数据集合作为一个目标，目标为Bands维列向量，Bands为三维数组R的层数；读取标记有分类类别的训练样本集S；在所述从属节点中为所述三维数组R分配第一存储空间DeviceR、为所述训练样本集S分配第二存储空间De...
【技术保护点】
一种高维数据模式分类方法，其特征在于，应用于主节点，所述主节点与从属节点具备通信连接关系，该方法包括：读取待分类的高维数据，所述高维数据为由行、列和层组成的三维数组R，其中，任意行和列组合对应位置处的数据集合作为一个目标，目标为Bands维列向量，Bands为三维数组R的层数；读取标记有分类类别的训练样本集S；在所述从属节点中为所述三维数组R分配第一存储空间DeviceR、为所述训练样本集S分配第二存储空间DeviceS、为分类结果C分配第三存储空间DeviceC；将所述三维数组R拷贝到第一存储空间DeviceR中、将所述训练样本集S拷贝到第二存储空间DeviceS中，以供所述从属节点启动若干个线程，每个线程分别利用所述训练样本集S，对自身负责的三维数组R中的若干个目标进行模式分类计算，并将各目标的分类结果存储到所述第三存储空间DeviceC中；将从属节点的第三存储空间DeviceC中的各目标的分类结果拷贝到本地。
【技术特征摘要】
1.一种高维数据模式分类方法，其特征在于，应用于主节点，所述主节点与从属节点具备通信连接关系，该方法包括：读取待分类的高维数据，所述高维数据为由行、列和层组成的三维数组R，其中，任意行和列组合对应位置处的数据集合作为一个目标，目标为Bands维列向量，Bands为三维数组R的层数；读取标记有分类类别的训练样本集S；在所述从属节点中为所述三维数组R分配第一存储空间DeviceR、为所述训练样本集S分配第二存储空间DeviceS、为分类结果C分配第三存储空间DeviceC；将所述三维数组R拷贝到第一存储空间DeviceR中、将所述训练样本集S拷贝到第二存储空间DeviceS中，以供所述从属节点启动若干个线程，每个线程分别利用所述训练样本集S，对自身负责的三维数组R中的若干个目标进行模式分类计算，并将各目标的分类结果存储到所述第三存储空间DeviceC中，所述模式分类计算具体包括：根据预置多层次特征集合构建策略，对所述目标进行多层次特征集合构建，得到目标的Bands层的目标特征集合，其中第i层的目标特征集合包含C(Bands，i)个元素，其中C(Bands，i)为从Bands个元素中取出i个元素的所有组合的个数；根据所述预置多层次特征集合构建策略，对所述训练样本集S中的每个训练样本进行多层次特征集合构建，得到每个训练样本的Bands层的训练样本特征集合；依次计算目标的每一层的目标特征集合中的每一个元素，与各个训练样本的对应层的训练样本特征集合中的对应元素的距离，并确定距离最小的训练样本，为该训练样本对应的类别记一票；依据同层的目标特征集合中的所有元素的类别投票结果，统计N个类别的得票个数，得到该层表征N个类别各自得票个数的类别特征列向量；将所述类别特征列向量除以该层的目标特征集合的元素个数，得到归一化后的类别特征列向量；按照设定的各层权重值，将所有层的归一化后的类别特征列向量进行加权相加，得到总的类别特征列向量；在所述总的类别特征列向量中选取值最大的类别，作为目标所属的类别；将从属节点的第三存储空间DeviceC中的各目标的分类结果拷贝到本地。2.根据权利要求1所述的方法，其特征在于，在所述将从属节点的第三存储空间DeviceC中的各目标的分类结果拷贝到本地之后，该方法还包括：向所述从属节点发送存储空间释放指令，以释放在所述从属节点中分配的存储空间。3.根据权利要求1所述的方法，其特征在于，所述主节点为中央处理器CPU，所述从属节点为图形处理单元GPU。4.一种高维数据模式分类方法，其特征在于，应用于从属节点，所述从属节点与主节点具备通信连接关系，该方法包括：响应所述主节点分配存储空间的指令，在本地存储空间中分配第一存储空间DeviceR、第二存储空间DeviceS和第三存储空间DeviceC；将主节点发送的三维数组R存储在所述第一存储空间DeviceR中，将主节点发送的标记有分类类别的训练样本集S存储到所述第二存储空间DeviceS中；三维数组R中存储的是待分类的高维数据，所述三维数组R由行、列和层组成，任意行和列组合对应位置处的数据集合作为一个目标，目标为Bands维列向量，Bands为三维数组R的层数；启动若干线程，按照预置分配策略将三维数组R中各目标依次分配给各线程，由各线程利用所述训练样本集S对自身负责的目标进行模式分类计算，并将目标的分类结果存储到所述第三存储空间DeviceC中，所述模式分类计算具体包括：根据预置多层次特征集合构建策略，对所述目标进行多层次特征集合构建，得到目标的Bands层的目标特征集合，其中第i层的目标特征集合包含C(Bands，i)个元素，其中C(Bands，i)为从Bands个元素中取出i个元素的所有组合的个数；根据所述预置多层次特征集合构建策略，对所述训练样本集S中的每个训练样本进行多层次特征集合构建，得到每个训练样本的Bands层的训练样本特征集合；依次计算目标的每一层的目标特征集合中的每一个元素，与各个训练样本的对应层的训练样本特征集合中的对应元素的距离，并确定距离最小的训练样本，为该训练样本对应的类别记一票；依据同层的目标特征集合中的所有元素的类别投票结果，统计N个类别的得票个数，得到该层表征N个类别各自得票个数的类别特征列向量；将所述类别特征列向量除以该层的目标特征集合的元素个数，得到归一化后的类别特征列向量；按照设定的各层权重值，将所有层的归一化后的类别特征列向量进行加权相加，得到总的类别特征列向量；在所述总的类别特征列向量中选取值最大的类别，作为目标所属的类别；响应主节点的分类结果拷贝指令，将所述第三存储空间DeviceC中的各目标的分类结果拷贝到主节点。5.根据权利要求4所述的方法，其特征在于，在所述响应主节点的分类结果拷贝指令，将所述第三存储空间DeviceC中的各目标的分类结果拷贝到主节点之后，该方法还包括：响应主节点的存储空间释放指令，释放已分配的存储空间。6.根据权利要求4所述的方法，其特征在于，所述依次计算目标的每一层的目标特征集合中的每一个元素，与各个训练样本的对应层的训练样本特征集合中的对应元素的距离，包括：依次计算目标的每一层的目标特征集合中的每一个元素，与各个训练样本的对应层的训练样本特征集合中的对应元素的欧氏距离。7.一种高维数据模式分类装置，其特征在于，应用于主节点，所述主节点与从属节点具备通信连接关系，该装置包括：高维数据读取单元，用于读取待分类的高维数据，所述高维数据为由行、列和层组成的三维数组R，其中，任意行和列组合对应位置处的数据集合作为一个目标，目标为Bands维列向量，Bands为三维数组R的层数；训练样本集读取单元，用于读取标记有分类类别的训练样本集S；空间分配单元，用于在所述从属节点中为所述三维数组R分配第一存储空间DeviceR、为所述训练样本集S分配第二存储空间DeviceS、为分类结果C分配第三存储空间DeviceC；数据拷贝单元，用于将所述三维数组R拷贝到第一存储空间Dev...
【专利技术属性】
技术研发人员：张兵，高建威，李利伟，高连如，吴远峰，
申请(专利权)人：中国科学院遥感与数字地球研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。