【技术实现步骤摘要】
一种基于CIM的海量数据分析方法及系统
[0001]本专利技术涉及数据分析
,特别涉及一种基于CIM的海量数据分析方法及系统。
技术介绍
[0002]目前,CIM(城市信息模型)是以建筑信息模型(BIM)、地理信息系统(GIS)、物联网(IoT)等技术为基础,整合城市地上地下、室内室外、历史现状未来多维多尺度信息模型数据和城市感知数据,构建起三维数字空间的城市信息有机综合体。每时每刻城市中产生的数据都是海量的,如何对海量数据进行分析获得CIM所需要的数据是亟需解决的技术问题。
技术实现思路
[0003]本专利技术目的之一在于提供了一种基于CIM的海量数据分析方法,以实现从海量数据中提取CIM所需的数据,并基于该数据确定CIM中的参数,实现CIM的实时更新。
[0004]本专利技术实施例提供的一种基于CIM的海量数据分析方法,包括:
[0005]构建对应CIM的数据筛选库,基于数据筛选库对海量数据进行筛选,获取待处理数据;
[0006]对待处理数据进行归类分组,获得多个分组数据;
[0007]将各个分组数据输入至对应的预设的识别分析模型中进行识别分析,确定CIM中的参数。
[0008]优选的,构建对应CIM的数据筛选库,包括:
[0009]获取CIM的历史的输入数据;
[0010]对输入数据进行归类,获取多个数据筛选组;
[0011]对数据筛选组中的输入数据进行特征提取,获得多个特征值;
[0012]基于提取的特征值确定数据筛 ...
【技术保护点】
【技术特征摘要】
1.一种基于CIM的海量数据分析方法,其特征在于,包括:构建对应CIM的数据筛选库,基于所述数据筛选库对海量数据进行筛选,获取待处理数据;对所述待处理数据进行归类分组,获得多个分组数据;将各个分组数据输入至对应的预设的识别分析模型中进行识别分析,确定CIM中的参数。2.如权利要求1所述的基于CIM的海量数据分析方法,其特征在于,所述构建对应CIM的数据筛选库,包括:获取CIM的历史的输入数据;对所述输入数据进行归类,获取多个数据筛选组;对所述数据筛选组中的所述输入数据进行特征提取,获得多个特征值;基于提取的所述特征值确定所述数据筛选组的筛选关键特征。3.如权利要求2所述的基于CIM的海量数据分析方法,其特征在于,所述基于提取的所述特征值确定所述数据筛选组的筛选关键特征,包括:提取所述数据筛选组中所述输入数据的所述特征值的值都相同的所述特征值,作为所述筛选关键特征中的第一类筛选项,并赋予第一权重;提取所述数据筛选组中所述输入数据的所述特征值的值不相同但是差值在预设的阈值范围内的所述特征值,作为所述筛选关键特征中的第二类筛选项,并赋予第二权重;提取所述数据筛选组中所述输入数据的所述特征值的值不相同且差值超出预设的阈值范围内的所述特征值,作为所述筛选关键特征中的第三类筛选项,并赋予第三权重;其中,所述第一权重大于所述第二权重和所述第三权重;所述第二权重大于所述第三权重。4.如权利要求3所述的基于CIM的海量数据分析方法,其特征在于,所述基于所述数据筛选库对海量数据进行筛选,获取待处理数据;包括:对所述海量数据中的待筛选数据进行特征,获取特征矩阵;基于所述特征矩阵分别与所述筛选关键特征中的第一类筛选项、所述第二类筛选项和所述第三类筛选项进行匹配,确定多个第一匹配度、多个第二匹配度、多个第三匹配度;基于第一匹配数目、第二匹配数目、第三匹配数目、所述第一权重、所述第二权重和所述第三权重,确定匹配值,计算公式如下:其中,P为所述匹配值;M
1i
为所述特征矩阵与所述第一类筛选项中第i个筛选数据的所述第一匹配度;M
2j
为所述特征矩阵与所述第二类筛选项中第j个筛选数据的所述第二匹配度;M
3k
为所述特征矩阵与所述第三类筛选项中第k个筛选数据的所述第三匹配度;α1、α2、α3分别为所述第一权重、所述第二权重、所述第三权重;n为所述第一类筛选项中的数据总数;m为所述第二类筛选项中的数据总数;N为所述第三类筛选项中的数据总数;当所述匹配值大于预设的匹配阈值时,将所述待筛选数据作为所述待处理数据。5.如权利要求1所述的基于CIM的海量数据分析方法,其特征在于,所述对所述待处理数据进行归类分组,获得多个分组数据;包括:
获取预设的分组关键词表,基于所述分组关键词表对所述待处理数据进行归类分组;所述基于CIM的海量数据分析方法,还包括:将经过归类分组未能确定其归属的所述待处理数据存储至待归类数据库;当所述待归类数据库中的数据量大于预设的数据阈值时,计算所述待归类数据库中两两所述待处理数据的相似度,相似度计算公式如下:其中,D
x,y
为所述待归类数据库中第x个所述待处理数据和第y个所述待处理数据之间的相似度;x
l
为所述第x个所述待处理数据经过特征提取后的第l个特征值;y
l
为所述第y个所述待处理数据经过特征提取后的第l个特征值;L为所述待处理数据经过特征提取后提取的特征值的总数;p为预设常数;基于所述相似度对所述待归类数据库中的所述待处理数据进行分组,各个分组中的所述待处理数据之间的相似度大于预设的分组阈值;确定各个分组中的待处理数据的数量,当各个分组中...
【专利技术属性】
技术研发人员:季顺海,
申请(专利权)人:江苏星月测绘科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。