具有复杂数据源的交通工程材料质量数据分析方法及系统技术方案

本发明专利技术公开了一种具有复杂数据源的交通工程材料质量数据分析方法及系统，涉及数据分析领域，该方法包括基于规范化的检测类报告，提取得到材料质量分析相关的数据项，并对提取的数据项的属性进行定义；对定义后的数据项进行清理空值、重复值、同义值、无效值，以及归并数据类型和标记处理，将原始数据转换为可计算的数据集；依据质量数据分析目标确定评价范围，并根据目标的时间范围确定时间区间，对时间区间内的数据进行特征计算，形成特征集；对特征进行分类，并基于集成评估模型评价得到集成评价结果，进行数据集、特征集和集成评价结果的输出。本发明专利技术能够实现对交通工程材料检测数据快速而准确的分析。数据快速而准确的分析。数据快速而准确的分析。

【技术实现步骤摘要】
具有复杂数据源的交通工程材料质量数据分析方法及系统


[0001]本专利技术涉及数据分析领域，具体涉及一种具有复杂数据源的交通工程材料质量数据分析方法及系统。

技术介绍

[0002]随着交通运输业的快速发展，交通工程质量管理越来越重要，材料质量是保障工程质量的重要因素。试验检测专业技术人员按照一系列标准和规范进行检测，具备资质的试验机构通过出具试验检测报告，验证材料的质量指标，保障在交通工程中所使用的材料质量达到要求。材料检测质量的数据分析，有助于交通工程质量的智能化管理。
[0003]在材料的质量数据分析方面，材料的生产者，即材料厂家在产品出厂时，需要控制产品质量，必须检测产品的强度值并计算一段时间内的强度值均值和方差，以保障产品达到质量要求。材料研究人员，以某一种类材料的试验检测方法为研究目的，通常采用常规一阶矩和二阶矩统计方法评定材料质量。但上述统计分析方式受到其各自业务范围、研究范围和时间范围的限制，数据规模有限。
[0004]另一方面，材料的使用者，以及参与交通工程项目建设的有关单位，围绕其业务职能，在业务标准化和信息化方面进行研究，以业务效率提升为主要目标，采集和存储了大量的材料检测数据，但由于交通检测业务流程复杂，覆盖的检测参数指标范围广，影响检测的人、机、料、法、环等因素复杂，使得检测业务系统中的数据关系、数据类型和数据内容十分复杂，难以建立契合质量管理目标的试验检测数据集，难以快速得到精确的有良好可解释性的材料质量分析评价结果。
[0005]因此，如何对交通工程材料检测数据快速而准确的分析，是当前亟需解决的问题。

技术实现思路

[0006]针对现有技术中存在的缺陷，本专利技术的目的在于提供一种具有复杂数据源的交通工程材料质量数据分析方法及系统，能够实现对交通工程材料检测数据快速而准确的分析。
[0007]为达到以上目的，本专利技术提供的一种具有复杂数据源的交通工程材料质量数据分析方法，具体包括以下步骤：
[0008]基于规范化的检测类报告，提取得到材料质量分析相关的数据项，并对提取的数据项的属性进行定义；
[0009]对定义后的数据项进行清理空值、重复值、同义值、无效值，以及归并数据类型和标记处理，将原始数据转换为可计算的数据集；
[0010]依据质量数据分析目标确定评价范围，并根据目标的时间范围确定时间区间，对时间区间内的数据进行特征计算，形成特征集；
[0011]对特征进行分类，并基于集成评估模型评价得到集成评价结果，进行数据集、特征集和集成评价结果的输出。
[0012]在上述技术方案的基础上，所述基于规范化的检测类报告，提取得到材料质量分析相关的数据项，并对提取的数据项的属性进行定义，具体步骤包括：
[0013]从规范化的检测类报告的原始数据文档中，依次提取材料质量分析相关的数据项；
[0014]定义每个数据项的数据类型和数据长度；
[0015]其中，所述数据项包括检测单位名称、报告号、工程名称、工程部位/用途、检测依据、判定依据、供应商、试验日期、检测参数、检测值、检测结果和报告日期。
[0016]在上述技术方案的基础上，
[0017]所述空值为检测过程中忽略而未填入的值，当检测值为空值时，作为无效数据处理；
[0018]所述重复值为通过检测日期时间和检测报告的报告号进行判断和数据合并时，同一日期且报告号一致的检测属于同一次检测；
[0019]所述无效值为以文本表述替代数值记录的情况，以及输入错误的情况，对于无效值，视为无效数据并作清除处理；
[0020]所述同义值出现在工程名称、工程部位用途、检测单位名称和厂家名称中，对于工程名称，按照道路标段编号与建设或运营阶段归并，对于工程部位用途，按照路基、路面及其他三种归并，对于检测单位名称和厂家名称，将缩写或简写转换为全称。
[0021]在上述技术方案的基础上，
[0022]对于数据项的标记处理，具体为：将检测单位名称、厂家名称和工程名称，采用代号标记进行识别和区分；
[0023]所述检测单位名称的标记用于检测源的数据分析；
[0024]所述厂家名称的标记用于厂家的质量数据分析；
[0025]所述工程名称的标记用于工程的材料质量数据分析。
[0026]在上述技术方案的基础上，所述依据质量数据分析目标确定评价范围，并根据目标的时间范围确定时间区间，具体步骤包括：
[0027]根据检测结果数据表，以及依据质量数据分析目标确定的评价范围，选取对应目标在对应检测时间范围内的检测值；
[0028]基于数据集的时间范围、工程工期的时间范围，以及材料使用期的时间范围，确定需划分的区间数量，对检测时间范围进行划分，得到时间区间。
[0029]在上述技术方案的基础上，
[0030]所述检测结果数据表具体表示为：
[0031][0032]其中，M
N
×
T
表示检测结果数据表，m
i,t
表示第i个目标的第t次测量值，N表示目标的数量，T表示目标的检测日期时间范围的天数；
[0033]对检测时间范围进行划分，得到时间区间，对应的公式为：
[0034]T0＝TK
[0035]其中，T0表示时间区间的天数，K表示需划分的区间数量。
[0036]在上述技术方案的基础上，所述对时间区间内的数据进行特征计算，形成特征集，具体步骤包括：
[0037]对每个时间区间内的数据，进行幅
‑
频特征分析，得到特征值矩阵：
[0038][0039]其中，X
N
×
J
表示特征值矩阵，N表示目标的数量，J表示幅
‑
频特征的个数，具体包括均值、方差、中位数、极差和变异系数特征，x
i,j
表示第i个目标的第j个幅
‑
频特征，表示第i个分析对象的特征向量。
[0040]在上述技术方案的基础上，
[0041]所述均值的计算方式为：
[0042][0043]其中，x
i,1
表示均值，t
ik
表示第i个目标在第K个时间区间内的检测次数；
[0044]所述方差的计算方式为：
[0045][0046]其中，x
i,2
表示方差；
[0047]所述中位数的计算方式为：
[0048][0049]其中，x
i,3
表示中位数；
[0050]所述极差的计算方式为：
[0051]x
i,4
＝max{m
i,t
}
‑
min{m
i,t
}
[0052]其中，x
i,4
表示极差，max表示最大值计算，min表示最小值计算；
[0053]所述变异系数计算方式为：
[0054][0055本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有复杂数据源的交通工程材料质量数据分析方法，其特征在于，具体包括以下步骤：基于规范化的检测类报告，提取得到材料质量分析相关的数据项，并对提取的数据项的属性进行定义；对定义后的数据项进行清理空值、重复值、同义值、无效值，以及归并数据类型和标记处理，将原始数据转换为可计算的数据集；依据质量数据分析目标确定评价范围，并根据目标的时间范围确定时间区间，对时间区间内的数据进行特征计算，形成特征集；对特征进行分类，并基于集成评估模型评价得到集成评价结果，进行数据集、特征集和集成评价结果的输出。2.如权利要求1所述的一种具有复杂数据源的交通工程材料质量数据分析方法，其特征在于，所述基于规范化的检测类报告，提取得到材料质量分析相关的数据项，并对提取的数据项的属性进行定义，具体步骤包括：从规范化的检测类报告的原始数据文档中，依次提取材料质量分析相关的数据项；定义每个数据项的数据类型和数据长度；其中，所述数据项包括检测单位名称、报告号、工程名称、工程部位/用途、检测依据、判定依据、供应商、试验日期、检测参数、检测值、检测结果和报告日期。3.如权利要求2所述的一种具有复杂数据源的交通工程材料质量数据分析方法，其特征在于：所述空值为检测过程中忽略而未填入的值，当检测值为空值时，作为无效数据处理；所述重复值为通过检测日期时间和检测报告的报告号进行判断和数据合并时，同一日期且报告号一致的检测属于同一次检测；所述无效值为以文本表述替代数值记录的情况，以及输入错误的情况，对于无效值，视为无效数据并作清除处理；所述同义值出现在工程名称、工程部位用途、检测单位名称和厂家名称中，对于工程名称，按照道路标段编号与建设或运营阶段归并，对于工程部位用途，按照路基、路面及其他三种归并，对于检测单位名称和厂家名称，将缩写或简写转换为全称。4.如权利要求3所述的一种具有复杂数据源的交通工程材料质量数据分析方法，其特征在于：对于数据项的标记处理，具体为：将检测单位名称、厂家名称和工程名称，采用代号标记进行识别和区分；所述检测单位名称的标记用于检测源的数据分析；所述厂家名称的标记用于厂家的质量数据分析；所述工程名称的标记用于工程的材料质量数据分析。5.如权利要求1所述的一种具有复杂数据源的交通工程材料质量数据分析方法，其特征在于，所述依据质量数据分析目标确定评价范围，并根据目标的时间范围确定时间区间，具体步骤包括：根据检测结果数据表，以及依据质量数据分析目标确定的评价范围，选取对应目标在对应检测时间范围内的检测值；
基于数据集的时间范围、工程工期的时间范围，以及材料使用期的时间范围，确定需划分的区间数量，对检测时间范围进行划分，得到时间区间。6.如权利要求5所述的一种具有复杂数据源的交通工程材料质量数据分析方法，其特征在于：所述检测结果数据表具体表示为：其中，M
N
×
T
表示检测结果数据表，m
i,t
表示第i个目标的第t次测量值...

【专利技术属性】
技术研发人员：林杰，邹云华，刘松，万里，成琛，陈军，吕勇涛，刁克，
申请(专利权)人：湖北交投智能检测股份有限公司，
类型：发明
国别省市：