一种燃气管网拓扑中点表线表唯一性的修复方法与系统技术方案

本发明专利技术公开了一种燃气管网拓扑中点表线表唯一性的修复方法与系统，方法包含步骤1：获取点表数据与线表数据，并进行标准化处理；步骤2：对标准化处理后的点表数据与线表数据进行空值填充，并更新点表数据与线表数据；步骤3：对步骤2更新后的点表数据与线表数据进行ID去重，并更新点表数据与线表数据；步骤4：对步骤3更新后的点表数据与线表数据进行空间定位去重，并更新点表数据与线表数据；步骤5：获取并保存步骤4更新后的点表数据与线表数据，相较于人工修复，从整体和系统的角度出发，结果准确度高，效率高，标准化模块程度高，处理时间短，提高效率的同时减少了数据处理的时间成本和人工成本。和人工成本。和人工成本。

【技术实现步骤摘要】
一种燃气管网拓扑中点表线表唯一性的修复方法与系统


[0001]本专利技术涉及燃气管网数据治理领域，具体涉及一种燃气管网拓扑中点表线表唯一性的修复方法与系统。

技术介绍

[0002]城市天然气管网地理信息系统(GIS)，包含天然气管网的拓扑数据，其代表着城市天然气管网系统数以百万计的用户和调压设施，如果这些数据存在偏差，天然气管网仿真结果就可能出现很大的偏差，燃气调度的数字化运营将会无法顺利进行，因此，保证GIS拓扑数据的准确性是天然气管网数字化运营的重要前提；GIS数据，一般由终端节点信息表（简称点表）和管网管道表（简称线表）构成，前者代表拓扑中各种类型的节点数据，点表中包含节点的ID、位置名称、属性、类型、坐标、高度等信息；后者代表连接节点的管道数据，线表中包含管道的ID、位置名称、管长、管径、壁厚、起点ID、终点ID、坐标等属性信息，同时点表与线表结合时，还能反映出天然气管网中的燃气流向；正常情况下，线表包含的所有节点与点表中的节点，其数量、ID、位置都必须完全一致，且具有唯一性，但最初的GIS数据是由人工记录，会不可避免的存在数据缺失或者数据不一致等情况，当线表上的点无法准确映射到点表中的点时，会影响到与之相连的多个节点和多条管道，然后会被倍数性的扩散，天然气管网仿真的边界条件赋值因此无法进行，反映在天然气管网数字化运营中就是一片管网出现异常，这是城市管理不能接受的情况，因此对这些数据进行修复是天然气管网仿真、数字化运营的基础准备任务；早期，为解决修复拓扑数据属性错误、缺失和无法映射等问题，只能由专职工作人员人工去修复，这种方式下在准确率和效率方面，无法满足数据治理的时效化需求；随着计算机技术的不断发展，开始普遍使用ARCGIS系统(绘制地图和地理信息的基础架构)来辅助人工修复拓扑数据，但当数据量很大时，人工修复犯错率和漏查率会增大，同时对人员能力要求较高。

技术实现思路

[0003]本专利技术要解决的技术问题是早期，为解决修复拓扑数据属性错误、缺失和无法映射等问题，只能由专职工作人员人工去修复，这种方式下在准确率和效率方面，无法满足数据治理的时效化需求，本专利技术提供一种燃气管网拓扑中点表线表唯一性的修复方法，本专利技术还提供一种燃气管网拓扑中点表线表唯一性的修复系统，能够提高效率的同时减少了数据处理的时间成本和人工成本，为天然气管网仿真奠定了基础，从而加速了天然气管网数字化运营的推进，用以解决现有技术导致的缺陷。
[0004]为解决上述技术问题本专利技术提供以下的技术方案：第一方面，一种燃气管网拓扑中点表线表唯一性的修复方法，其中，具体方法如下：
步骤1：获取点表数据与线表数据，并进行标准化处理；步骤2：对标准化处理后的所述点表数据与所述线表数据进行空值填充，并更新所述点表数据与所述线表数据；步骤3：对步骤2更新后的所述点表数据与所述线表数据进行ID去重，并更新所述点表数据与所述线表数据；步骤4：对步骤3更新后的所述点表数据与所述线表数据进行空间定位去重，并更新所述点表数据与所述线表数据；步骤5：获取并保存步骤4更新后的所述点表数据与所述线表数据。
[0005]上述的一种燃气管网拓扑中点表线表唯一性的修复方法，其中，步骤1中对所述点表数据与所述线表数据进行标准化处理的具体方法如下：对所述点表数据与所述线表数据中不符合要求格式的ID与坐标赋为空值；对所述点表数据与所述线表数据中包含字母、汉字、符号、乱码、不为大于0的自然数的ID赋为空值，且保留原ID；对所述点表数据与所述线表数据中不符合要求格式的坐标赋为空值，且保留原坐标，所述坐标的标准格式为全部大于0的自然数，其整数位为大于0的任意位自然数、小数位为大于0的3位自然数，末位为0的时候，显示前两位数字。
[0006]上述的一种燃气管网拓扑中点表线表唯一性的修复方法，其中，步骤2中采用随机差值、插值、模拟、填充、回滚中任一种或几种的组合对所述点表数据与所述线表数据进行空值填充。
[0007]上述的一种燃气管网拓扑中点表线表唯一性的修复方法，其中，采用随机差值对所述点表数据与所述线表数据进行空值填充的具体方法如下：步骤21：对所述点表数据与所述线表数据中具有空值的ID字段进行空值填充，若无空值则不进行填充，填充方法如下：随机生成N个自然数，用所述N个数和剔除空值后所述ID字段的个数进行差集计算得到差值记为C1，用所述C1里的数对所述ID字段进行空值填充，已使用过的数不能再被使用，N为指定天然气管网中的节点数量；步骤22：采用坐标值匹配对所述线表数据中具有空值的source字段、target字段进行空值填充，若无空值则不进行填充，填充方法如下：若所述线表数据中所述source字段或所述target字段的空值对应的坐标在所述点表数据中的坐标中也存在，则将所述点表数据中对应ID值填充到所述线表数据中对应的位置，若匹配到多个ID值，则选择Assign_type字段为1且出现频次最高的ID值，若该ID值有多个，则选择Missing_status字段为0的ID值，若该ID值有多个，则选择Repair_status字段中取值最小的ID值，若该ID值有多个，则在Remark字段中填入复核标记DC；步骤23：对所述点表数据中具有空值的坐标进行填充，填充方法如下：若所述点表数据中ID字段的值在所述线表数据中source字段和target字段中出现，则将所述线表数据中对应的坐标填充到所述点表数据中具有空值的坐标中，若匹配到多个坐标，则选择Assign_type字段为1且出现频次最高的坐标，若该坐标有多个，则选择Missing_status字段为0的坐标，若该坐标有多个，则选择Repair_status字段中取值最小的坐标，若该坐标有多个，则在Remark字段中填入复核标记DC；
步骤24：对所述线表数据中具有空值的坐标进行填充，填充方法如下：若所述线表数据中source字段和target字段在所述点表数据中ID字段中出现，则将所述点表数据中对应坐标填充到所述线表数据中具有空值的坐标中，若匹配到多个坐标，则选择Assign_type字段为1且出现频次最高的坐标，若该坐标有多个，则选择Missing_status字段为0的坐标，若该坐标有多个，则选择Repair_status字段中取值最小的坐标，若该坐标有多个，则在Remark字段中填入复核标记DC；步骤25：检查空值填充后的所述点表数据和所述线表数据，对仍然为空值的ID值或坐标值的Delete_status字段赋值为1，得到更新后的所述点表数据与所述线表数据。
[0008]上述的一种燃气管网拓扑中点表线表唯一性的修复方法，其中，所述点表数据中的坐标包含xcoordinate字段、ycoordinate字段；所述线表数据中的坐标包含x_source字段、y_source字段、x_target字段、y_target字段。
[0009]上述的一种燃气管网拓扑中点表线表唯一性的修复方法，其中，步骤3中对步骤2更新后的所述点表数据与所述线表数据进行ID去重的具体方法如下：对所述点表数据与所述线表数据中的点表ID、线表本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种燃气管网拓扑中点表线表唯一性的修复方法，其特征在于，具体方法如下：步骤1：获取点表数据与线表数据，并进行标准化处理；步骤2：对标准化处理后的所述点表数据与所述线表数据进行空值填充，并更新所述点表数据与所述线表数据；步骤3：对步骤2更新后的所述点表数据与所述线表数据进行ID去重，并更新所述点表数据与所述线表数据；步骤4：对步骤3更新后的所述点表数据与所述线表数据进行空间定位去重，并更新所述点表数据与所述线表数据；步骤5：获取并保存步骤4更新后的所述点表数据与所述线表数据。2.如权利要求1中所述的一种燃气管网拓扑中点表线表唯一性的修复方法，其特征在于，步骤1中对所述点表数据与所述线表数据进行标准化处理的具体方法如下：对所述点表数据与所述线表数据中不符合要求格式的ID与坐标赋为空值。3.如权利要求2中所述的一种燃气管网拓扑中点表线表唯一性的修复方法，其特征在于，步骤2中采用随机差值、插值、模拟、填充、回滚中任一种或几种的组合对所述点表数据与所述线表数据进行空值填充。4.如权利要求3中所述的一种燃气管网拓扑中点表线表唯一性的修复方法，其特征在于，采用随机差值对所述点表数据与所述线表数据进行空值填充的具体方法如下：步骤21：对所述点表数据与所述线表数据中具有空值的ID字段进行空值填充，填充方法如下：随机生成N个自然数，用所述N个数和剔除空值后所述ID字段的个数进行差集计算得到差值记为C1，用所述C1里的数对所述ID字段进行空值填充，已使用过的数不能再被使用，N为指定天然气管网中的节点数量；步骤22：采用坐标值匹配对所述线表数据中具有空值的source字段、target字段进行空值填充，填充方法如下：若所述线表数据中所述source字段或所述target字段的空值对应的坐标在所述点表数据中的坐标中也存在，则将所述点表数据中对应ID值填充到所述线表数据中对应的位置，若匹配到多个ID值，则选择Assign_type字段为1且出现频次最高的ID值，若该ID值有多个，则选择Missing_status字段为0的ID值，若该ID值有多个，则选择Repair_status字段中取值最小的ID值，若该ID值有多个，则在Remark字段中填入复核标记DC；步骤23：对所述点表数据中具有空值的坐标进行填充，填充方法如下：若所述点表数据中ID字段的值在所述线表数据中source字段和target字段中出现，则将所述线表数据中对应的坐标填充到所述点表数据中具有空值的坐标中，若匹配到多个坐标，则选择Assign_type字段为1且出现频次最高的坐标，若该坐标有多个，则选择Missing_status字段为0的坐标，若该坐标有多个，则选择Repair_status字段中取值最小的坐标，若该坐标有多个，则在Remark字段中填入复核标记DC；步骤24：对所述线表数据中具有空值的坐标进行填充，填充方法如下：若所述线表数据中source字段和target字段在所述点表数据中ID字段中出现，则将所述点表数据中对应坐标填充到所述线表数据中具有空值的坐标中，若匹配到多个坐标，则
选择Assign_type字段为1且出现频次最高的坐标，若该坐标有多个，则选择Missing_status字段为0的坐标，若该坐标有多个，则选择Repair_status字段中取值最小的坐标，若该坐标有多个，则在Remark字段中填入复核标记DC；步骤25：检查空值填充后的所述点表数据和所述线表数据，对仍然为空值的ID值或坐标值的Delete_status字段赋值为1，得到更新后的所述点表数据与所述线表数据。5.如权利要求4中所述的一种燃气管网拓扑中点表线表唯一性的修复方法，其特征在于，步骤3中对步骤2更新后的所述点表数据与所述线表数据进行ID去重的具体方法如下：对所述点表数据与所述线表数据中的点表ID、线表ID、线表Source ID、线表Target ID任选1
‑
4个进行自身去重后，再对所述点表ID、所述线表ID、所述线表Source ID、所述线表Target ID之间去重；或对所述点表ID、所述线表ID、所述线表Source ID、所述线表Target ID同步去重；为减少修复次数，某种ID自身去重应不晚于不同种ID之间的去重。6.如权利要求5中所述的一种燃气管网拓扑中点表线表唯一性的修复方法，其特征在于，所述点表ID自身去重的方法如下：随机生成N个自然数，将N个自然数和剔除重复后的点表ID做差集记为CN，将CN中的数对所述点表数据中重复的ID进行替换，N为指定天然气管网中的节点数量；所述线表ID自身去重的方法如下：随机生成M个自然数，将M个自然数和剔除重复后的线表ID做差集记为PN，将PN中的数对所述线表数据中重复的I...

【专利技术属性】
技术研发人员：王文波，王子峥，栾星，黄培健，栾东晓，
申请(专利权)人：上海叁零肆零科技有限公司，
类型：发明
国别省市：