数据建库及归集管理的方法及系统技术方案

本公开提出了一种数据建库及归集管理的方法及系统，涉及人工智能技术领域，包括：获取多个乡村的基本信息；对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。并对所述村镇任务的展示内容进行更新。并对所述村镇任务的展示内容进行更新。

【技术实现步骤摘要】
数据建库及归集管理的方法及系统


[0001]本公开涉及人工智能
，尤其涉及一种数据建库及归集管理的方法及系统。

技术介绍

[0002]随着中国经济的发展和城镇化进程的加快，乡村地区面临人口外流、农业结构性调整等问题，需要进行发展。为了有效推进发展，需要建立一套全面的数据体系，对于乡村的自然环境、人口、产业、设施等方面的数据进行系统归集和管理。这将有助于为乡村企业提供科学决策依据，推动乡村经济和社会发展。因而，如何进行科学、有效的数据建库，从而使得能够提高对数据的利用率，是目前需要解决的问题。

技术实现思路

[0003]本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
[0004]本公开第一方面实施例提出了一种数据建库及归集管理的方法，包括：获取多个乡村的基本信息；对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
[0005]本公开第二方面实施例提出了一种数据建库及归集管理的系统，包括：第一获取模块，用于获取多个乡村的基本信息；处理模块，用于对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；展示模块，用于在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；更新模块，用于获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。
[0006]本公开实施例中，首先获取多个乡村的基本信息，之后对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联，然后在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对目标数据集进行展示，最后获取村镇
任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。由此，通过获取多个乡村的基本信息，并进行数据清洗和标准化处理，可以更加全面地了解和管理乡村的发展状况，为制定村镇任务战略提供更为准确和全面的数据支持，可以更好地了解和管理乡村的基本信息，通过对处理后的基本信息进行分类和分级管理，并根据不同标准划分不同的数据集，在数据库中进行关联，可以使得数据管理更加清晰、高效，也更为容易进行跨数据集的统计计算和各类数据分析操作，从而可以优化数据管理方式，还可以提升数据使用价值，由于通过实施村镇任务，并从所述数据库中获取与所述村镇任务关联的目标数据集，并利用数据可视化工具对各个数据集进行展示，可以使得数据更具可读性和直观性，提升数据的使用价值，进而对推动村镇任务项目的实施和管理产生积极推动作用，并且可以及时更新村镇任务需求信息：通过获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新，可以保证数据集始终具有时效性，并可以灵活根据实际需求进行深入的分析工作。
[0007]本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
[0008]本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本公开实施例所提供的一种数据建库及归集管理的方法的流程图；图2为本公开实施例所提供的一种数据建库及归集管理的系统的结构框图。
具体实施方式
[0009]下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
[0010]下面参考附图描述本公开实施例的数据建库及归集管理的系统。
[0011]图1为本公开实施例所提供的数据建库及归集管理的方法的流程图。
[0012]如图1所示，该数据建库及归集管理的方法，包括：步骤101，获取多个乡村的基本信息。
[0013]其中，基本信息至少包含有常住人口、人口年龄结构、外出务工人数、返乡人数、各类用地面积、人居环境整治情况、产业发展情况、农产品价格信息,在此不做限定。
[0014]其中，多个乡村可以是同一个省份的，或者也可以是从不同的省份中筛选出来的，在此不做限定。
[0015]步骤102，对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联。
[0016]具体的，首先需要检查收集到的基本信息是否完整、准确和一致。可以通过对基本信息进行可视化和统计分析来识别可能存在的错误或缺失值。同时，还可以对不同来源的
数据进行比较，以确保它们之间一致，之后需要去除重复数据：重复的数据会影响数据的正确性和准确性，因此需要将其去除。可以采用自动化工具或手动去重方法来实现，如使用啤酒定理（Brewer's Law）等算法进行重复数据检测和去除。进一步地，还需要进行标准化数据格式：由于不同地区和部门收集的数据经常采用不同的格式和单位，因此需要对数据进行标准化处理以便后续处理。例如，统一使用国家标准的地理坐标表示方式，规范化街道、村庄名称等信息。之后，还需要处理数据中的缺失和异常值：对于数据缺失和异常值，可以采用插值或统计方法来填充或修正数据。此外，还可以使用数据挖掘技术或人工审核来发现并纠正潜在的错误或异常值，最后可以保存清洗后的数据，清洗完毕后，需要将数据保存在可靠的数据库中，以备后续使用。
[0017]具体的，在对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集时，可以首先将所述基本信息分为至少四个类型，所述至少四个类型包括现状普查数据集、村庄布点规划数据集、村庄规划数据集和整治规划数据集。
[0018]其中，所述现状普查数据集至少包含有经济现状、土地利用现状、村庄建设现状、历史文化资源现状、村庄建设需求、村落普查现状；其中，村庄布点规划数据集至少包含有村庄布点规划信息、生态保护规划信息、产业功能片区信息、新增住宅布局信息、开发密度分区信息和旅游分区规划信息；其中，村庄规划数据集至少包含功能分区本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据建库及归集管理的方法，其特征在于，包括：获取多个乡村的基本信息；对所述基本信息进行数据清洗和标准化处理，包括检查数据质量、去除错误或重复数据、统一数据格式，然后对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，之后将各个所述数据集在数据库中进行关联；在实施村镇任务的情况下，从所述数据库中获取与所述村镇任务关联的目标数据集，并基于数据可视化工具，对所述目标数据集进行展示；获取村镇任务的实时需求信息，并根据所述实时需求信息对所述数据库进行更新，并对所述村镇任务的展示内容进行更新。2.根据权利要求1所述的方法，其特征在于，其中，所述基本信息至少包含有常住人口、人口年龄结构、外出务工人数、返乡人数、各类用地面积、人居环境整治情况、产业发展情况、农产品价格信息,所述对处理后的基本信息进行分类和分级管理，根据不同标准划分不同的数据集，包括：将所述基本信息分为至少四个类型，所述至少四个类型包括现状普查数据集、村庄布点规划数据集、村庄规划数据集和整治规划数据集，其中，所述现状普查数据集至少包含有经济现状、土地利用现状、村庄建设现状、历史文化资源现状、村庄建设需求、村落普查现状；所述村庄布点规划数据集至少包含有村庄布点规划信息、生态保护规划信息、产业功能片区信息、新增住宅布局信息、开发密度分区信息和旅游分区规划信息；所述村庄规划数据集至少包含功能分区、用地规划、控规衔接信息、近期行动计划信息、住宅用地使用方案信息、历史文化保护信息；所述整治规划数据集至少包含整治规划布局信息和近期行动计划信息。3.根据权利要求1所述的方法，其特征在于，在所述将各个所述数据集在数据库中进行关联之后，还包括：根据所述村镇任务的实时需求信息，设计数据汇总表，其中，所述数据汇总表包括各个数据集的汇总字段、数据类型和统计方法，其中，所述村镇任务的实时需求信息至少包含农民生产经营信息、土地利用和保护信息、乡村公共基础设施建设信息、产业发展信息、乡村人口变化信息，其中，所述农民生产经营信息至少包含各类农作物的生产信息、畜牧水产养殖信息、劳动力和农技服务需求信息，所述土地利用和保护信息包括土地用途、集体土地流转、农村环境综合整治进展信息，所述乡村公共基础设施建设情况包括道路交通、水、电、气对应的基础设施的建设信息、更新信息、改造信息，以及在线教育及医疗公共服务设施强度信息、网络覆盖信息，所述产业发展信息包括乡村旅游、休闲娱乐、支持新型农业经营主体产业的发展信息、项目进展及需求信息，所述乡村人口变化信息包括年龄结构、户籍情况、人口流动信息、迁移信息、就业和创业情况信息，将各个所述数据集按照预设的设计规则导入到所述数据汇总表中；
使用SQL语言对所述数据汇总表进行统计分析，以生成数据分析报告。4.根据权利要求1所述的方法，其特征在于，还包括：按照指定的周期，获取与每个所述乡村对应的问卷调查结果，其中，所述问卷调查结果是与每个所述周期的所述村镇任务的实时需求信息关联的；对各个所述周期对应的所述问卷调查结果进行特征提取，以生成与每个所述周期对应的第一乡村发展特征；将各个所述周期的第一乡村发展特征输入至预先构建的神经网络模型中，以获取与每个所述乡村对应的第二乡村发展特征；根据每个所述乡村对应的第二乡村发展特征，获取与每个所述乡村关联的目标村镇任务策略。5.根据权利要求1所述的方法，其特征在于，在所述基于数据可视化工具，对各个所述数据集进行展示之后，还包括：获取多个用户对所述数据可视化工具的反馈信息；根据所述反馈信息，调整所述村镇任务的展示内容；响应于确定所述反馈信息的数量达到预设阈值，对所述反馈信息进行处理，以获取所述用户对所述村镇任务的反馈标签。6....

【专利技术属性】
技术研发人员：徐永坚，张皓瑛，周良友，李小霞，黄诗韵，廖丽珍，
申请(专利权)人：广东省科学院广州地理研究所，
类型：发明
国别省市：