基于一张表的分布式数据管理及应用方法技术

本发明专利技术公开了本发明专利技术公开一种基于一张表的分布式数据管理及应用方法，1）搭建云端系统，并将该云端系统与外部的若干平台链接获取其后代数据；2）基于对象在云端系统中提交的身份信息，由系统解析并确定对象的身份标签和身份索引词；3）由云端系统根据身份索引词在若干平台上搜索并获取到包含身份索引词的相关身份索引数据，将身份索引数据汇总至系统中；4）再通过云端系统将身份索引数据进行语义解析获取关键词，对解析后的数据打上对应的关键词的标签；5）在云端系统中根据存储的表格模板的项目分别确定对应的关键词，将具有相同关键词的数据按照该项目的格式要求处理后与表格模板中的对应项目进行链接从而生成该对象的信息表格进行展示。息表格进行展示。息表格进行展示。

【技术实现步骤摘要】
基于一张表的分布式数据管理及应用方法


[0001]本专利技术属于大数据
，具体涉及基于一张表的分布式数据管理及应用方法。

技术介绍

[0002]目前，我国的社区信息化服务建设正在进入一个更加深入、更加扎实的新的阶段。社会信息化服务需求旺盛。“智慧社区”服务体系发展战略，通过整合街道管理和服务运行的关键信息，探索社会管理、社区服务、惠民兴业的发展新途径，打造管理精确化、服务人文化、运行社会化、手段信息化、工作规范化、技术现代化的现代街道工作运行新模式。
[0003]智慧社区是指通过利用各种智能技术和方式，整合社区现有的各类服务资源，为社区群众提供政务、商务、娱乐、教育、医护及生活互助等多种便捷服务的模式。从应用方向来看，“智慧社区”应实现“以智慧政务提高办事效率，以智慧民生改善人民生活，以智慧家庭打造智能生活，以智慧小区提升社区品质”的目标。智慧社区是社区管理的一种新理念，是新形势下社会管理创新的一种新模式。智慧社区是指充分利用物联网、云计算、移动互联网等新一代信息技术的集成应用,为社区居民提供一个安全、舒适、便利的现代化、智慧化生活环境,从而形成基于信息化、智能化社会管理与服务的一种新的管理形态的社区。“智慧社区”建设能够有效推动经济转型，促进现代服务业发展。
[0004]当下的社区服务中，会存在诸多事务性工作，需要统计和收集社区居民的信息，以便开展对应的服务。例如，针对社区内的低保家庭的关怀服务、社区内残障人士的关爱服务、社区大学生就业奖励、社区失业人员补助以及防疫抗疫工作等。这些事务性工作中，常规的办事流程是，先需要居民自行到社区办公地点填写和提供相应的证明文件，然后社区工作人员建立对应的档案，再根据档案信息进行接下来的流程。或者针对于行动不便的居民，会由社区工作人员上门进行信息填写和证明文件的取得，则导致现有的社区管理体系下诸多服务开展效率较低。且由于社区的服务项目并不固定，会根据政策的变化而调整，每年都会有新的服务项目，针对的群体也会变化，则每次采集的信息并不能作为下次项目使用。则应用上述中所述的智慧社区的解决方案，在社区中建立一套信息化的管理系统，能够提高服务效率，并针对这种不固定的项目，可通过采用低代码平台这种可随时轻量化编辑进行板块扩展和调整的技术，来实现对应的功能。
[0005]但现有的智慧社区在搭建时，为了满足数据存储的要求，会新建或者租赁诸多的服务器搭建云平台的硬件框架。这种成本较高，且每个社区的居民较多，如上述内容中所述，社区的服务项目本身会随着政策的改变而不断的变化，每年都有诸多新的项目开展，同时类似新冠疫情这种突发性事件，会赋予社区更多的职能要求。而以往的数据一般并不会删除，则要满足所有社区（尤其是一二线大城市）的系统搭建需求，只增加服务器数量会导致数据冗余过多，建立和维护成本过高，无法满足现有需求。

技术实现思路

[0006]为了解决现有技术存在的问题，本专利技术提供基于一张表的分布式数据管理及应用方法。
[0007]本专利技术所采用的技术方案为：第一方面，本专利技术公开一种基于一张表的分布式数据管理及应用方法，用于对若干平台的数据进行收集，并生成单个表格进行展示，S1.搭建云端系统，并将该云端系统与外部的若干平台链接获取其后台数据；S2.基于对象在云端系统中提交的身份信息，由系统解析并确定对象的身份标签和身份索引词；S3.由云端系统根据身份索引词在若干平台上搜索并获取到包含身份索引词的相关身份索引数据，将身份索引数据汇总至系统中；S4. 再通过云端系统将身份索引数据进行语义解析并获得该段身份索引数据的关键词，并对解析后的数据打上对应的关键词的标签；S5.在云端系统中根据存储的表格模板的项目分别确定对应的关键词，将具有相同关键词的数据按照该项目的格式要求处理后与表格模板中的对应项目进行链接从而生成该对象的信息表格进行展示。
[0008]需要说明的是，该方法是基于云端系统进行数据索引和存储形成表格在先查看的方式，旨在通过优化数据搜索和存储步骤，能够在较低的硬件规格下实现较多的数据处理和缓存。该云端系统只是用于指代该系统是属于线上系统，能够通过网络连接不同的平台，同时使用者也可以在不同的终端设备上登录该云端系统进行对应操作，本专利技术主要限定的是基于该云端系统模式进行数据传输和存储的方法。
[0009]还需要说明的是，身份索引数据是对从各个平台上传输过来的检索数据的统称，而这些数据包括多个数据包，语义解析模块是预设在系统中的程序，能够将每个数据包的数据进行处理，确定每个数据包中的数据最具代表性的词汇，则将该词汇作为关键词并打上标签，便于后面与表格模板中的对应关键词匹配。
[0010]结合第一方面，本专利技术提供第一方面的第一种实施方式，步骤S3中，在接收到身份索引数据后先暂存在云端系统中，当表格制作完成后，会由系统将表格发送至对象的终端设备或线上存储地址中，并在发送完成后将对应的表格数据删除。
[0011]结合第一方面的第一种实施方式，本专利技术提供第一方面的第二种实施方式，在步骤S4中，先将身份索引数据暂存在云端系统中；在完成步骤S5后，对暂存的身份索引数据进行调整，仅保留与表格模板对应的关键词的身份索引数据的来源和节点信息；在步骤S6中，当云端系统完成表格制作并发送给对象的指定存储终端或线上存储地址后，将信息表格的数据删除，然后将该对象的身份索引数据的来源和节点信息打上对象标签后保存。
[0012]结合第一方面的第一种实施方式，本专利技术提供第一方面的第三种实施方式，在步骤S1中，先在链接的若干平台上设置有存储单元，在云端系统中设有缓存单元；在步骤S3据对象的身份索引词进行数据检索时，将对应平台中检索到的身份索引数据同时存储在该平台的存储单元和云端系统的缓存单元中；
在步骤S4中，当云端系统确认从该平台索引的数据被录入信息表格后，便由云端系统将该对象的身份标签传输至对应平台上建立该对象的数据档案，并将带有该身份标签的对应身份索引数据存储在该平台的存储单元中作为数据档案，同时将暂存在云端系统缓存单元中的身份索引数据删除。
[0013]结合第一方面的第一种实施方式，本专利技术提供第一方面的第四种实施方式，在步骤S1中，先在链接的若干平台上设置有存储单元，在云端系统中设有缓存单元；在步骤S3中，当云端系统在根据对象的身份索引词进行数据检索时，将对应平台中检索到的数据同时存储在该平台的存储单元和云端系统的缓存单元中；在步骤S4中，当云端系统确认从该平台索引的数据被录入信息表格后，便由系统将该对象的身份标签传输至对应平台上建立该对象的数据档案；由云端系统将本次索引的身份索引数据的节点信息提出，将提出的节点信息作为来源链接信息并与身份标签匹配发送至对应平台的存储单元中作为该对象的数据档案。
[0014]结合第一方面的第一至四种实施方式，本专利技术提供第一方面的第五种实施方式，在步骤S1中，在云端系统内注册两种用户，即普通用户和管理用户，其中普通用户在获取到表格时所保存的身份索引数据的来源连接信息，会在管理用户制作表格时在获取到普通用户的许可后被利用获取对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于一张表的分布式数据管理及应用方法，用于对若干平台的数据进行收集，并生成单个表格进行展示，其特征在于：S1.搭建云端系统，并将该云端系统与外部的若干平台链接获取其后代数据；S2.基于对象在云端系统中提交的身份信息，由系统解析并确定对象的身份标签和身份索引词；S3.由云端系统根据身份索引词在若干平台上搜索并获取到包含身份索引词的相关身份索引数据，将身份索引数据汇总至系统中；S4. 再通过云端系统将身份索引数据进行语义解析并获得该段身份索引数据的关键词，并对解析后的数据打上对应的关键词的标签；S5.在云端系统中根据存储的表格模板的项目分别确定对应的关键词，将具有相同关键词的数据按照该项目的格式要求处理后与表格模板中的对应项目进行链接从而生成该对象的信息表格进行展示。2.根据权利要求1所述的基于一张表的分布式数据管理及应用方法，其特征在于：步骤S3中，在接收到身份索引数据后先暂存在云端系统中，当表格制作完成后，会由系统将表格发送至对象的终端设备或线上存储地址中，并在发送完成后将对应的表格数据删除。3.根据权利要求2所述的基于一张表的分布式数据管理及应用方法，其特征在于：在步骤S4中，先将身份索引数据暂存在云端系统中；在完成步骤S5后，对暂存的身份索引数据进行调整，仅保留与表格模板对应的关键词的身份索引数据的来源和节点信息；在步骤S6中，当云端系统完成表格制作并发送给对象的指定存储终端或线上存储地址后，将信息表格的数据删除，然后将该对象的身份索引数据的来源和节点信息打上对象标签后保存。4.根据权利要求2所述的基于一张表的分布式数据管理及应用方法，其特征在于：在步骤S1中，先在链接的若干平台上设置有存储单元，在云端系统中设有缓存单元；在步骤S3据对象的身份索引词进行数据检索时，将对应平台中检索到的身份索引数据同时存储在该平台的存储单元和云端系统的缓存单元中；在步骤S4中，当云端系统确认从该平台索引的数据被录入信息表格后，便由云端系统将该对象的身份标签传输至对应平台上建立该对象的数据档案，并将带...

【专利技术属性】
技术研发人员：陈飞，刘育川，
申请(专利权)人：成都了了科技有限公司，
类型：发明
国别省市：