基于个人数据的采集处理及推送方法及系统技术方案

本发明专利技术提出了一种基于个人数据的采集处理及推送方法及系统，包括：由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据个人数据、基础数据和业务数据建立数据模型；当数据采集器监测到数据仓库中的数据发生变化时，查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；数据模型对待处理的数据进行数据识别和分类标记；数据调度器根据预设推送策略将个人数据库中的数据推送至用户的终端设备，并与终端设备进行交互反馈。本发明专利技术对个人数据进行统一标准维护，减少个人用户在业务数据流程周转的步骤，提高数据利用率。

【技术实现步骤摘要】
基于个人数据的采集处理及推送方法及系统
本专利技术涉及数据处理
，特别涉及一种基于个人数据的采集处理及推送方法及系统。
技术介绍
目前市面上数据的集成、转换、加载的方法建立之初时就统一规划、建立共享数据平台，这些平台通过业务系统和共享数据平台进行数据的清洗、集中和交换、提供数据源，主要是避免了业务系统间接、直接的数据交互，降低了数据传输的复杂度保证了数据的统一性和一致性。但是业务系统越多，要全面管理这些数据的难度就越大。第一，数据规模不断在扩大，数据的同步规则越来越复杂，管理成本越来越大；第二，数据质量不高，数据应用的有效性不高，导致有效数据却用不起来；第三，整个业务流程变更，新的业务随着业务的发展有所变化，因而对数据组织架构提出了新的要求。个人用户的问题变得千差万别，用户需求各不相同。业务系统变成数据孤岛，互不相通。利用个人数据需登录业务系统模块，系统越多、与“人”相关的数据就越多，要全面获取这些数据的难度就越大。但是系统越多，需要获得数据的难度越高，需要不断地去了解新的系统和应用。因此，数据中心的建设过程中，IT部门关注数据的整合过程，强调完整性和一致性。但是最容易被忽略的是，保留的数据和用户所需的数据，这两者之间的偏差无法一一对应。专利(申请号：201010206706.5；名称：读取、存储个人数据的方法和系统、终端、服务器)公开了一种通过将终端的个人数据存储在服务器上，每次使用个人数据时都通过鉴权从服务器下载的方案，可以提高用户终端个人数据使用的安全性。但是，该技术方案仍然没有解决个人数据在庞杂的业务系统中流转时，如何提高数据流转和利用效率。
技术实现思路
本专利技术的目的旨在至少解决所述技术缺陷之一。为此，本专利技术的目的在于提出一种基于个人数据的采集处理及推送方法及系统，对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。为了实现上述目的，本专利技术一方面的实施例提供了一种基于个人数据采集处理及推送方法，包括如下步骤：步骤S1，由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型，将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中；步骤S2，当所述数据采集器监测到所述数据仓库中的数据发生变化时，向数据调度器发送提示，所述数据调度器根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，并查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；步骤S3，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库；步骤S4，所述数据调度器根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。进一步，在所述步骤S1中，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。进一步，在所述步骤S2中，所述对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。进一步，在所述步骤S3中，将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。进一步，当满足以下至少一个条件时，所述数据模型触发重新优化功能：(1)所述数据模型处理的数据量超过预设数据量；(2)所述数据模型的数据处理速度超过预设速度；(3)所述数据模型处理的分类结果与用户得到的结果不一致。根据本专利技术实施例的基于个人数据的采集处理及推送方法，采用科学的规划，重新构建数据基础，以面向对象的方式有机组合所有的企业经营各种相关的数据资源。围绕着一个人，例如企业的员工、管理人员、策略人员等，融合各类属性的数据，逐渐建立个人数据库，向外界提供查询、定时推送等服务，也可以上传到各个数据的通道。同时，本专利技术对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。本专利技术另一方面的实施例提出一种基于个人数据的采集处理及推送系统，包括：数据采集器、数据调度器、数据模型器和个人数据库，其中，所述数据采集器用于以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型并存储至所述数据模型器中，所述数据采集器进一步将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中，当监测到所述数据仓库中的数据发生变化时，向所述数据调度器发送提示；所述数据调度器用于根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，从所述数据模型器中查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至所述个人数据库；所述数据调度器还用于根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。进一步，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。进一步，所述数据模型对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。进一步，所述数据模型将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。进一步，当满足以下至少一个条件时，所述数据模型触发重新优化功能：(1)所述数据模型处理的数据量超过预设数据量；(2)所述数据模型的数据处理速度超过预设速度；(3)所述数据模型处理的分类结果与用户得到的结果不一致。根据本专利技术实施例的基于个人数据的采集处理及推送系统，采用科学的规划，重新构建数据基础，以面向对象的方式有机组合所有的企业经营各种相关的数据资源。围绕着一个人，例如企业的员工、管理人员、策略人员等，融合各类属性的数据，逐渐建立个人数据库，向外界提供查询、定时推送等服务，也可以上传到各个数据的通道。同时，本专利技术对个人数据进行统一标准维护，可以减少个人用户在业务数据流程周转的步骤，提高数据利用率。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本专利技术实施例的基于个人数据的采集处理及推送方法的流程图；图2为根据本专利技术实施例的基于个人数据的采集处理及推送系统的结构图。具体实施方式下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。本专利技术提出一种基于个人数据的采集处理及推送方法及系统，针对个人的本文档来自技高网...

【技术保护点】
一种基于个人数据的采集处理及推送方法，其特征在于，包括如下步骤：步骤S1，由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型，将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中；步骤S2，当所述数据采集器监测到所述数据仓库中的数据发生变化时，向数据调度器发送提示，所述数据调度器根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，并查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；步骤S3，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库；步骤S4，所述数据调度器根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。

【技术特征摘要】
1.一种基于个人数据的采集处理及推送方法，其特征在于，包括如下步骤：步骤S1，由数据采集器以预设采集时间周期采集来自企业系统的内部数据和外部数据，从所述内部数据和外部数据中提取个人数据，以及从基本库和业务系统中采集基础数据和业务数据，根据所述个人数据、基础数据和业务数据建立数据模型，将采集到的所述基础数据、业务数据和个人数据存储至数据仓库中；步骤S2，当所述数据采集器监测到所述数据仓库中的数据发生变化时，向数据调度器发送提示，所述数据调度器根据发生变化的数据内容和数据量，对采集任务进行拆分，形成多个待处理的数据任务，并查找当前空闲的数据模型，并向查找到的数据模型发送数据处理指令；步骤S3，所述数据模型在接收到所述数据处理指令后，对待处理的数据进行数据识别以得到对应的个人属性，并对数据进行分类标记，再根据数据的分类标记进行数据间的关联处理，存储关联处理后的数据至个人数据库；其中，针对个人提供对业务数据的处理功能，采集和加载和个人相关的数据形成个人数据中心，结合个人的基本信息、权限策略、业务标签、自定义需求信息、业务交互信息、应用点击信息以及反馈信息，通过机器自动进行数据模型构建，训练数据模型、数据模型测试工作，将有效数据汇集到个人数据库；步骤S4，所述数据调度器根据预设推送策略将所述个人数据库中的数据推送至用户的终端设备，并与所述终端设备进行交互反馈。2.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，在所述步骤S1中，所述个人数据包括：基本信息、自定义需求信息、权限策略信息、业务交互信息、业务标签信息、应用点击信息、反馈信息。3.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，在所述步骤S2中，所述对采集任务进行拆分，包括：将所述采集任务根据等量大小进行平局分片，形成多个所述待处理的数据任务。4.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，在所述步骤S3中，将所述数据分类为：实时数据、告警数据、预测数据和业务问题数据。5.如权利要求1所述的基于个人数据的采集处理及推送方法，其特征在于，当满足以下至少一个条件时，所述数据模型触发重新优化功能：(1)所述数据模型处理的数据量超过预设数据量；(2)所述数据模型的数据处理速度超过预设速度；(3)所述数据模型处理的分类结果与用户得到的结果不一致。6.一种基于个人数据的...

【专利技术属性】
技术研发人员：张健，董恒，
申请(专利权)人：北京凯行同创科技有限公司，
类型：发明
国别省市：北京;11