本发明专利技术涉及数据处理技术领域，提出了一种大数据集成分析平台，包括：控制终端，是系统的主控端，用于发出执行命令；构建模块，用于构建数据传输通道；接收模块，用于接收构建模块下级设置的子模块储存单元中储存的数据内容，并在接收后将数据内容向处理模块发送；处理模块，用于识别数据内容的属性；本发通过构建数据传输通道为系统端用户在传输数据时配置数据传输通道的方式，确保了数据的传输环境更加安全，并且进一步的为系统在进行数据内容接收处理时设计了数据内容的接收逻辑，使得数据内容在由该系统处理时，处理过程更加稳定，不易发生错误。发生错误。发生错误。
【技术实现步骤摘要】
一种大数据集成分析平台
[0001]本专利技术涉及数据处理
，具体的，涉及一种大数据集成分析平台。
技术介绍
[0002]数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
[0003]在企业中，由于开发时间或开发部门的不同，往往有多个异构的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合，从而形成了"信息孤岛"。随着信息化应用的不断深入，企业内部、企业与外部信息交互的需求日益强烈，急切需要对已有的信息进行整合，联通“信息孤岛”，共享信息。
[0004]并且，对于目前的数据储存技术，往往通过在数据储存时建立数据根录的方式来对存储的数据进行管理，随储存数据的增加，用户在储存的数据中搜寻所需数据的过程较为缓慢，在数据储存前对数据通常不被处理直接储存，这导致数据储存的过程存在风险，且储存的数据中存在的较多僵尸数据占用储存空间。
技术实现思路
[0005]本专利技术提出一种大数据集成分析平台，解决了相关技术中的一种大数据集成分析平台问题。
[0006]本专利技术的技术方案如下：一种大数据集成分析平台，包括：控制终端，是系统的主控端，用于发出执行命令；构建模块，用于构建数据传输通道；接收模块，用于接收构建模块下级设置的子模块储存单元中储存的数据内容，并在接收后将数据内容向处理模块发送；处理模块，用于识别数据内容的属性；数据库，用于获取处理模块运行识别的数据内容属性，参考数据内容属性对接收模块向处理模块发送的数据内容进行区分储存；调用模块，用于系统端用户读取或下载数据库中储存的数据内容；储存单元在对数据内容进行储存后，同步获取储存数据的来源数据传输通道，根据储存数据的来源数据传输通道生成数据储存拓扑图像，系统端用户通过数据储存拓扑图像对储存单元中储存的数据进行其对应的来源数据传输通道的查找。
[0007]更进一步的，所述构建模块下级设置有子模块，包括：认证单元，用于认证系统端用户身份信息；
储存单元，用于储存系统端用户通过构建模块构建的数据传输通道传输的数据内容；其中，系统端用户在进行身份信息认证时，将身份信息在控制终端上传，认证单元于控制终端上读取系统端用户上传的身份信息对系统端用户进行确认，并在确认后提供构建模块构建的数据传输通道，系统端用户通过数据传输通道向储存单元传输数据内容。
[0008]更进一步的，所述存储单元于系统中运行时，在系统运行应用的网络中构建云端数据库，云端数据库于系统运行过程中实时接收储存单元储存的数据内容并在此对数据内容进行储存；其中，云端数据库中储存的数据内容，由系统端用户通过认证单元认证身份信息后于控制终端上对云端数据库进行访问及数据读取。
[0009]更进一步的，所述接收模块内部设置有子模块，包括：逻辑单元，用于设计接收模块在接收储存单元中储存的数据内容时的运行逻辑；其中，逻辑单元设计的运行逻辑通过系统端用户手动编辑进行设定，且运行逻辑的设计内容包括：单次接收数据内容的大小、接收数据内容的周期、接收模块触发条件。
[0010]更进一步的，所述处理模块下级设置有子模块，包括：分析单元，用于分析数据内容的格式；识别单元，用于识别数据内容存在的文件夹；溯源单元，用于获取数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道；其中，识别单元在识别到数据内容存在的文件夹后，对文件夹对应数据内容向溯源单元发送，所述识别单元于系统运行过程中持续运行，直至接收模块单次接收并向处理模块发送的数据内容均得到数据内容存在的文件夹的识别后停止运行，溯源单元跟随识别单元同步运行。
[0011]更进一步的，所述处理模块运行时同步跳转其下级设置的子步骤运行，通过系统端用户手动设定对分析单元或识别单元、溯源单元择一参与系统运行或三者都参与系统运行；其中，分析单元分析的数据内容格式与溯源单元运行获取到的数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道均为数据内容的属性。
[0012]更进一步的，所述数据库于系统中呈离线设置，数据库在每次处理模块运行结束后连接网络，并在网络连接后接收处理模块中由接收模块发送的数据内容，在数据内容完成接收后，断开网络连接；其中，数据库在对数据内容储存后，同步对储存单元中储存的对应的数据内容进行删除，并在数据库再次运行再接储存数据内容时，进一步对云端数据库中储存的对应上一次数据库在储存数据内容时的数据内容进行删除。
[0013]更进一步的，所述调用模块运行时，同步跳转认证单元，通过认证单元认证系统端用户身份信息，在身份信息认证通过后访问系统，通过控制终端获取数据库联网操作权限，在数据库连接网络后对数据库中储存的数据内容进行读取或下载。
[0014]更进一步的，所述调用模块在运行时，同步对调用模块的运行数据进行记载，根据记载的调用模块的运行数据分析数据库储存的数据内容读取、下载活跃度，并进一步设定
活跃度评价阈值及评价周期，根据评价周期应用活跃度评价阈值对不符合活跃度评价阈值的数据内容进行删除。
[0015]更进一步的，所述控制终端通过介质电性连接有构建模块，所述构建模块下级通过介质电性连接有认证单元及储存单元，所述构建模块通过介质电性连接有接收模块，所述接收模块内部通过介质电性连接有逻辑单元，所述接收模块通过介质电性连接有处理模块，所述处理模块下级通过介质电性连接有分析单元、识别单元及溯源单元，所述处理模块通过介质电性连接有数据库及调用模块，所述调用模块通过介质电性与认证单元相连接。
[0016]本专利技术的有益效果为：1、本专利技术提供一种大数据集成分析平台，其通过构建数据传输通道为系统端用户在传输数据时配置数据传输通道的方式，确保了数据的传输环境更加安全，并且进一步的为系统在进行数据内容接收处理时设计了数据内容的接收逻辑，使得数据内容在由该系统处理时，处理过程更加稳定，不易发生错误。
[0017]2、本专利技术中系统在运行的过程中，通过储存单元、云端数据库及离线数据库的分别设置，使得系统在接收数据内容后，在对数据进行处理前能分别储存于不同的储存位置，从而确保系统处理数据的过程更加安全。
[0018]3、本专利技术中系统在运行过程中，还能对数据内容进行不同逻辑的属性分析，从而将分析得到的数据内容属性提供至系统及系统用户端使用，以便于数据内容在进行区别储存时具备更多的储存逻辑，并且该系统还能对系统处理后储存管理的数据内容进行活跃度分析，并根据活跃度分析结果对数据内容进行删除处理，以便于系统运行储存管理的数据内容更加贴合系统端用户使用需求，不易长时间的储存无用数据内容。
附图说明
[0019]下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种大数据集成分析平台，其特征在于，包括：控制终端（1），是系统的主控端，用于发出执行命令；构建模块（2），用于构建数据传输通道；接收模块（3），用于接收构建模块（2）下级设置的子模块储存单元（22）中储存的数据内容，并在接收后将数据内容向处理模块（4）发送；处理模块（4），用于识别数据内容的属性；数据库（5），用于获取处理模块（4）运行识别的数据内容属性，参考数据内容属性对接收模块（3）向处理模块（4）发送的数据内容进行区分储存；调用模块（6），用于系统端用户读取或下载数据库（5）中储存的数据内容；所述接收模块（3）内部设置有子模块，包括：逻辑单元（31），用于设计接收模块（3）在接收储存单元（22）中储存的数据内容时的运行逻辑；其中，逻辑单元（31）设计的运行逻辑通过系统端用户手动编辑进行设定，且运行逻辑的设计内容包括：单次接收数据内容的大小、接收数据内容的周期、接收模块（3）触发条件；所述处理模块（4）下级设置有子模块，包括：分析单元（41），用于分析数据内容的格式；识别单元（42），用于识别数据内容存在的文件夹；溯源单元（43），用于获取数据内容传输目标对应的位置信息及在数据内容进行传输时所应用的数据传输通道；其中，识别单元（42）在识别到数据内容存在的文件夹后，对文件夹对应数据内容向溯源单元（43）发送，所述识别单元（42）于系统运行过程中持续运行，直至接收模块（3）单次接收并向处理模块（4）发送的数据内容均得到数据内容存在的文件夹的识别后停止运行，溯源单元（43）跟随识别单元同步运行；储存单元（22）在对数据内容进行储存后，同步获取储存数据的来源数据传输通道，根据储存数据的来源数据传输通道生成数据储存拓扑图像，系统端用户通过数据储存拓扑图像对储存单元（22）中储存的数据进行其对应的来源数据传输通道的查找。2.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述构建模块（2）下级设置有子模块，包括：认证单元（21），用于认证系统端用户身份信息；储存单元（22），用于储存系统端用户通过构建模块（2）构建的数据传输通道传输的数据内容；其中，系统端用户在进行身份信息认证时，将身份信息在控制终端（1）上传，认证单元（21）于控制终端（1）上读取系统端用户上传的身份信息对系统端用户进行确认，并在确认后提供构建模块（2）构建的数据传输通道，系统端用户通过数据传输通道向储存单元（22）传输数据内容。3.根据权利要求1所述的一种大数据集成分析平台，其特征在于，所述存储单元（22）于系统中运行时，在系统运行应用的网络中构建云端数据库，云端数据库于系统运行过程中实时接收储存单元（22）储存的数据内...
【专利技术属性】
技术研发人员：赵根恒，陈天敏，曹会阳，王东旭，李辉，
申请(专利权)人：河北信服科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。