一种基于大数据的企业政策智能推荐及政策制定系统技术方案

本发明专利技术属于大数据处理技术领域，特别涉及一种基于大数据的企业政策智能推荐及政策制定系统，数据源归集为支撑平台搭建提供所需数据；计算平台采用阿里云的实时数据服务和离线数据服务的相关组件资源处理千万级别的政务数据运转；特征平台构建离线数据仓库和实时数据仓库对离线数据和实时数据进行数据清洗、治理、开发；数据存储平台对特征平台处理过的离线数据和实时数据进行存储；推荐平台包括训练推荐算法模型和构建推荐引擎；标签平台服务于管理端，用户在标签平台上实现标签选择和标签制定；应用平台实现对企业的精准政策推荐和辅助政策的制定。本发明专利技术能够实现政策精准推荐，同时有助于政策制定者制定政策。同时有助于政策制定者制定政策。同时有助于政策制定者制定政策。

【技术实现步骤摘要】
一种基于大数据的企业政策智能推荐及政策制定系统


[0001]本专利技术属于大数据处理及人工智能
，特别涉及一种基于大数据的企业政策智能推荐及政策制定系统。

技术介绍

[0002]政策是政府层面为了实现一些任务目标而采取一些方法的步骤和具体措施。为了促进经济发展和推动行业进步，国家及地方政府时常会发布一些企业奖补。但是对于政务来讲，最核心的两个业务问题就是政策如何制定和制定的政策如何第一时间推送给企业。可是在实现以上的业务问题中，对于政务侧来讲，政务数据是千万级的，对于千万级的数据调度，治理，开发和使用也是需要面对的技术问题。对于企业用户来说，企业用户在业务系统中产生的实时数据，对于实时数据在千万级大数据背景的结合，则是需要考虑到的另一难题。除此之外，政策制定的过程中还需要面对政策分析的场景，面对大量的企业信息如何有效的了解企业关系对于政策制定来说，则是重要环节。而政策制定完成后，如何精准的实现政策推荐并对企业实现“千人千面”这种定制化有针对性的推荐，则更是需要解决的问题。
[0003]针对以上问题，现有技术中，目前最为先进且常用方式为搭建标签平台，通过从大数据工具如HIVE、Hbase等获取相关企业信息的数据源，进行数据开发形成特征宽表，再将特征宽表存储到ElasticSearch及Mysql等数据库内。通过在标签平台完成对数据特征的选择和组装后，从ElasticSearch及Mysql中进行相关数据提取，获取完成条件的信息。政府侧根据标签平台选择标签完成政策制定，获取企业推演，从而实现政策制定后符合条件的企业信息推演，管理端也可通过标签平台输入相关标签，了解符合企业信息条件的政策。但是，目前此方法仍存在一些弊端，采用ElasticSearch进行存储，根据特征标签的选择，能够实现秒级获取满足标签的相关企业信息结果。但是决策者在推演过程中，可能还想要掌握制定的标签条件中各个企业哪些标签满足，哪些标签不满足。利用elasticsearch就没办法满足要求。可是不使用elasticsearch存储，利用mysql数据进行计算，面对百万或者千万级别的数据则可能会出现计算时间长，CPU占用率高影响其他业务等问题。而企业侧使用标签平台获取相关政策信息，却只能获取标签平台已有的标签完成政策推荐，过于单一，推荐多样性差等问题。

技术实现思路

[0004]针对现有技术中存在的问题，本专利技术提出一种基于大数据的企业政策智能推荐及政策制定系统，解决了千万级政务大数据在业务系统中计算和存储的问题，能够实现政策精准推荐，同时有助于政策制定者制定政策。
[0005]为了实现上述目的，本专利技术采用以下的技术方案：
[0006]本专利技术提供了一种基于大数据的企业政策智能推荐及政策制定系统，包括数据源归集、计算平台、特征平台、数据存储平台、推荐平台、标签平台和应用平台；
[0007]数据源归集，为支撑平台搭建提供所需数据；
[0008]计算平台，采用阿里云的实时数据服务和离线数据服务的相关组件资源处理千万级别的政务数据运转；
[0009]特征平台，构建离线数据仓库和实时数据仓库对离线数据和实时数据进行数据清洗、治理、开发；
[0010]数据存储平台，对特征平台处理过的离线数据和实时数据进行存储；
[0011]推荐平台，训练推荐算法模型和构建推荐引擎；
[0012]标签平台，服务于管理端，用户在标签平台上实现标签选择和标签制定；
[0013]应用平台，基于以上的平台基础，实现对企业的精准政策推荐和辅助政策的制定。
[0014]进一步地，所述数据源归集的数据由三部分来源组成，第一部分为政务数据中市场监督管理局的相关数据，第二部分为企业用户在该系统中自身产生的用户日志信息，第三部分为政策相关信息。
[0015]进一步地，所述计算平台包含用于离线计算的MaxCompute和Dataworks，用于实时计算的DataHub和Blink，以及用于数据同步的数据传输服务DTS。
[0016]进一步地，离线数据仓库使用的离线数据计算底层为MaxCompute，数据治理及开发工具为Dataworks对数据进行清洗、加工、治理，再进行数据开发生成离线主题特征模型，待离线主题特征模型开发完成，再将离线主题特征模型存储至关系型数据库Mysql中；
[0017]所述离线数据仓库分为五层，第一层是原始数据层STG，第二层是基础资源层ODS，第三层是数据主题层DWD，第四层是数据汇总层DWS，第五层是数据应用层ADM。
[0018]进一步地，实时数据仓库使用的实时数据计算底层为DataHub，数据治理及开发工具为Blink；利用数据传输服务DTS将数据从数据库Mysql中进行增量拉取，再利用Blink对数据进行实时计算开发，将开发后的实时主题特征模型存储至分析型数据库AnalyticDB中。
[0019]进一步地，所述数据存储平台包括关系型数据库Mysql、搜索引擎Elasticsearch、图像数据库Neo4j和分析型数据库AnalyticDB；其中关系型数据库Mysql作为业务库，支撑系统业务数据的存储，搜索引擎Elasticsearch用于标签平台中组合标签的计算及存储，图像数据库Neo4j用于企业知识图谱构建，并在政策制定环节中的企业关系可视化分析中实现透出；分析型数据库AnalyticDB存储实时数据。
[0020]进一步地，基于数据存储平台中存储的数据，在服务器ECS上采用深度学习中WDL的模型进行训练，得到推荐算法模型；构建推荐引擎包括冷启动、召回、粗排、精排、重排和AB实验，其中推荐算法模型提供的预测服务在精排中进行透出。
[0021]进一步地，标签选择包括：用户通过选择标签，实现对多个标签的组合，系统根据标签组合获取对应数据；标签制定包括：标签制定过程，完成对设计出标签的分析，既可以探查标签下数据的统计分析，也可以完成不同标签组合完成画像的制定；并利用机器学习实现智能标签生成。
[0022]进一步地，应用平台实现以下应用流程：
[0023]通过用户日志信息和推荐平台，实现对企业的精准政策推荐；
[0024]政策制定者通过后台管理端对标签的组合选择，得到满足标签的相关企业明细及统计信息，从而辅助政策的制定；
[0025]后台管理端手动通过政策与标签绑定的冷启动方式，实现规则标签推荐，从而满足被绑定标签的企业，被推荐到标签对应的政策。
[0026]与现有技术相比，本专利技术具有以下优点：
[0027]1、从业务角度来讲，本专利技术的整体业务框架将政策推荐和政策制定相结合，既可以服务企业端精准被推荐有关政策，又可以辅助政府端专家政策制定，政策推演和分析。
[0028]2、从大数据角度来讲，本专利技术将大数据场景下的离线数据流转方式和实时数据流转方式相结合，保证数据能够高效快速的进行数据计算和查询，能够有效的支撑目前的业务场景。
[0029]3、从智能角度来讲，本专利技术将深度学习中推荐算法模型应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的企业政策智能推荐及政策制定系统，其特征在于，包括数据源归集、计算平台、特征平台、数据存储平台、推荐平台、标签平台和应用平台；数据源归集，为支撑平台搭建提供所需数据；计算平台，采用阿里云的实时数据服务和离线数据服务的相关组件资源处理千万级别的政务数据运转；特征平台，构建离线数据仓库和实时数据仓库对离线数据和实时数据进行数据清洗、治理、开发；数据存储平台，对特征平台处理过的离线数据和实时数据进行存储；推荐平台，训练推荐算法模型和构建推荐引擎；标签平台，服务于管理端，用户在标签平台上实现标签选择和标签制定；应用平台，基于以上的平台基础，实现对企业的精准政策推荐和辅助政策的制定。2.根据权利要求1所述的基于大数据的企业政策智能推荐及政策制定系统，其特征在于，所述数据源归集的数据由三部分来源组成，第一部分为政务数据中市场监督管理局的相关数据，第二部分为企业用户在该系统中自身产生的用户日志信息，第三部分为政策相关信息。3.根据权利要求1所述的基于大数据的企业政策智能推荐及政策制定系统，其特征在于，所述计算平台包含用于离线计算的MaxCompute和Dataworks，用于实时计算的DataHub和Blink，以及用于数据同步的数据传输服务DTS。4.根据权利要求3所述的基于大数据的企业政策智能推荐及政策制定系统，其特征在于，离线数据仓库使用的离线数据计算底层为MaxCompute，数据治理及开发工具为Dataworks对数据进行清洗、加工、治理，再进行数据开发生成离线主题特征模型，待离线主题特征模型开发完成，再将离线主题特征模型存储至关系型数据库Mysql中；所述离线数据仓库分为五层，第一层是原始数据层STG，第二层是基础资源层ODS，第三层是数据主题层DWD，第四层是数据汇总层DWS，第五层是数据应用层ADM。5.根据权利要求4所述的基于大数据的企业政策智能推荐及政策制定系统，其特征在于，实时数据仓库使用的实时数据计算底层为DataHub，数据治理...

【专利技术属性】
技术研发人员：杨昊天，张帆，叶艳，李嘉欣，郝亮，王超然，
申请(专利权)人：数字郑州科技有限公司，
类型：发明
国别省市：