一种数据智能分析和自动化运营的方法技术

本发明专利技术公开了一种数据智能分析和自动化运营的方法，它涉及数据处理技术领域。配置管理，解析业务数据库，建立数据连接；脱机环境中，定时执行bash脚本，业务归类；集成datav看板，读取配置分析维度，检索符合的数据，渲染为集合历史阶段性统计的数据看板；设定岗位信息排序比重；执行bi

【技术实现步骤摘要】
一种数据智能分析和自动化运营的方法


[0001]本专利技术涉及的是数据处理
，具体涉及一种数据智能分析和自动化运营的方法。

技术介绍

[0002]目前，市面上有很多类似的数据智能分析、数据可视化及提取平台，但针对中小微企业不够友好，同时高额的维护成本和缺乏专业开发人员的支持，都使得中小企业望而却步。现有技术普遍采用Kettle开源ETL工具，纯Java编写，绿色无需安装，数据抽取高效稳定(数据迁移工具)，可以在Windows、Linux、Unix上运行，数据抽取高效稳定；各种数据放到一个壶里，然后以一种指定的格式流出。但存在以下缺点：
[0003](1)Kettle是将所有的数据集合集中存放到一个仓库中，无形中增加了数据维护的复杂度与难度，且数据仓库单一，无法更好的延伸以及扩展；
[0004](2)缺乏数据可视化操作以及对数据进行更改部署的操作，无法根据企业自身独特需求做到定制化服务；
[0005](3)数据提取阶段无法提供详细的说明资料，需要对元数据有深入的了解才可使用此工具；
[0006](4)数据提取安全性无法做强制性校验，存在数据被盗取的风险。
[0007]为了解决上述问题，开发一种数据智能分析和自动化运营的方法尤为必要。

技术实现思路

[0008]针对现有技术上存在的不足，本专利技术目的是在于提供一种数据智能分析和自动化运营的方法，实现中小企业的内部数据整合，降低数据提取难度，延伸和扩展性强，安全性高，提升实时性决策能力，提高企业整体的工作效率，成本低，易于推广使用。
[0009]为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种数据智能分析和自动化运营的方法，其步骤为：
[0010](1)采用HOCON(Human
‑
Optimized Config Object Notation)进行配置管理；
[0011](2)利用java读取名为database.conf(数据源配置)，解析当前系统内业务数据库，建立数据操作连接；
[0012](3)脱机环境中，定时执行bash脚本，以业务归类，将不同库表的同类业务涉及数据字段归集到一个表中存储至ES；
[0013](4)集成datav看板，依据dimension.conf(分析维度配置)读取配置分析维度，通过ES检索符合的数据，通过datav渲染为集合历史阶段性统计的数据看板；
[0014](5)通过配置sort
‑
percent.conf设定岗位信息排序比重；
[0015](6)依据集合数据动态调整各维度所占比重，执行bi
‑
analyse.sh脚本，依据比重算法对筛选的结果集做分类排序；
[0016](7)通过数据同步插件maxwell将脱机环境的排序数据同步至指定的环境，最后上
传至线上数据库，展示到应用中，同步重复上述步骤(1)
‑
(5)的操作，动态灵活调整岗位投放效果；
[0017](8)通过第(4)步执行生成的数据支持导出提取操作，供群体决策投放岗位类别及顺序，导入到看板平台后执行第(6)步操作；
[0018](9)记录数据更新及数据提取log日志，对数据变更及提取溯源。
[0019]作为优选，所述的步骤(2)中配置database.conf文件，其中
[0020]#mysql
[0021]db
‑
mysql
‑
url：数据库链接url
[0022]db
‑
mysql
‑
user：数据库登录指令
[0023]db
‑
mysql
‑
pwd：数据库登录密钥
[0024]db
‑
mysql
‑
swich：是否开启mysql连接(0：否1是)
[0025]#ES
[0026]db
‑
es
‑
user：连接指令用户
[0027]db
‑
es
‑
pwd：连接密钥
[0028]db
‑
es
‑
address：es部署访问地址
[0029]db
‑
es
‑
swich：是否开启es连接
[0030]#mongodb
[0031]db
‑
mg
‑
user：连接指令用户
[0032]db
‑
mg
‑
pwd：连接密钥
[0033]db
‑
mg
‑
url：mongo数据库链接地址
[0034]db
‑
mg
‑
swich：是否开启mongodb连接
[0035]#HBase
[0036]db
‑
hb
‑
user：连接指令用户
[0037]db
‑
hb
‑
pwd：连接密钥
[0038]db
‑
hb
‑
url：HBase数据库链接地址
[0039]db
‑
hb
‑
swich：是否开启HBase连接。
[0040]作为优选，所述的步骤(4)中配置dimension.conf(分析维度配置0：否1：是)
[0041]di
‑
channel
‑
swich：渠道维度是否开启
[0042]di
‑
jobtype
‑
swich：岗位类型维度是否开启
[0043]di
‑
activeuser
‑
swich：活跃用户维度是否开启
[0044]di
‑
enrolleffect
‑
swich：报名效果维度是否开启
[0045]di
‑
joblike
‑
swich：岗位喜好度维度是否开启
[0046]di
‑
price
‑
swich：岗位报酬维度是否开启
[0047]#
……
其他维度可扩展。
[0048]作为优选，所述的步骤(5)中配置sort
‑
percent.conf(岗位排序涉及元数据字段及比重配置)
[0049]sort
‑
publishtime
‑
weight：时间发布所占算法比重
[0050]sort
‑
like
‑
weight：点赞量所占比重
[0051]sort<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据智能分析和自动化运营的方法，其特征在于，其步骤为：(1)采用HOCON进行配置管理；(2)利用java读取名为database.conf(数据源配置)，解析当前系统内业务数据库，建立数据操作连接；(3)脱机环境中，定时执行bash脚本，以业务归类，将不同库表的同类业务涉及数据字段归集到一个表中存储至ES；(4)集成datav看板，依据dimension.conf(分析维度配置)读取配置分析维度，通过ES检索符合的数据，通过datav渲染为集合历史阶段性统计的数据看板；(5)通过配置sort
‑
percent.conf设定岗位信息排序比重；(6)依据集合数据动态调整各维度所占比重，执行bi
‑
analyse.sh脚本，依据比重算法对筛选的结果集做分类排序；(7)通过数据同步插件maxwell将脱机环境的排序数据同步至指定的环境，最后上传至线上数据库，展示到应用中，同步重复上述步骤(1)
‑
(5)的操作，动态灵活调整岗位投放效果；(8)通过第(4)步执行生成的数据支持导出提取操作，供群体决策投放岗位类别及顺序，导入到看板平台后执行第(6)步操作；(9)记录数据更新及数据提取log日志，对数据变更及提取溯源。2.根据权利要求1所述的一种数据智能分析和自动化运营的方法，其特征在于，所述的步骤(2)中配置database.conf文件，其中#mysqldb
‑
mysql
‑
url：数据库链接urldb
‑
mysql
‑
user：数据库登录指令db
‑
mysql
‑
pwd：数据库登录密钥db
‑
mysql
‑
swich：是否开启mysql连接(0：否1是)#ESdb
‑
es
‑
user：连接指令用户db
‑
es
‑
pwd：连接密钥db
‑
es
‑
address：es部署访问地址db
‑
es
‑
swich：是否开启es连接#mongodbdb
‑
mg
‑
user：连接指令用户db
‑
mg
‑
pwd：连接密钥db
‑
mg
‑
url：mongo数据库链接地址db
‑
mg
‑
swich：是否开启mongodb连接#HBasedb
‑
hb
‑
user：连接指令用户db
‑
hb
‑
pwd：连接密钥db

【专利技术属性】
技术研发人员：王锐旭，张辉，王豪，
申请(专利权)人：广州九尾信息科技有限公司，
类型：发明
国别省市：