【技术实现步骤摘要】
任务生成方法、系统和存储介质
本专利技术涉及大数据处理
，特别是涉及一种任务生成方法、系统和存储介质。
技术介绍
视频统计功能中的自由维度数据是通过查询麒麟(kylin)任务得到的，而麒麟任务的数据来源于hive表，其统计指标包括播放量、推荐量、评论量、涨粉量等，而这些数据都是来源于BI(BusinessIntelligence，商业智能)团队，首先需要同步BI数据到hive表，然后再根据这些hive表构建麒麟任务。现有技术中，同步BI数据的操作和构建麒麟任务的操作是隔离的，当同步完BI数据后，麒麟任务并不知道已经完成BI数据同步，这样就需要由用户时刻关注同步BI数据的任务，并手动触发麒麟任务的构建，极其浪费人力，而且由于由人工关注同步任务，有可能导致在同步任务完成后不能及时关注到的问题，从而不能及时构建麒麟任务，降低了任务生成的效率。
技术实现思路
鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种任务生成方法、系统和存储介质。依据本专利技术的第一方面，提供了一种任务生成方法，包括：数据同步设备获取商业智能BI数据库中...
【技术保护点】
1.一种任务生成方法，其特征在于，包括：数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中；所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务。
【技术特征摘要】
1.一种任务生成方法，其特征在于，包括：数据同步设备获取商业智能BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中；所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备；任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务。2.根据权利要求1所述的方法，其特征在于，所述数据同步设备获取BI数据库中的预设指标数据，并将所述预设指标数据同步到数据仓库工具hive表中，包括：所述数据同步设备在所述BI数据库中预设时间的预设指标数据计算完成后，按照预设时间段长度，分时段获取所述BI数据库中的预设指标数据，并将所述预设指标数据同步到所述hive表中；所述数据同步设备在同步完成后，生成与所述预设指标数据对应的标记文件，并将所述标记文件保存到预设存储设备，包括：所述数据同步设备在每一时段的预设指标数据同步完成后，生成该时段预设指标数据对应的标记文件，并将该标记文件保存到预设存储设备。3.根据权利要求2所述的方法，其特征在于，所述任务生成设备对所述预设存储设备进行监控，当监控到所述标记文件生成时，调用任务生成接口，根据所述hive表生成与所述预设指标数据对应的响应式查询任务，包括：所述任务生成设备对所述预设存储设备进行监控，当监控到设定数量的连续时段对应的标记文件均生成时，调用任务生成接口，根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务。4.根据权利要求3所述的方法，其特征在于，所述任务生成设备调用任务生成接口，根据所述hive表生成与所述连续时段的预设指标数据对应的响应式查询任务，包括：所述任务生成设备调用任务生成接口，对所述hive表中所述连续时段的预设指标数据进行统计，并根据统计结果更新或新建与所述连续时段对应的数据段，并根据更新或新建后得到的数据段生成所述响应式查询任务。5.根据权利要求1所述的方法，其特征在于，所述任务生成设备对所述预设存储设备进行监控，包括：所述任务生成设备按照指定间隔时间检测所述预设存...
【专利技术属性】
技术研发人员：康林，段效晨，易帆，赵艳杰，秦占明，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。