【技术实现步骤摘要】
一种在大数据平台上打包发布的方法和系统
本专利技术涉及计算机实施的数据开发任务的管理，特别地涉及数据开发任务的打包发布。
技术介绍
随着大数据时代的到来，数据越来越被企业所重视。数据的开发过程需要基础服务。随着大数据开发平台的出现，解决了开发工具的问题。但是数据开发又是一个相对严谨的过程，由于数据的敏感性，能够接触到真正数据的人员往往不是真正的数据开发人员。虽然现有技术的大数据平台普遍提供了数据开发过程中的异构实体(任务、资源、函数、算子等)的发布操作，但发布过程相对简陋，并且发布过程不可控，不能进行版本管理。例如，现有技术的大数据平台通常需要对开发过程中产生的异构实体在不同的环境中进行复制和管理。当不同的人员进入不同的工作环境(包括开发空间，发布空间)后，看到的任务、数据是跟当前环境的数据配置相关(例如跟Hadoop分布式文件系统(HDFS)集群信息相关)。基于此现状，就需要在开发、测试、生产环境进行实体的发布和审核操作。当前普遍做法是一次只对单个实体进行发布操作。如果针对简单的开发任务，这一方法可行，但是对于复杂的开发任务而言，往往开发一个数据处理流程会包含多...
【技术保护点】
1.一种大数据平台上的打包发布的方法，包括：(1)从多个异构实体创建发布包；和(2)发布所述发布包。
【技术特征摘要】
1.一种大数据平台上的打包发布的方法，包括：(1)从多个异构实体创建发布包；和(2)发布所述发布包。2.根据权利要求1所述的方法，其中，步骤(1)进一步包括：在创建所述发布包之前，解析所述多个异构实体之间的依赖关系，然后根据所述依赖关系校验所述多个异构实体中每一个实体所依赖的其他实体是否已存在于要被创建的所述发布包中，其中，如果所述校验操作不通过，则返回失败的信息，如果所述校验操作通过，则创建所述发布包。3.根据权利要求1所述的方法，其中，步骤(1)进一步包括：为所述多个异构实体中的每一个实体生成对应的提交记录。4.根据权利要求3所述的方法，其中，所述提交记录包括所述多个异构实体中对应实体的发布版本号。5.根据权利要求1所述的方法，还包括：(3)在所述发布操作后，查询所述发布包内的信息，所述信息包括所述发布包的修改点、发布内容、发布版本、此次发布内容与发布空间内当前存在的内容的差异中的至少一个。6.根据权利要求1所述的方法，其中，步骤(2)进一步包括：(a)审核所述发布包；(b)如果通过所述审核，则发布所述发布包，并且如果未通过所述审核，则拒绝发布所述发布包，并且将所述发布包内返回待发布列表。7.根据权利要求6所述的方法，其中，步骤(2)进一步包括：(c)修改所述待发布列表中的所述发布包并将其提交进行发布，然后执行步骤(a)。8.根据权利要求1所述的方法，其中，步骤(2)进一步包括：在所述发布操作后，如果发布空间内不存在与该发布包中一实体对应的实体，则将该实体复制并存入所述发布空间。9.根据权利要求1所述的方法，其中，步骤(2)进一步包括：按照所述多个异构实体之间的依赖关系来顺序发布各实体。10.一种从大数据平台上的发布空间内删除实体的方法，其中，所述发布空间内存在根据从多个异构实体创建的发布包而发布的实体，所述方法包括：(1)在开发空间内断开待删除的实体与其他实体之间的依赖关系；(2)重新校验依赖关系，如果校验通过则创建对应的发布包，然后继续到步骤(3)，如果校验未通过则返回步骤(1)；和(3)发布所述发布包。11.根据权利要求10所述的方法，其中，所创建的所述发布包中包含待发布的实体的版本号以及提交记录。12.根据权利要求10所述的方法，其中，步骤(3)进一步包括：在所述发布空间内，删除所述待删除的实体，解析各个实体的依赖关系并按与步骤(1)和(2)相同的操作修改所述依赖关系。13.根据权利要求12所述的方法，其中，在所述修改操作后更新仍保留在所述发布空间内的实体的版本号。14.一种从大数据平台上的发布空间内回滚实体的方法，其中所述发布空间内存在根据从多个异构实体创建的发布包而发布的实体，所述方法包括：(1)确定待进行回滚操作的第一实体；(2)回滚所述第一实体；和(3)回滚与所述第一实体存在依赖关系的实体。15.根据权利要求14所述的方法，其中，步骤(3)进一步包括：(a)判断是否存在依赖所述第一实体的第二实体；和(b)如果不存在所述第二实体，则所述回滚操作结束，如果存在所述第二实体，则回滚所述第二实体，并对所述第二实体迭代执行步骤(a)。16.根据权利要求14所述的方法，其中，步骤(3)进一步包括：(a)判断是否存在所述第一实体所依赖的第三实体；和(b)如果不存在所述第三实体，则...
【专利技术属性】
技术研发人员：渠项栋，
申请(专利权)人：杭州数澜科技有限公司，
类型：发明
国别省市：浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。