一种基于数据平台的数据控制方法技术

技术编号:8765559 阅读:246 留言:0更新日期:2013-06-07 22:48
本发明专利技术公开了一种基于数据平台的数据控制方法,包括:获取多个数据平台的数据并整合,整合后的数据包括数据平台的用户数据及数据项的原始数据,且整合后的数据包括对用户行为的多维度描述以及对数据项的多维度描述,并包含线上和线下的数据;对整合后的数据采用分布式处理框架的方式处理并进行归一化、规范化和数据清洗操作,归一化操作是指对数值数据进行归一化操作;规范化操作是指将数据结构化地组织,保持数据完整性并减少冗余,增进数据的一致性;数据清洗操作是指针对不完整数据、错误数据、重复数据进行数据清洗;提取处理后的数据并展示。本发明专利技术通过新的数据控制方式提高了数据搜索的速度。

【技术实现步骤摘要】

【技术保护点】
一种基于数据平台的数据控制方法,其特征在于,包括:获取多个数据平台的数据并对其进行整合,其中将用户信息统一为全局唯一标识,将数据项信息统一为全局唯一标识;其中,整合后的数据包括数据平台的用户数据及数据项的原始数据,且整合后的数据包括对用户行为的多维度描述以及对数据项的多维度描述,并包含线上和线下的数据;对整合后的数据采用分布式处理框架的方式进行处理,并对整合后的数据通过归一化、规范化和数据清洗操作进行处理,其中归一化操作是指对数值数据进行归一化操作;规范化操作是指将数据结构化地组织,保持数据完整性并减少冗余,增进数据的一致性;数据清洗操作是指针对不完整数据、错误数据、重复数据进行数据清洗;提取...

【技术特征摘要】

【专利技术属性】
技术研发人员:苏萌柏林森张韶峰陈浪仙龚亮李渭民
申请(专利权)人:北京千分点信息科技有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1