一种大数据存储系统技术方案

本发明专利技术实施例提供了一种大数据存储系统，所述系统包括：数据采集模块，所述数据采集模块可以根据用户以往历史浏览、购买记录等行为进行数据采集；计算模块，所述数据采集模块采集的数据经过计算后转化为计算机语言；数据库，用于存储所述数据采集模块采集的数据经过所述计算模块转化的计算机语言；操作系统，通过所述操作系统，可以调用所述数据库中存储的信息，并发送数据库中的数据至云计算；云计算，接收待计算的数据，并进行计算处理。应用本发明专利技术的实施例，可以根据大数据的处理设备能够提升网站的广告传播的精准度和商城商品展示的精准度。

【技术实现步骤摘要】
一种大数据存储系统
本专利技术涉及电子
，尤其涉及一种大数据存储系统。
技术介绍
近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。随着网络技术和电商平台的日趋完善，消费者对电商平台的口碑评价越来越关注，也使得电商平台口碑评价成为打造电商品牌的重要途径。网民对电商舆情的关注焦点主要集中在电商价格、商品质量、物流速度、售后服务等方面。为此有电商，如京东，对所在网站的文本数据进行舆情分析，以达到更加了解客户需求，主流偏好等信息。对于舆情分析第一步首先是通调查和深入访谈的形式，了解客户需求，确定研究方向；第二步则对客户关注该电商平台的所有关键词进行筛选，锁定关键词；接下来的第三步是通过中心自有监测平台采集抓取主题型关键词关注的百万级网民信息；第四步是将行业关键词放到监测框中进行筛选，获取具有行业属性的信息；第五步以行业特征数据分析基础，研究该群体对于某电商平台的关注特征；第六步依据研究结果，归纳研究结论，撰写行业研究报告。相比于线下零售，电子商务网站具备非常吩咐的客户历史数据。通过这些数据的分析，能够进一步了解客户的购物习惯、兴趣爱好和购买意愿，并可以对客户群体进行细分，从而正对不同的用户对服务经行调整和优化，进行有针对性的广告营销和推送，实现个性化服务。大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网(www.netcoc.com)；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城(www.pedemall.com)。随着科技技术的进步,全球的数据量呈几何级数逐年递增,其数据资源的庞大，导致了数据存储系统的复杂化，如何对获取的数据进行自动分类整理，筛选掉无光紧要的数据，成为大数据存储中亟待解决的技术问题。
技术实现思路
本专利技术实施例的目的在于提供一种大数据存储系统，以根据大数据的处理设备能够提升网站的广告传播的精准度和商城商品展示的精准度。为了达到上述目的，本专利技术实施例提供了一种大数据存储系统，所述系统包括：依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块。可选的：所述数据整合模块分别对各种属性的数据进行数据清洗，排除异常数据；所述数据交换模块分别对各种属性的数据缺失值进行交换和补充。可选的：所述数据管理模块用于根据属性对数据进行分类管理；所述时间同步模块统一对各种属性的数据进行时间校准。可选的：所述数据转换及清理模块分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集；所述数据精度校验模块8按照预定的预测模型进行数据进行精度校验。可选的：所述异构数据同步模块用于获取多源采集的多种属性的数据，并根据时钟同步信号按照相应属性进行存储。可选的：所述数据整合模块分别对各种属性的数据进行数据清洗，排除异常数据。可选的：所述数据交换模块分别对各种属性的数据缺失值进行交换和补充。可选的：所述数据转换及清理模块分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集。有益效果：本专利技术实施例提供的一种大数据存储系统，依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块大数据的处理设备是结合了当前大数据技术的各种解决方案基础上，形成简洁高效的技术处理手段。适用于中小企业，媒体平台、电商平台，性价比较高，可以满足日常经营所需的数据分析支持，帮助企业更好的获得收益。能够将分散的、不同类型的，不同标准的数据进行有效的除重筛选和整合。本专利技术能够有效地保证数据质量的同时，提高数据采样速度和处理准确性从而提高了预测精度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的大数据的处理设备的第一种结构示意图。图2是本专利技术提供的大数据的处理设备的第二种结构示意图。图3是本专利技术提供的大数据的处理设备的第三种结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。下面通过具体实施例，对本专利技术进行详细的说明。依次连接的异构数据同步模块1、数据整合模块2、数据交换模块3、数据管理模块4、时间同步模块5、数据转换及清理模块6、数据抽取和装载模块7和数据精度校验模块8。进一步的，所述异构数据同步模块1用于获取多源采集的多种属性的数据，并根据时钟同步信号按照相应属性进行存储。进一步的，所述数据整合模块2分别对各种属性的数据进行数据清洗，排除异常数据。进一步的，所述数据交换模块3分别对各种属性的数据缺失值进行交换和补充。进一步的，所述数据转换及清理模块分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集。所述异构数据同步模块1用于获取多源采集的多种属性的数据，并根据时钟同步信号按照相应属性进行存储。所述数据整合模块2分别对各种属性的数据进行数据清洗，排除异常数据。所述数据交换模块3分别对各种属性的数据缺失值进行交换和补充。所述数据管理模块4根据属性对数据进行分类管理。所述时间同步模块5统一对各种属性的数据进行时间校准。所述数据转换及清理模块6分别对各种属性的数据进行样本数据抽取，去除冗余数据提取精简数据集。数据精度校验模块8按照预定的预测模型进行数据进行精度校验。本专利技术能够通过异构数据同步模块1对异构数据进行同步，数据整合模块2对不同数据进行整合，数据交换模块3对数据进行交互，数据管理模块4和数据转换及清理模块5支持RAID创建、CIFS，NFS，FTP共享应用的数据存储进行有效转换成统一标准格式存储，并通过数据抽取和装载模块6进行统一格式封装。从而实现对结构化和非结构化数据的统一管理和存储。本专利技术实施例提供的实施例，依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块大数据的处理设备是结合了当前大数据技术的各种解决方案基础上，形成简洁高效的技术处理手段。适用于中小企业，媒体平台、电商平台，性价比较高，可以满足日常经营所需的数据分析支持，帮助企业本文档来自技高网...

【技术保护点】
1.一种大数据存储系统，其特征在于，所述系统包括：依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块。

【技术特征摘要】
1.一种大数据存储系统，其特征在于，所述系统包括：依次连接的异构数据同步模块、数据整合模块、数据交换模块、数据管理模块、时间同步模块、数据转换及清理模块、数据抽取和装载模块和数据精度校验模块。2.根据权利要求1所述的一种大数据存储系统，其特征在于：所述数据整合模块分别对各种属性的数据进行数据清洗，排除异常数据；所述数据交换模块分别对各种属性的数据缺失值进行交换和补充。3.根据权利要求1所述的一种大数据存储系统，其特征在于：所述数据管理模块用于根据属性对数据进行分类管理；所述时间同步模块统一对各种属性的数据进行时间校准。4.根据权利要求1所述的一种大数据存储系统，其特征在于：所述数据转换及清理模块分别对各种属性的数据进行样...

【专利技术属性】
技术研发人员：郑英，
申请(专利权)人：广东聚晨知识产权代理有限公司，
类型：发明
国别省市：广东,44