【技术实现步骤摘要】
一种基于大数据分析的电商数据存储平台
[0001]本专利技术涉及一种数据分析存储技术，尤其是涉及一种基于大数据分析的电商数据存储平台。
技术介绍
[0002]目前的电子商贸的数据存储管理中，主要是采用单一的商品出入库管理，来进行日常的电子商贸信息数据的管理，并未有能够获取多种信息数据，并根据网络电子商贸活动状况给予经营者经营管理意见的电商数据管理的方案，使得电商运营过程中，无法很好的管理已有数据，也无法很好的根据已有数据有效地进行分析。
技术实现思路
[0003]本专利技术解决的技术问题是提供一种基于大数据分析的电商数据存储平台，能够有效地获取和存储数据，并能够基于大数据分析为电商向用户推出商品推荐，提高业务效率和竞争力。
[0004]本专利技术的技术解决方案是：一种基于大数据分析的电商数据存储平台，其中，包括数据采集和清洗模块、数据存储和管理模块、数据分析和建模模块；所述数据采集和清洗模块，包括数据采集单元和数据清洗单元；所述数据采集单元用以采集商品相关数据，设有模拟用户行为的数据获取程序、API接...
【技术保护点】
【技术特征摘要】
1.一种基于大数据分析的电商数据存储平台，其特征在于，包括数据采集和清洗模块、数据存储和管理模块、数据分析和建模模块；所述数据采集和清洗模块，包括数据采集单元和数据清洗单元；所述数据采集单元用以采集商品相关数据，设有模拟用户行为的数据获取程序、API接口数据获取程序和日志数据获取程序；所述数据获取程序，在指定的电商网站上自动获取设定的待获取的时间、数据项目信息，存储至数据库中；所述API接口数据获取程序，根据电商网站提供的API接口，通过商品列表API接口获取指定商品的ID、名称、价格、库存和销量信息，通过订单API接口获取指定订单的ID、用户ID、商品ID和订单状态信息，存储至数据库中；所述日志数据获取程序，获取电商网站的日志文件，获取用户的IP地址、访问时间和访问页面的信息，以及解析点单日志文件，获取订单的ID、用户ID、商品ID和订单状态信息，存储至数据库中；所述数据清洗单元包括数据值处理程序、数据格式化程序、数据集成程序、数据去重程序和数据排序程序；所述数据存储和管理模块，包括数据库选择和数据库设计单元、数据库建表单元、数据导入单元、数据分区单元、数据索引单元、数据备份和恢复单元、数据安全和权限管理单元、数据监控和性能优化单元、数据迁移和升级单元；所述数据分析和建模模块，根据所述数据采集和清洗模块处理后的数据，分析用户购买行为和商品属性，建立商品推荐模型，用以提升用户购买转化率和销售额。2.如权利要求1所述的基于大数据分析的电商数据存储平台，其特征在于，所述数据采集单元的模拟用户行为的数据获取程序，包括模拟用户输入关键词搜索、获取搜索结果页面上的商品列表、商品名称、价格、评价和销量信息；以及模拟用户进入商品详情页面，获取商品描述、规格、图片、评论和优惠活动信息，并存储至数据库中。3.如权利要求1所述的基于大数据分析的电商数据存储平台，其特征在于，所述数据值处理程序包括删除无效数据程序、数据类型转换程序、缺失值处理程序和异常值处理程序；所述删除无效数据程序为删除包含错误值的数据的商品相关数据；所述数据类型转换程序为将内容分类相同的不同数据类型的数据值转换为指定数据类型的数据值；所述缺失值处理程序为将0或空白的数据值转换为与之含义相同的设定数据值；所述异常值处理程序为将不同项目的数据值为相同的数据值时，修改其中一个项目的数据值为统一格式的新的数据值；所述数据格式化程序为将数据格式调整为另一便于计算的数据格式；数据集成程序为将商品的多个数据项目归集为一个商品信息列；数据去重程序为删除存在重复的数据记录；所述数据排序程序为用以将商品相关数据按照一个设定规则排序。4.如权利要求1所述的基于大数据分析的电商数...
【专利技术属性】
技术研发人员：陈宇翔，林伟盛，林佳颖，安晓宇，
申请(专利权)人：深圳洽客科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。