智能化数据分析方法、存储介质及电子设备技术

本发明专利技术公开了一种智能化数据分析方法、存储介质及电子设备，该方法包括：数据采集、数据处理、AI情感模型训练与预测、数据分析、将总评信息与图片信息VS相似度对比，选择VS值最高的图片信息作为总评信息的关联评论，解决目前的评价结论无法充分展示产品真实状况的问题。评价结论无法充分展示产品真实状况的问题。评价结论无法充分展示产品真实状况的问题。

【技术实现步骤摘要】
智能化数据分析方法、存储介质及电子设备


[0001]本申请涉及数据分析领域，具体而言，涉及一种智能化数据分析方法、存储介质及电子设备。

技术介绍

[0002]随着数字化的发展，越来越多的客户会采用网上消费的方式满足日常生活，随之电商产业快速发展，但是由于各商家提供的产品质量、服务质量并无相应的统一标准，目前客户消费前会借鉴电商评论来决定是否进行消费。
[0003]随之产生了用户体验SaaS产品，能够为客户提供实时的行业全网平台商品销售客户评论分析结果，了解顾客对于所销售产品的反馈与满意度，进而更好地帮助企业对商品质量和服务进行有效的提升。
[0004]目前而言常规的用户体验SaaS产品中的数据分析方法，如申请号为：201510098508.4，公开了评价信息生成方法和装置，该评价信息生成方法包括：抓取信息点的评论数据；获取与所述信息点关联的用户个性信息；根据预置规则在所述评论数据中拆分出与所述用户个性信息类别匹配的评论短句；将所述评论短句组合成自然语言，生成评价信息。本专利技术实施例不仅避免了现有方法获得的由一个个独立标签构成的评价信息，通过生成包含评价信息的自然语言，提高了评价信息的可读性。而且，通过结合用户个性信息，可以为用户屏蔽到大量用户不关心的信息，直接提供用户所需的评价信息，使得评价信息更加简单直接，减少了干扰信息，同时也降低了用户获取所需信息的成本。
[0005]上述方案中虽然能够从完成数据分析，而且用户也能够获取所需的信息，但是用户获取的仅仅是文字信息，而由于每个客户的生活质量以及消费要求不同，同一个产品在不同客户之间会产生不一样的评价结果，因此仅仅基于文字评价无法能够精准地表达该产品在大众客户中评价结果，而且对于后续客户消费的参考也无法精准。

技术实现思路

[0006]本申请的主要目的在于提供一种智能化数据分析方法、存储介质及电子设备，解决目前的评价结论无法充分展示产品真实状况的问题。
[0007]为了实现上述目的，第一方面，本申请提供了一种智能化数据分析方法。
[0008]根据本申请的智能化数据分析方法，包括以下步骤：
[0009]S1、数据采集：基于信息点对与信息点相关联的电商评论数据进行采集，所采集的数据包括文字信息以及图片信息，并对未有关联的文字信息的图片信息进行筛分；
[0010]S2、数据处理：对采集的数据进行去重去垃圾处理；
[0011]S3、将筛分的图片信息转化为文字信息；
[0012]S4、AI情感模型训练与预测，对所有文字信息进行对应行业的AI情感模型训练工作，AI情感模型完成后，使用该模型对文字信息进行批量的AI情感预测形成评论信息；
[0013]S5、数据分析，将经过AI情感预测的评论信息依据中性评论、正向评论以及负向评
论进行归类，并进行数据统计，其中中性评论为该评论信息中正负向比例大于或等于预设阈值的评论信息，同时标注各评论中比例值最大的评论信息，将该类评论信息经过过滤、组合形成总评信息；
[0014]S6、将总评信息与图片信息VS相似度对比，选择VS值最高的图片信息作为总评信息的关联评论。
[0015]进一步改进的是，步骤S1中采用基于python语言编辑的网络爬虫进行数据采集。
[0016]进一步改进的是，步骤S3中AI情感模型中预设有同义的属性词表。
[0017]进一步改进的是，步骤S3中AI情感模型中预设有各场景的隐性观点词。
[0018]进一步改进的是，步骤S5中VS相似度对比为通过经过训练的视觉语义嵌入模型计算图像和文本之间的距离来衡量合成图像和文本之间的对齐，该模型的计算公式为其中ft表示的是文本编码器，fx表示的是图像编码器，VS表示计算编码后的文本和图像的余弦值相似度。
[0019]进一步改进的是，步骤S2中数据处理采用MQ将采集的文字信息中转落库至mysql数据库中，之后使用Java对数据进行初步的去重去垃圾数据处理。
[0020]进一步改进的是，步骤S4中采用了使用OLAP引擎技术的Apache Kylin数据库进行数据分析。
[0021]进一步改进的是，步骤S4中，所述数据统计包括柱状图或者表格。
[0022]第二方面，本申请还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述智能化数据分析方法的步骤。
[0023]第三方面，本申请还提供了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述智能化数据分析方法的步骤。
[0024]本专利技术提供的智能化数据分析方法，与现有技术相比，其有益效果为：该方法基于不仅具备现有的将电商评论进行情感分析后进行汇总能够提供给商家作为后续商品服务改善的参考依据，同时给出供选择客户参考的总评信息以及关联评论的图片，客户结合评论以及图片做出更为贴切的消费选择。
附图说明
[0025]构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0026]图1是智能化数据分析方法的流程示意图。
具体实施方式
[0027]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范
围。
[0028]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0029]在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。
[0030]并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能化数据分析方法，其特征在于，包括以下步骤：S1、数据采集：基于信息点对与信息点相关联的电商评论数据进行采集，所采集的数据包括文字信息以及图片信息，并对未有关联的文字信息的图片信息进行筛分；S2、数据处理：对采集的数据进行去重去垃圾处理；S3、将筛分的图片信息转化为文字信息；S4、AI情感模型训练与预测，对所有文字信息进行对应行业的AI情感模型训练工作，AI情感模型完成后，使用该模型对文字信息进行批量的AI情感预测形成评论信息；S5、数据分析，将经过AI情感预测的评论信息依据中性评论、正向评论以及负向评论进行归类，并进行数据统计，其中中性评论为该评论信息中正负向比例大于或等于预设阈值的评论信息，同时标注各评论中比例值最大的评论信息，将该类评论信息经过过滤、组合形成总评信息；S6、将总评信息与图片信息VS相似度对比，选择VS值最高的图片信息作为总评信息的关联评论。2.如权利要求1所述的智能化数据分析方法，其特征在于，步骤S1中采用基于python语言编辑的网络爬虫进行数据采集。3.如权利要求1所述的智能化数据分析方法，其特征在于，步骤S3中AI情感模型中预设有同义的属性词表。4.如权利要求1所述的智能化数据分析方法，其特征在于，步骤S3中AI情感模型中预设有各场景的隐性观点词。5.如权利要求1所述的智能化...

【专利技术属性】
技术研发人员：张宇，
申请(专利权)人：北京博晓通科技有限公司，
类型：发明
国别省市：