基于多级数据通道的实时大数据处理方法及系统技术方案

本发明专利技术实施例涉及大数据技术领域，提供一种基于多级数据通道的实时大数据处理方法及系统

【技术实现步骤摘要】
基于多级数据通道的实时大数据处理方法及系统


[0001]本专利技术涉及大数据
，特别涉及一种基于多级数据通道的实时大数据处理方法及系统
。

技术介绍

[0002]多级数据通道（
Multi
‑
tier Data Channels
）是一种处理和管理数据流的方法，其中数据在从源头到目标的过程中通过多个处理和传输阶段
。
这些阶段可能包括数据的采集
、
预处理
、
存储
、
分析等步骤，每个阶段都可以被看作是一个独立的“通道”。
[0003]在多级数据通道模型中，每一级都具有特定的功能和责任
。
例如：数据采集：负责从各种源（如数据库
、
应用程序
、
网络
、
传感器等）收集原始数据；数据预处理：对收集到的数据进行清洗
、
格式化
、
验证等操作，以确保其质量和可用性；数据存储：将预处理后的数据保存在适当的存储系统（如数据库或数据仓库）中，以便后续处理和分析；数据分析：使用各种工具和技术（如
SQL
查询
、
数据挖掘
、
机器学习等）对存储的数据进行分析，提取有价值的信息和洞见；数据展示：将分析结果以易于理解的方式（如报表
、
图表
、
仪表板等）呈现给用户
。
[0004]通过将整个数据处理流程划分为多个阶段，多级数据通道不仅可以使数据处理更加有序和高效，而且还可以方便地对每个阶段进行单独的优化和调整
。
在实际应用过程中，多级数据通道可以应用在业务需求挖掘任务下，但是传统技术在进行业务需求挖掘时存在精度不高的问题
。

技术实现思路

[0005]为改善相关技术中存在的技术问题，本专利技术提供了一种基于多级数据通道的实时大数据处理方法及系统
。
[0006]第一方面，本专利技术实施例提供了一种基于多级数据通道的实时大数据处理方法，应用于大数据处理系统，所述方法包括：将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，所述第一多模态局部会话交互描述知识为所述若干个多模态局部会话交互描述知识中的任一个，所述若干个第二多模态局部会话交互描述知识包括所述第一多模态局部会话交互描述知识以及最少一个除所述第一多模态局部会话交互描述知识以外的剩余多模态局部会话交互描述知识；依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点
。
[0007]在一些方案中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态
局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量
。
[0008]在一些方案中，所述对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：依据所述第一多模态局部会话交互描述知识的会话索引向量和每个第二多模态局部会话交互描述知识的会话标识向量，确定所述第一多模态局部会话交互描述知识与每个所述第二多模态局部会话交互描述知识之间的特征牵涉分值；基于所述若干个第二多模态局部会话交互描述知识分别对应的若干个特征牵涉分值，对所述若干个第二多模态局部会话交互描述知识的会话属性向量进行量化集成，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量
。
[0009]在一些方案中，所述多模态局部会话交互描述知识的会话索引向量
、
会话标识向量和会话属性向量依据第一变量关系列表得到，所述方法还包括：在存在若干个第一变量关系列表的基础上，将依据所述若干个第一变量关系列表分别所得的
、
所述第一多模态局部会话交互描述知识对应的若干个会话行为嵌入向量进行特征组合和特征下采样，得到所述第一多模态局部会话交互描述知识对应的已优化会话行为嵌入向量
。
[0010]在一些方案中，所述若干个第二多模态局部会话交互描述知识包括所述第一多模态局部会话交互描述知识以及所述第一多模态局部会话交互描述知识的多模态关联会话交互描述知识，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：依据第一通道阶段数据集在所述实时业务会话数据流中的第一分布标签，确定与所述第一分布标签关联的第二分布标签，其中，所述第一多模态局部会话交互描述知识是对所述第一通道阶段数据集进行会话交互描述挖掘所得的；将对应于所述第二分布标签的第二通道阶段数据集对应的多模态局部会话交互描述知识，确定为所述多模态关联会话交互描述知识
。
[0011]在一些方案中，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：针对所述若干个通道阶段数据集中的每个通道阶段数据集，对所述通道阶段数据集的分布标签信息进行特征映射，得到分布表征变量，将所述分布表征变量叠加到所述通道阶段数据集的多模态局部会话交互描述知识，所述分布标签信息用于反映所述通道阶段数据集在所述实时业务会话数据流中的分布标签
。
[0012]在一些方案中，所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：
依据原始分类判别向量，确定第一基础会话索引向量，对所述第一基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到会话向量混淆结果，所述原始分类判别向量用于指示启动特征混淆处理；依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，对所述第二基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到后一个会话向量混淆结果，直到所得的会话向量混淆结果提示完成特征混淆；依据既有若干个会话向量混淆结果，确定所述目标用户活动事件的业务需求决策观点
。
[0013]在一些方案中，所述依据所述原始分类判别向量和既有会话向量混淆结果，确定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多级数据通道的实时大数据处理方法，其特征在于，应用于大数据处理系统，所述方法包括：将涵盖目标用户活动事件的实时业务会话数据流拆解成若干个通道阶段数据集，分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识；依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，所述第一多模态局部会话交互描述知识为所述若干个多模态局部会话交互描述知识中的任一个，所述若干个第二多模态局部会话交互描述知识包括所述第一多模态局部会话交互描述知识以及最少一个除所述第一多模态局部会话交互描述知识以外的剩余多模态局部会话交互描述知识；依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点
。2.
如权利要求1所述的方法，其特征在于，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量；其中，所述对所述第一多模态局部会话交互描述知识的会话索引向量以及每个第二多模态局部会话交互描述知识的会话标识向量和会话属性向量进行特征混淆，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量，包括：依据所述第一多模态局部会话交互描述知识的会话索引向量和每个第二多模态局部会话交互描述知识的会话标识向量，确定所述第一多模态局部会话交互描述知识与每个所述第二多模态局部会话交互描述知识之间的特征牵涉分值；基于所述若干个第二多模态局部会话交互描述知识分别对应的若干个特征牵涉分值，对所述若干个第二多模态局部会话交互描述知识的会话属性向量进行量化集成，得到所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量
。3.
如权利要求1所述的方法，其特征在于，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：依据第一通道阶段数据集在所述实时业务会话数据流中的第一分布标签，确定与所述第一分布标签关联的第二分布标签，其中，所述第一多模态局部会话交互描述知识是对所述第一通道阶段数据集进行会话交互描述挖掘所得的；将对应于所述第二分布标签的第二通道阶段数据集对应的多模态局部会话交互描述知识，确定为所述多模态关联会话交互描述知识
。4.
如权利要求1所述的方法，其特征在于，所述依据第一多模态局部会话交互描述知识和若干个第二多模态局部会话交互描述知识，确定所述第一多模态局部会话交互描述知识对应的会话行为嵌入向量之前，所述方法还包括：针对所述若干个通道阶段数据集中的每个通道阶段数据集，对所述通道阶段数据集的
分布标签信息进行特征映射，得到分布表征变量，将所述分布表征变量叠加到所述通道阶段数据集的多模态局部会话交互描述知识，所述分布标签信息用于反映所述通道阶段数据集在所述实时业务会话数据流中的分布标签
。5.
如权利要求1所述的方法，其特征在于，所述依据所述若干个多模态局部会话交互描述知识分别对应的若干个会话行为嵌入向量，确定所述目标用户活动事件的业务需求决策观点，包括：依据原始分类判别向量，确定第一基础会话索引向量，对所述第一基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到会话向量混淆结果，所述原始分类判别向量用于指示启动特征混淆处理；依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，对所述第二基础会话索引向量以及所述若干个会话行为嵌入向量的会话标识向量和会话属性向量进行特征混淆，得到后一个会话向量混淆结果，直到所得的会话向量混淆结果提示完成特征混淆；依据既有若干个会话向量混淆结果，确定所述目标用户活动事件的业务需求决策观点；其中，所述依据所述原始分类判别向量和既有会话向量混淆结果，确定第二基础会话索引向量，包括：依据最新的既有会话向量混淆结果的会话索引向量和所述原始分类判别向量的会话标识向量，确定所述原始分类判别向量对应的特征牵涉分值，以及，依据所述最新的既有会话向量混淆结果的会话索引向量和每个既有会话向量混淆结果的会话标识向量，确定每个既有会话向量混淆结果对应的特征牵涉分值；基于所述原始分类判别向量对应的特征牵涉分值和每个既有会话向量混淆结果对应的特征牵涉分值，对所述原始分类判别向量的会话属性向量和每个既有会话向量混淆结果的会话属性向量进行量化集成，得到所述第二基础会话索引向量
。6.
如权利要求1所述的方法，其特征在于，所述分别对所述若干个通道阶段数据集进行会话交互描述挖掘，得到若干个多模态局部会话交互描述知识，包括：调整每个所述通道阶段数据集的原始会话交互描述知识关系网的特征规模，直到得到目标特征规模的会话交互描述知识关...

【专利技术属性】
技术研发人员：郭建波，于其鹏，尹书辉，刘志君，
申请(专利权)人：杭州海兴电力科技股份有限公司深圳和兴电力科技有限公司广东和兴电力科技有限公司海南海兴国际科技发展有限公司宁波恒力达科技有限公司，
类型：发明
国别省市：