基于特征识别和格式转换的数据存储方法及装置制造方法及图纸

本发明专利技术提供了一种基于特征识别和格式转换的数据存储方法及装置。首先，对获取到的用户行为数据进行节点化处理得到用户行为轨迹。其次，确定用户行为轨迹中的每个行为节点对应的用户行为特征，进而根据用户行为特征确定出每个行为节点对应的第一特征比较结果和第二特征比较结果。最后，根据每个行为节点对应的第一特征比较结果和第二特征比较结果确定出用户行为数据对应的目标数据格式，然后将云端服务器中存储的业务数据进行数据格式的转换，将转换得到的目标业务数据导入缓存。如此，当用户终端进行数据请求时，云端服务器能够将目标业务数据下发给用户终端以供用户终端直接使用，无需用户终端对所接收的数据进行格式转换。

Data storage method and device based on feature recognition and format conversion

【技术实现步骤摘要】
基于特征识别和格式转换的数据存储方法及装置
本专利技术涉及大数据存储优化
，具体而言，涉及一种基于特征识别和格式转换的数据存储方法及装置。
技术介绍
随着科技的发展，数据在社会生产和人们生活中起着愈来愈重要的作用，也随之迎来了大数据时代。大数据时代为社会生产和人们生活提供了诸多便利，社会的发展以及人们日常生活已然离不开大数据。在大数据领域中，数据存储和数据下发可以通过云端服务器实现，用户终端可以从云端服务器获取数据然后进行相应的业务操作。然而，存储于云端服务器的数据的数据格式往往不同于用户终端进行业务操作时所使用的数据格式，这样会导致用户终端从云端服务器获取了数据之后还需要对数据进行格式转换。
技术实现思路
为了改善上述问题，本专利技术提供了一种基于特征识别和格式转换的数据存储方法及装置。本专利技术实施例的第一方面，提供了一种基于特征识别和格式转换的数据存储方法，应用于与用户终端通信的云端服务器，所述方法包括：获取用户终端在设定时段内的用户行为数据；对所述用户行为数据进行节点化处理得到所述用户行为数据在所述设定时段内的连续的用户行为轨迹，所述用户行为轨迹包括多个连续的行为节点，每个行为节点封装有执行函数，所述执行函数用于执行参数化之后的用户指令；根据每个行为节点对应的执行函数的输入信息和输出信息，确定每个行为节点对应的用户行为特征；确定每个行为节点的用户行为特征与该行为节点的前一个行为节点的用户行为特征的第一特征比较结果以及每个行为节点的用户行为特征与该行为节点的后一个行为节点的用户行为特征的第二特征比较结果；基于每个行为节点对应的第一特征比较结果和第二特征比较结果，确定所述用户行为轨迹对应的数据格式分布图；根据所述数据格式分布图确定所述用户行为数据对应的目标数据格式；根据所述目标数据格式将所述云端服务器中存储的业务数据的原始数据格式进行转换得到目标业务数据，将所述目标业务数据导入缓存。在一种可替换的实施方式中，根据每个行为节点对应的执行函数的输入信息和输出信息，确定每个行为节点对应的用户行为特征的步骤，包括：获取每个行为节点上封装的执行函数的函数调用信息，并确定与所述函数调用信息对应的第一函数调用列表，所述函数调用信息包括根据所述执行函数的输入信息和输出信息所确定出的钩子函数的调用路径，所述第一函数调用列表包括所述调用路径的多个层级节点的高低顺序；确定每个行为节点接收输入信息的第一行为时刻和生成输出信息的第二行为时刻；根据所述第一行为时刻和所述第二行为时刻的差值确定用于对所述第一函数调用列表进行修正的修正系数；基于所述修正系数对所述第一函数调用列表进行修正获得第二函数调用列表；对所述第二函数调用列表进行拆分得到多个列表单元，对每个列表单元进行特征提取得到列表特征；根据所述第二函数调用列表对应的多个列表特征确定所述第二函数调用列表对应的行为节点的用户行为特征。在一种可替换的实施方式中，所述方法还包括：检测所述目标业务数据在所述缓存中的存储时长是否达到预设时长；在所述目标业务数据在所述缓存中的存储时长达到所述预设时长时，将所述目标业务数据从所述缓存中删除，并返回获取用户终端在设定时段内的用户行为数据的步骤。在一种可替换的实施方式中，基于每个行为节点对应的第一特征比较结果和第二特征比较结果，确定所述用户行为轨迹对应的数据格式分布图的步骤，包括：获取基于每个行为节点对应的第一特征比较结果和第二特征比较结果所确定的特征变化曲线；针对所述特征变化曲线中的当前特征变化曲线，基于当前特征变化曲线在所述设定时段内被标记的第一时间点以及各所述特征变化曲线在所述设定时段内被标记的第二时间点，确定当前特征变化曲线在所述设定时段内的特征标记分布；根据每个行为节点对应的所有特征标记分布，确定每个行为节点对应的数据格式变化趋势；提取每个数据格式变化趋势中的变化趋势曲线并确定每条变化趋势曲线的曲线特征向量，将确定出的所有曲线特征向量进行加权得到目标特征向量；将所述目标特征向量映射至所述用户行为轨迹中，获得所述用户行为轨迹对应的数据格式分布图。在一种可替换的实施方式中，根据所述数据格式分布图确定所述用户行为数据对应的目标数据格式的步骤，包括：按照所述数据格式分布图中的边界标识对所述数据格式分布图进行划分获得所述数据格式分布图对应的多个图像块；所述边界标识通过所述数据格式分布图中记载的所述用户终端在所述设定时段内的用户行为数据所使用的所有数据格式以及每个数据格式的使用时长、每个数据格式所处的行为节点的相对位置确定；获取每个图像块对应的第一数据格式和位置权重；按照图像块的位置权重由高到低的顺序对所述数据格式分布图对应的所有图像块进行排序得到目标序列并根据每个图像块在所述目标序列中的序列位置为每个图像块分配序列权重；根据所述序列权重和所述位置权重确定每个图像块的第一数据格式对应的使用权重，所述使用权重用于表征所述第一数据格式在所述用户行为数据中的重要程度；以使用权重最高的第一数据格式为基准数据格式，确定所述基准数据格式对应的第一目标图像块在所述数据格式分布图中的目标位置；获取所述数据格式分布图中的其他图像块与所述第一目标图像块之间的距离，根据所述距离确定与所述第一目标图像块存在数据格式关联关系的第二目标图像块；将所述第一目标图像块对应的第一数据格式和所述第二目标图像块对应的第一数据格式进行整合得到第二数据格式，根据所述第二数据格式确定出所述用户行为数据对应的目标数据格式。本专利技术实施例的第二方面，提供了一种基于特征识别和格式转换的数据存储装置，应用于与用户终端通信的云端服务器，所述装置包括：数据获取模块，用于获取用户终端在设定时段内的用户行为数据；节点处理模块，用于对所述用户行为数据进行节点化处理得到所述用户行为数据在所述设定时段内的连续的用户行为轨迹，所述用户行为轨迹包括多个连续的行为节点，每个行为节点封装有执行函数，所述执行函数用于执行参数化之后的用户指令；特征确定模块，用于根据每个行为节点对应的执行函数的输入信息和输出信息，确定每个行为节点对应的用户行为特征；特征比较模块，用于确定每个行为节点的用户行为特征与该行为节点的前一个行为节点的用户行为特征的第一特征比较结果以及每个行为节点的用户行为特征与该行为节点的后一个行为节点的用户行为特征的第二特征比较结果；格式确定模块，用于基于每个行为节点对应的第一特征比较结果和第二特征比较结果，确定所述用户行为轨迹对应的数据格式分布图；根据所述数据格式分布图确定所述用户行为数据对应的目标数据格式；格式转换模块，用于根据所述目标数据格式将所述云端服务器中存储的业务数据的原始数据格式进行转换得到目标业务数据，将所述目标业务数据导入缓存。在一种可替换的实施方式中，所述特征确定模块，具体用于：获取每个行为节点上封装的执行函数的函数调用信息，并本文档来自技高网...

【技术保护点】
1.一种基于特征识别和格式转换的数据存储方法，其特征在于，应用于与用户终端通信的云端服务器，所述方法包括：/n获取用户终端在设定时段内的用户行为数据；/n对所述用户行为数据进行节点化处理得到所述用户行为数据在所述设定时段内的连续的用户行为轨迹，所述用户行为轨迹包括多个连续的行为节点，每个行为节点封装有执行函数，所述执行函数用于执行参数化之后的用户指令；/n根据每个行为节点对应的执行函数的输入信息和输出信息，确定每个行为节点对应的用户行为特征；/n确定每个行为节点的用户行为特征与该行为节点的前一个行为节点的用户行为特征的第一特征比较结果以及每个行为节点的用户行为特征与该行为节点的后一个行为节点的用户行为特征的第二特征比较结果；/n基于每个行为节点对应的第一特征比较结果和第二特征比较结果，确定所述用户行为轨迹对应的数据格式分布图；根据所述数据格式分布图确定所述用户行为数据对应的目标数据格式；/n根据所述目标数据格式将所述云端服务器中存储的业务数据的原始数据格式进行转换得到目标业务数据，将所述目标业务数据导入缓存。/n

【技术特征摘要】
1.一种基于特征识别和格式转换的数据存储方法，其特征在于，应用于与用户终端通信的云端服务器，所述方法包括：
获取用户终端在设定时段内的用户行为数据；
对所述用户行为数据进行节点化处理得到所述用户行为数据在所述设定时段内的连续的用户行为轨迹，所述用户行为轨迹包括多个连续的行为节点，每个行为节点封装有执行函数，所述执行函数用于执行参数化之后的用户指令；
根据每个行为节点对应的执行函数的输入信息和输出信息，确定每个行为节点对应的用户行为特征；
确定每个行为节点的用户行为特征与该行为节点的前一个行为节点的用户行为特征的第一特征比较结果以及每个行为节点的用户行为特征与该行为节点的后一个行为节点的用户行为特征的第二特征比较结果；
基于每个行为节点对应的第一特征比较结果和第二特征比较结果，确定所述用户行为轨迹对应的数据格式分布图；根据所述数据格式分布图确定所述用户行为数据对应的目标数据格式；
根据所述目标数据格式将所述云端服务器中存储的业务数据的原始数据格式进行转换得到目标业务数据，将所述目标业务数据导入缓存。


2.根据权利要求1所述的数据存储方法，其特征在于，根据每个行为节点对应的执行函数的输入信息和输出信息，确定每个行为节点对应的用户行为特征的步骤，包括：
获取每个行为节点上封装的执行函数的函数调用信息，并确定与所述函数调用信息对应的第一函数调用列表，所述函数调用信息包括根据所述执行函数的输入信息和输出信息所确定出的钩子函数的调用路径，所述第一函数调用列表包括所述调用路径的多个层级节点的高低顺序；
确定每个行为节点接收输入信息的第一行为时刻和生成输出信息的第二行为时刻；
根据所述第一行为时刻和所述第二行为时刻的差值确定用于对所述第一函数调用列表进行修正的修正系数；基于所述修正系数对所述第一函数调用列表进行修正获得第二函数调用列表；
对所述第二函数调用列表进行拆分得到多个列表单元，对每个列表单元进行特征提取得到列表特征；根据所述第二函数调用列表对应的多个列表特征确定所述第二函数调用列表对应的行为节点的用户行为特征。


3.根据权利要求1所述的数据存储方法，其特征在于，所述方法还包括：
检测所述目标业务数据在所述缓存中的存储时长是否达到预设时长；
在所述目标业务数据在所述缓存中的存储时长达到所述预设时长时，将所述目标业务数据从所述缓存中删除，并返回获取用户终端在设定时段内的用户行为数据的步骤。


4.根据权利要求1-3任一项所述的数据存储方法，其特征在于，基于每个行为节点对应的第一特征比较结果和第二特征比较结果，确定所述用户行为轨迹对应的数据格式分布图的步骤，包括：
获取基于每个行为节点对应的第一特征比较结果和第二特征比较结果所确定的特征变化曲线；
针对所述特征变化曲线中的当前特征变化曲线，基于当前特征变化曲线在所述设定时段内被标记的第一时间点以及各所述特征变化曲线在所述设定时段内被标记的第二时间点，确定当前特征变化曲线在所述设定时段内的特征标记分布；
根据每个行为节点对应的所有特征标记分布，确定每个行为节点对应的数据格式变化趋势；
提取每个数据格式变化趋势中的变化趋势曲线并确定每条变化趋势曲线的曲线特征向量，将确定出的所有曲线特征向量进行加权得到目标特征向量；
将所述目标特征向量映射至所述用户行为轨迹中，获得所述用户行为轨迹对应的数据格式分布图。


5.根据权利要求1所述的数据存储方法，其特征在于，根据所述数据格式分布图确定所述用户行为数据对应的目标数据格式的步骤，包括：
按照所述数据格式分布图中的边界标识对所述数据格式分布图进行划分获得所述数据格式分布图对应的多个图像块；所述边界标识通过所述数据格式分布图中记载的所述用户终端在所述设定时段内的用户行为数据所使用的所有数据格式以及每个数据格式的使用时长、每个数据格式所处的行为节点的相对位置确定；
获取每个图像块对应的第一数据格式和位置权重；
按照图像块的位置权重由高到低的顺序对所述数据格式分布图对应的所有图像块进行排序得到目标序列并根据每个图像块在所述目标序列中的序列位置为每个图像块分配序列权重；
根据所述序列权重和所述位置权重确定每个图像块的第一数据格式对应的使用权重，所述使用权重用于表征所述第一数据格式在所述用户行为数据中的重要程度；
以使用权重最高的第一数据格式为基准数据格式，确定所述基准数据格式对应的第一目标图像块在所述数据格式分布图中的目标位置；
获取所述数据格式分布图中的其他图像块与所述第一目标图像块之间的距离，根据所述距离确定与所述第一目标图像块存在数据格式关联关系的第二目标图像块；
将所述第一目标图像块对应的第一数据格式和所述第二目标图像块对应的第一数据格式进行整合得到第二数据格式，根据所述第二数据格式确定出所述用户行...

【专利技术属性】
技术研发人员：杨贻宏，
申请(专利权)人：上海飞旗网络技术股份有限公司，
类型：发明
国别省市：上海;31