基于云服务器和数据交互的数据处理方法及系统技术方案

本申请是关于基于云服务器和数据交互的数据处理方法及系统。应用本申请方案，无需每次将待存储数据进行直接存储，通过将待存储数据对应的当前设备标识与目标数据进行存储，能够通过目标数据与设备标识的一对多关系提高存储效率，避免大量的重复数据占用云服务器的存储空间从而影响云服务器的计算效率。此外，通过对初始化缓存的设定时长进行延长，能够确保对数据存储区中的原始数据的完整遍历，避免漏掉部分原始数据的遍历。

【技术实现步骤摘要】
基于云服务器和数据交互的数据处理方法及系统
本申请涉及数据存储
，尤其涉及基于云服务器和数据交互的数据处理方法及系统。
技术介绍
云计算（cloudcomputing）技术又称为网格计算技术，是能够在极短的时间内实现海量数据处理的技术。随着云计算技术的发展，现代社会能够实现准确、安全且可靠的数据交互和通信。云服务器作为海量数据存储的枢纽，在云计算中扮演着不可替代的作用。然而，随着数据量的不断增多以及数据规模的不断扩大，云服务器往往会存储大量的重复数据，这会占用云服务器的存储空间并影响云服务器的计算效率。
技术实现思路
本申请提供基于云服务器和数据交互的数据处理方法及系统，以改善现有技术存在的上述技术问题。本专利技术提供了一种基于云服务器和数据交互的数据处理方法，应用于云服务器，所述方法包括：在接收到终端设备发送的数据存储请求时，响应所述数据存储请求并将所述终端设备对应的待存储数据存入预设的缓存；其中，所述缓存用于对临时数据进行存储，所述云服务器周期性地对所述缓存进行初始化以清除所述缓存内所存储的数据，所述云服务器的数据存储区中存储有至少多个原始数据；对至少多个原始数据进行遍历，确定至少多个原始数据中是否存在与所述缓存中的待存储数据相一致的目标数据；其中，每个原始数据关联存储有对应的至少一个设备标识，所述设备标识用于确定将每个原始数据存入所述数据存储区的原始终端设备；在确定出至少多个原始数据中存在与所述缓存中的待存储数据相一致的目标数据时，获取所述目标数据对应的至少一个设备标识；确定所述终端设备的当前设备标识；遍历所述至少一个设备标识，确定至少一个设备标识中是否存在与当前设备标识相同的目标设备标识；在确定出至少一个设备标识中存在与当前设备标识相同的所述目标设备标识时，将所述目标设备标识对应的第一特征值进行更新；在确定出至少一个设备标识中不存在与当前设备标识相同的所述目标设备标识时，将当前设备标识与所述目标数据进行关联存储并删除所述缓存中的待存储数据，为当前设备标识设置第二特征值；在对至少多个原始数据进行遍历的过程中，判断从将所述待存储数据存入所述缓存的时刻开始的累计时长是否达到设定时长；若是，根据至少多个原始数据中未遍历的原始数据的占比将所述设定时长进行延长，直至完成对至少多个原始数据的遍历；其中，所述设定时长是所述云服务器初始化所述缓存的周期时长，每经过一次所述设定时长，所述云服务器对所述缓存进行一次初始化以清除所述缓存内存储的数据；其中，所述方法还包括：采集终端设备的用户行为数据，并对用户行为数据的进行特征提取得到用户行为特征，然后将用户行为特征进行存储。优选地，所述将所述终端设备对应的待存储数据存入预设缓存的步骤，具体包括：提取所述待存储数据的数据特征向量以及各数据段；其中，不同的数据段对应不同的数据信息；在依据所述数据特征向量确定出所述待存储数据中包含有数据结构类别的情况下，基于所述待存储数据在所述数据结构类别中的数据段及其数据段权重确定所述待存储数据在数据信息类别中的各数据段与所述待存储数据在所述数据结构类别中的各数据段之间的数据差异系数；将所述待存储数据在所述数据信息类别中的与所述所述待存储数据在所述数据结构类别中的数据段之间的数据差异系数最小的数据段调整到所述待存储数据的所述数据结构类别中；在所述待存储数据的所述数据信息类别中包含有多个数据段时，基于所述待存储数据在所述数据结构类别中的数据段及其数据段权重确定所述待存储数据在所述数据信息类别中的各数据段之间的数据差异系数，并基于所述各数据段之间的数据差异系数对所述数据信息类别中的各数据段进行数据转换，得到所述数据信息类别中的各数据段对应的目标数据段；基于所述待存储数据在所述数据结构类别中的数据段及其数据段权重为各所述目标数据段封装段落指向参数，并将各所述目标数据段转移到所述段落指向参数所对应的所述数据结构类别的子类别中；基于所述数据结构类别中的每个第一数据段确定所述待存储数据的第一数据结构特征；获取所述缓存的缓存线程信息并基于所述缓存线程信息确定所述缓存对应的第二数据结构特征；确定所述第一数据结构特征与所述第二数据结构特征之间的余弦距离；根据所述余弦距离对所述待存储数据进行数据格式转换之后存入所述缓存。优选地，所述确定至少多个原始数据中是否存在与所述缓存中的待存储数据相一致的目标数据的步骤，具体包括：提取所述待存储数据对应的第一数据字符序列，提取每个原始数据对应的第二数据字符序列，所述第一数据字符序列和所述第二数据字符序列分别包括多个不同序列权重的序列节点；提取所述待存储数据在所述第一数据字符序列的任一序列节点的当前字符编码，将所述第二数据字符序列中具有最小序列权重的序列节点确定为目标序列节点；根据所述数据存储区和所述缓存之间的区间差异信息将所述当前字符编码投影到所述目标序列节点，在所述目标序列节点中得到投影字符编码，并根据所述当前字符编码、所述投影字符编码，生成所述待存储数据和所述每个原始数据之间的数据相似性列表；以所述投影字符编码为参考编码在所述目标序列节点中获取目标编码，根据所述数据相似性列表将所述目标编码投影到所述当前字符编码所在序列节点，在所述当前字符编码所在序列节点中得到所述目标编码对应的一致性权重；判断所述一致性权重是否达到设定权重；若是，则确定所述一致性权重对应的原始数据为与所述待存储数据相一致的所述目标数据；若否，则确定所述一致性权重对应的原始数据不为与所述待存储数据相一致的所述目标数据。优选地，所述获取所述目标数据对应的至少一个设备标识的步骤，具体包括：获取所述目标数据的数据关系列表，并基于所述数据关系列表进行设备标识遍历；所述数据关系列表为所述目标数据与多个终端设备进行关联的列表；将所述目标数据在所述数据关系列表中的列表参数数组与预设的参数数据进行一一比对，得到比对结果；其中，所述比对结果用于表征所述目标数据对应的设备标识的显性特征和非显性特征；基于所述比对结果确定所述目标数据对应的设备标识的第一数量，基于所述数据关系列表确定所述目标数据对应的设备标识的第二数量；判断所述第二数量是否达到所述第一数量；在所述第二数量没有达到所述第一数量时，对所述比对结果进行解析得到所述目标数据对应的非显性特征；基于所述非显性特征确定出隐藏的与所述目标数据存在关联存储关系的隐藏设备标识，基于所述隐藏设备标识以及与所述第二数量对应的设备标识确定所述目标数据对应的至少一个设备标识。优选地，所述将所述目标设备标识对应的第一特征值进行更新的步骤，具体包括：对所述第一特征值进行时序追溯处理，得到至少一个更新记录；对所述至少一个更新记录上进行更新时刻确定，得到所述第一特征值的更新时刻轨迹，所述更新时刻轨迹用于描述所述第一特征值的历史特征值的多个更新时刻；对所述至少一个更新记录上进行更新间隔时长确定，得到所述第一特征值的更新间隔时长序列，所述更新间隔时长序列本文档来自技高网...

【技术保护点】
1.一种基于云服务器和数据交互的数据处理方法，其特征在于，应用于云服务器，所述方法包括：/n在接收到终端设备发送的数据存储请求时，响应所述数据存储请求并将所述终端设备对应的待存储数据存入预设的缓存；其中，所述缓存用于对临时数据进行存储，所述云服务器周期性地对所述缓存进行初始化以清除所述缓存内所存储的数据，所述云服务器的数据存储区中存储有至少多个原始数据；/n对至少多个原始数据进行遍历，确定至少多个原始数据中是否存在与所述缓存中的待存储数据相一致的目标数据；其中，每个原始数据关联存储有对应的至少一个设备标识，所述设备标识用于确定将每个原始数据存入所述数据存储区的原始终端设备；/n在确定出至少多个原始数据中存在与所述缓存中的待存储数据相一致的目标数据时，获取所述目标数据对应的至少一个设备标识；确定所述终端设备的当前设备标识；遍历所述至少一个设备标识，确定至少一个设备标识中是否存在与当前设备标识相同的目标设备标识；在确定出至少一个设备标识中存在与当前设备标识相同的所述目标设备标识时，将所述目标设备标识对应的第一特征值进行更新；在确定出至少一个设备标识中不存在与当前设备标识相同的所述目标设备标识时，将当前设备标识与所述目标数据进行关联存储并删除所述缓存中的待存储数据，为当前设备标识设置第二特征值；/n在对至少多个原始数据进行遍历的过程中，判断从将所述待存储数据存入所述缓存的时刻开始的累计时长是否达到设定时长；若是，根据至少多个原始数据中未遍历的原始数据的占比将所述设定时长进行延长，直至完成对至少多个原始数据的遍历；其中，所述设定时长是所述云服务器初始化所述缓存的周期时长，每经过一次所述设定时长，所述云服务器对所述缓存进行一次初始化以清除所述缓存内存储的数据；/n其中，所述方法还包括：/n采集终端设备的用户行为数据，并对用户行为数据的进行特征提取得到用户行为特征，然后将用户行为特征进行存储。/n...

【技术特征摘要】
1.一种基于云服务器和数据交互的数据处理方法，其特征在于，应用于云服务器，所述方法包括：
在接收到终端设备发送的数据存储请求时，响应所述数据存储请求并将所述终端设备对应的待存储数据存入预设的缓存；其中，所述缓存用于对临时数据进行存储，所述云服务器周期性地对所述缓存进行初始化以清除所述缓存内所存储的数据，所述云服务器的数据存储区中存储有至少多个原始数据；
对至少多个原始数据进行遍历，确定至少多个原始数据中是否存在与所述缓存中的待存储数据相一致的目标数据；其中，每个原始数据关联存储有对应的至少一个设备标识，所述设备标识用于确定将每个原始数据存入所述数据存储区的原始终端设备；
在确定出至少多个原始数据中存在与所述缓存中的待存储数据相一致的目标数据时，获取所述目标数据对应的至少一个设备标识；确定所述终端设备的当前设备标识；遍历所述至少一个设备标识，确定至少一个设备标识中是否存在与当前设备标识相同的目标设备标识；在确定出至少一个设备标识中存在与当前设备标识相同的所述目标设备标识时，将所述目标设备标识对应的第一特征值进行更新；在确定出至少一个设备标识中不存在与当前设备标识相同的所述目标设备标识时，将当前设备标识与所述目标数据进行关联存储并删除所述缓存中的待存储数据，为当前设备标识设置第二特征值；
在对至少多个原始数据进行遍历的过程中，判断从将所述待存储数据存入所述缓存的时刻开始的累计时长是否达到设定时长；若是，根据至少多个原始数据中未遍历的原始数据的占比将所述设定时长进行延长，直至完成对至少多个原始数据的遍历；其中，所述设定时长是所述云服务器初始化所述缓存的周期时长，每经过一次所述设定时长，所述云服务器对所述缓存进行一次初始化以清除所述缓存内存储的数据；
其中，所述方法还包括：
采集终端设备的用户行为数据，并对用户行为数据的进行特征提取得到用户行为特征，然后将用户行为特征进行存储。


2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述终端设备对应的待存储数据存入预设缓存的步骤，具体包括：
提取所述待存储数据的数据特征向量以及各数据段；其中，不同的数据段对应不同的数据信息；
在依据所述数据特征向量确定出所述待存储数据中包含有数据结构类别的情况下，基于所述待存储数据在所述数据结构类别中的数据段及其数据段权重确定所述待存储数据在数据信息类别中的各数据段与所述待存储数据在所述数据结构类别中的各数据段之间的数据差异系数；
将所述待存储数据在所述数据信息类别中的与所述所述待存储数据在所述数据结构类别中的数据段之间的数据差异系数最小的数据段调整到所述待存储数据的所述数据结构类别中；
在所述待存储数据的所述数据信息类别中包含有多个数据段时，基于所述待存储数据在所述数据结构类别中的数据段及其数据段权重确定所述待存储数据在所述数据信息类别中的各数据段之间的数据差异系数，并基于所述各数据段之间的数据差异系数对所述数据信息类别中的各数据段进行数据转换，得到所述数据信息类别中的各数据段对应的目标数据段；
基于所述待存储数据在所述数据结构类别中的数据段及其数据段权重为各所述目标数据段封装段落指向参数，并将各所述目标数据段转移到所述段落指向参数所对应的所述数据结构类别的子类别中；
基于所述数据结构类别中的每个第一数据段确定所述待存储数据的第一数据结构特征；获取所述缓存的缓存线程信息并基于所述缓存线程信息确定所述缓存对应的第二数据结构特征；确定所述第一数据结构特征与所述第二数据结构特征之间的余弦距离；根据所述余弦距离对所述待存储数据进行数据格式转换之后存入所述缓存。


3.根据权利要求2所述的数据处理方法，其特征在于，所述确定至少多个原始数据中是否存在与所述缓存中的待存储数据相一致的目标数据的步骤，具体包括：
提取所述待存储数据对应的第一数据字符序列，提取每个原始数据对应的第二数据字符序列，所述第一数据字符序列和所述第二数据字符序列分别包括多个不同序列权重的序列节点；
提取所述待存储数据在所述第一数据字符序列的任一序列节点的当前字符编码，将所述第二数据字符序列中具有最小序列权重的序列节点确定为目标序列节点；
根据所述数据存储区和所述缓存之间的区间差异信息将所述当前字符编码投影到所述目标序列节点，在所述目标序列节点中得到投影字符编码，并根据所述当前字符编码、所述投影字符编码，生成所述待存储数据和所述每个原始数据之间的数据相似性列表；
以所述投影字符编码为参考编码在所述目标序列节点中获取目标编码，根据所述数据相似性列表将所述目标编码投影到所述当前字符编码所在序列节点，在所述当前字符编码所在序列节点中得到所述目标编码对应的一致性权重；
判断所述一致性权重是否达到设定权重；若是，则确定所述一致性权重对应的原始数据为与所述待存储数据相一致的所述目标数据；若否，...

【专利技术属性】
技术研发人员：尹兵，
申请(专利权)人：尹兵，
类型：发明
国别省市：福建;35