【技术实现步骤摘要】
高频业务数据的数据压缩方法、装置、设备及存储介质
本申请涉及大数据处理
，特别是一种高频业务数据的数据压缩方法、装置、设备及存储介质。
技术介绍
量化业务在处理时以先进的数学模型替代人为的主观判断，利用计算机技术从庞大的历史数据中海选能带来超额收益的多种“大概率”事件以制定策略，极大地减少了参与者情绪波动的影响，避免在市场极度狂热或悲观的情况下作出非理性的业务决策。高频业务则涉及人们无法利用的极为短暂的市场变化中寻求获利的计算机化业务。量化业务具有动态实时、客观、高低频可塑、免疫人主观判断情绪、心理波动等优点，近年来获得了快速发展。特别是高频量化业务由于其具有日内清算、频率高收益回测性能稳健等优点得到特别关注和发展。这里回测是指量化业务平台对设计好的程序化业务策略模拟历史真实的资产走势情况进行业务处理，得到历史真实情景再现后的结果数据以对策略的性能进行评估。由于高频业务数据交换的频率非常高，且策略回测时的样本数据十分庞大，存储数据时所需的存储空间较大，使得数据库压力大，硬件成本较高。专利...
【技术保护点】
1.一种高频业务数据的数据压缩方法，其特征在于，包括：/n监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据；/n判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据；/n若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；/n对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换...
【技术特征摘要】
1.一种高频业务数据的数据压缩方法，其特征在于，包括：
监控当前交换周期内的高频数据交换进程，获取所述交换进程中需发送给目标用户的目标高频业务数据；
判断所述目标高频业务数据是否为所述当前交换周期内的接续数据；其中，所述接续数据表示所述当前交换周期内位于初始数据之后的目标高频业务数据，所述初始数据表示所述当前交换周期内的第一条目标高频业务数据；
若所述目标高频业务数据为接续数据，解析所述接续数据的数据结构，识别出所述接续数据中的待转换字段，并进一步从所述待转换字段中识别出普通转换字段和差分转换字段；
对所述普通转换字段的参数值通过有效值截取进行压缩，并对所述差分转换字段的参数值通过数值差分计算进行转换压缩，从而生成压缩后的目标高频业务数据。
2.根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，所述判断所述目标高频业务数据是否为所述当前交换周期内的接续数据的步骤包括：
识别出所述目标高频业务数据中用于表示数据状态类型的字段，检测该字段下的参数值；
若所述参数值为预设的第一参数判断值，确定所述目标高频业务数据为初始数据；
若所述参数值为预设的第二参数判断值，则确定所述目标高频业务数据为接续数据。
3.根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，所述识别出所述接续数据中的待转换字段的步骤之后，所述方法还包括：
对所述接续数据的除所述待转换字段外的其他字段进行识别，以识别出非敏感字段；
将所述非敏感字段从所述接续数据中删除。
4.根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，所述对所述普通转换字段的参数值通过有效值截取进行压缩的步骤包括：
截取每个所述普通转换字段的参数值中低位的16比特位数据或24比特位数据，以作为压缩后的目标信息数据中对应的普通转换字段的参数值。
5.根据权利要求1所述的高频业务数据的数据压缩方法，其特征在于，在所述对所述差分转换字段的参数值通过数值差分计算进行转换压缩的步骤之前，所述方法还包括：
识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时间差分字段。
6.根据权利要求5所述的高频业务数据的数据压缩方法，其特征在于，所述识别所述差分转换字段中各字段的参数值类型，将所述差分转换字段划分为资产数值差分字段和时...
【专利技术属性】
技术研发人员：张鹏，李正洋，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。