数据处理的方法和系统技术方案

本说明书提供的数据处理的方法和系统，可以对初始数据进行边界调节以及编码频谱调节，以对初始帧中预设范围内的边界进行增强，并使初始帧中选定区域的幅值平稳地降低，减少数据信息量，在提高数据压缩的效率的同时减少数据损失，避免细节丢失。对压缩数据进行解压时，使用与编码频谱调节相对应的参数对压缩数据进行解码频谱调节，并对预设范围内的边界信息进行边界校正以消除噪声，在恢复数据的同时对数据进行降噪，使解压后的数据更清晰。所述方法和系统可以提高数据的压缩效率，提升传输效率，减少数据损失，同时可以提升解压后的数据的清晰度。的清晰度。的清晰度。

【技术实现步骤摘要】
数据处理的方法和系统


[0001]本说明书涉及数据处理领域，尤其涉及一种数据处理的方法和系统。

技术介绍

[0002]随着互联网技术的日益普遍，特别是移动终端的普及，通信网络涌现出越来越多类型的数据，随着而计算机的普及化，越来越多的数据正在占用越来越多的网络和存储资源，例如，视频数据、音频数据，等等。数据中往往包含巨大的信息量，对储存和传输的要求往往很高，因此，为了便于储存和传输，往往需要对数据进行压缩，在需要时再对压缩后的数据进行解压还原。因此，数据压缩和解压技术得到越来越多的应用。
[0003]比如，在过去的几十年中，视频和图像压缩技术得到越来越多的应用。视频中往往包含巨大的信息量。从传统的广播电影电视到现在大量的监控和互联网应用，压缩后的图像视频和图像正在占用越来越多的网络和存储资源。这使得如果将一段视频的原始数据从一个终端通过网络传输到另一个终端时会占用大量的网络资源。这就使得在有些实时视频传输的情况下难以实现画面的流畅传输。因此，视频数据传输前首先要在数据压缩设备处进行压缩处理，以便于传输。压缩后的视频在经过传输媒介传输到数据解压设备之后，数据解压设备再对所述视频进行解压，以至少部分地还原视频图像。
[0004]现有技术中主要的视频压缩标准是H.264和H.265标准。在传输前，通常依据H.264和H.265标准使用编码器对视频进行整体压缩，传输后再依据H.264和H.265标准通过解码器对视频进行整体解压。但是，上述对视频进行整体压缩的处理方法在计算量和解压后视频清晰度之间的平衡上表现的仍不能令人满意。这是因为，H.264和H.265标准在处理所述原始视频的时候要通过各种复杂的算法生成原始帧的预测帧，然后记录所述原始帧与所述预测帧之间的残差。所述预测帧同所述原始帧越接近，则残差越小，对一段视频编码后的数据量就越小。为了使编码更加容易，常用的方法是通过对原始帧进行滤波来减少原始帧图像中的高频信息。由傅里叶变换可知，在图片中物体的边界部分频率信息往往是比较丰富的，边界部分的高频分量通常大于其他平缓区域的高频分量。因此减少高频信息的帧图像虽然在视觉上变得模糊了(也就是图像的清晰度降低了)，却可以使得预测帧和滤波后的原始帧之间的残差更小。这样对视频编码时需要的计算量和编码后的数据流都减小了很多。然而，帧预测的技术非常复杂，会占用大量的计算资源。以视频编解码系统为例，平均每提高30％～40％的编码效率，便要增加约10倍的计算量。同时，传输后的数据经解压后清晰度降低，而且往往存在各种噪声，比如块效应或振铃效应。所述块效应是指在图像处理中，基于块的傅里叶变换使得图像边界处出现不连续现象。所述振铃效应是指在图像处理中，对一幅图像进行频谱调节处理时，若选用的频谱调节函数数值上具有较快的变化(也就是存在导数变化剧烈的区域)，则会使输出图像在灰度剧烈变化处产生灰度震荡，就好像钟被敲击后产生的空气震荡。所述噪声多出现在图像边界处。如果一幅输出图像有很强的噪声，则无法满足人们对数据的清晰度日益增长的要求。因此，如何进一步提高数据的压缩效率，同时提高数据解压后的清晰度，消除噪声，一直都是数据压缩和解压
追求的目标。
[0005]因此，为了提升数据的传输效率以及数据解压后的清晰度，需要一种压缩效率更高同时数据解压更清晰的数据处理的方法和系统。

技术实现思路

[0006]本说明书提供一种压缩效率更高同时数据解压更清晰的数据处理的方法和系统。以视频数据为例，所述数据处理的方法和系统可以通过小范围的伽马算法对初始视频数据中的初始帧中的小范围内的边界进行调节，以避免图像中相邻像素点间差距较小的小范围内的边界信息在数据压缩(预测和求残差)过程中丢失，避免细节损失；同时所述方法和系统能够对所述初始帧进行编码频谱调节，使得所述初始帧在选定频域内的信号强度减小，使初始帧中选定频率区域的幅值平稳地降低，从而减少数据信息量。然后再对频谱调节后的数据进行编码(预测和求残差)得到压缩帧，提高数据压缩的效率。所述编码频谱调节可以使初始帧中的数据信息量减少，在进行预测和求残差时可以提高数据压缩的效率。在进行数据解压时，所述方法和系统可以对所述压缩帧进行解码频谱调节和边界校正。所述方法和系统可以先对压缩帧进行解码，然后使用与编码端相对应的参数对解码后的数据进行解码频谱调节，所述解码频谱调节可以使解码后的数据中的中频和高频区域的分量被过滤，即得到比解码后的数据更模糊的数据，将解码后的数据与经解码频谱调节后被过滤掉中频和高频区域的数据相减可以获取初始帧中的边界信息；然后所述方法和系统可以通过小范围内的伽马算法对所述边界信息中的小范围内的边界进行减弱，以进行所述边界校正消除边界信息中的噪声；最后，所述方法和系统将降噪后的边界信息与解码后的数据叠加便可以得到解压帧。所述解码频谱调节与所述编码频谱调节相对应，编码频谱调节函数与解码频谱调节函数之间存在对应的关系，可以使经所述编码频谱调节的压缩数据恢复至初始帧的清晰度甚至高于所述初始帧的清晰度。也就是说，在不显著增加编解码的计算量的情况下，解码端需要至少将解压数据在重要频率内的数据恢复至初始帧的清晰度，甚至可以获得超过初始帧的清晰度。由于初始帧在重要频率区域只经过了频域上的信号衰减而不是频域上的滤除，在重要频域内的信息并没有缺失，因此可以根据所述编码频谱调节函数和所述解码频谱调节函数的关系以及各自的特征，来设计编码频谱调节函数和解码频谱调节函数，对初始帧中重要频率上的信息进行恢复。所述方法和系统可以显著提高数据的压缩效率，提升数据的传输效率，减少数据丢失，避免细节损失，同时消除噪声，提高解压后数据的清晰度。
[0007]基于此，第一方面，本说明书提供一种数据处理的方法，包括：选择初始数据中的初始帧，所述初始帧包括预设字节数的初始数据；以及对所述初始帧进行数据压缩，得到压缩帧，其中，所述数据压缩包括对所述初始帧进行边界调节以及对在压帧进行编码频谱调节，所述在压帧包括所述初始帧和所述初始帧在所述数据压缩过程中成为所述压缩帧之前的任一数据状态，其中，所述编码频谱调节包括使用编码卷积核对所述在压帧做卷积，以便在频域内平稳地降低所述在压帧的中频区域的幅值。
[0008]在一些实施例中，所述边界调节包括通过伽马值小于1的第一伽马算法对所述初始帧的边界中边界值在第一预设范围内的边界进行调节。
[0009]在一些实施例中，所述对所述初始帧进行数据压缩，包括：先对所述初始帧进行所述边界调节，再进行所述编码频谱调节；或者先对所述初始帧进行所述编码频谱调节，再进
行所述边界调节。
[0010]在一些实施例中，所述先对所述初始帧进行所述边界调节，再进行所述编码频谱调节，包括：对所述初始帧进行所述边界调节，获取第一增强帧；以及对所述第一增强帧进行所述编码频谱调节和编码，包括以下方式中的一种：对所述第一增强帧先进行所述编码频谱调节，再对编码频谱调节后的第一增强帧进行预测和求残差，其中，所述在压帧包括所述第一增强帧；对所述第一增强帧先进行预测得到预测帧，再对所述第一增强帧和所述预测帧进行所述编码频谱调节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：选择初始数据中的初始帧，所述初始帧包括预设字节数的初始数据；以及对所述初始帧进行数据压缩，得到压缩帧，其中，所述数据压缩包括对所述初始帧进行边界调节以及对在压帧进行编码频谱调节，所述在压帧包括所述初始帧和所述初始帧在所述数据压缩过程中成为所述压缩帧之前的任一数据状态，其中，所述编码频谱调节包括使用编码卷积核对所述在压帧做卷积，以便在频域内平稳地降低所述在压帧的中频区域的幅值。2.如权利要求1所述的数据处理的方法，其特征在于，所述边界调节包括通过伽马值小于1的第一伽马算法对所述初始帧的边界中边界值在第一预设范围内的边界进行调节。3.如权利要求2所述的数据处理的方法，其特征在于，所述对所述初始帧进行数据压缩，包括：先对所述初始帧进行所述边界调节，再进行所述编码频谱调节；或者先对所述初始帧进行所述编码频谱调节，再进行所述边界调节。4.如权利要求3所述的数据处理的方法，其特征在于，所述先对所述初始帧进行所述边界调节，再进行所述编码频谱调节，包括：对所述初始帧进行所述边界调节，获取第一增强帧；以及对所述第一增强帧进行所述编码频谱调节和编码，包括以下方式中的一种：对所述第一增强帧先进行所述编码频谱调节，再对编码频谱调节后的第一增强帧进行预测和求残差，其中，所述在压帧包括所述第一增强帧；对所述第一增强帧先进行预测得到预测帧，再对所述第一增强帧和所述预测帧进行所述编码频谱调节和求残差，其中，所述在压帧包括所述第一增强帧和所述预测帧；以及对所述第一增强始帧先进行预测和求残差，再对所述残差进行所述编码频谱调节，其中，所述在压帧包括所述残差。5.如权利要求4所述的数据处理的方法，其特征在于，所述对所述初始帧进行所述边界调节，获取第一增强帧，包括：通过第一调节函数对所述初始帧进行调节，得到第一帧，以使所述初始帧在频域内的低频区域的分量被保留而中频至高频区域的分量被衰减；对所述初始帧和所述第一帧求差，获取第一边界，所述第一边界包括所述初始帧的边界信息；通过所述第一伽马算法，对所述第一边界中边界值处于所述第一预设范围内的边界进行调节，得到增强边界；以及将所述第一帧与所述增强边界进行叠加，得到所述第一增强帧。6.如权利要求5所述的数据处理的方法，其特征在于，在所述得到增强边界之前，所述对所述初始帧进行所述边界调节，获取第一增强帧，还包括：通过第一系数对所述第一边界进行增强，其中，所述第一系数为大于1的任意数，所述第一边界包括通过所述第一系数增强的边界。7.如权利要求5所述的数据处理的方法，其特征在于，所述对所述第一边界中边界值处于所述第一预设范围内的边界进行调节，得到增强边界，包括：通过第二调节函数对所述第一边界进行调节，得到第二边界，以使所述第一边界在频
域内的低频区域的分量被保留而中频至高频区域的分量被衰减；以及通过所述第一伽马算法，对所述第二边界中边界值处于所述第一预设范围内的边界进行调节，得到所述增强边界。8.如权利要求3所述的数据处理的方法，其特征在于，所述先对所述初始帧进行所述编码频谱调节，再进行所述边界调节，包括：对所述初始帧进行所述编码频谱调节，获取编码频谱调节帧；对所述编码频谱调节帧进行所述边界调节，得到第二增强帧；以及对所述第二增强帧进行预测和求残差。9.如权利要求8所述的数据处理的方法，其特征在于，所述对所述编码频谱调节帧进行所述边界调节，得到第二增强帧，包括：对所述初始帧和所述编码频谱调节帧求差，得到第一边界，所述第一边界包括所述初始帧的边界信息；通过所述第一伽马算法，对所述第一边界中边界值处于所述第一预设范围内的边界进行调节，得到增强边界；将所述增强边界与所述第一边界求差，得到调节值；以及将所述编码频谱调节帧与所述调节值进行叠加，得到所述第二增强帧。10.如权利要求9所述的数据处理的方法，其特征在于，在所述得到增强边界之前，所述对所述编码频谱调节帧进行所述边界调节，得到第二增强帧，还包括：通过第一系数对所述第一边界进行增强，其中，所述第一系数为大于1的任意数，所述第一边界包括通过所述第一系数增强的边界。11.如权利要求9所述的数据处理的方法，其特征在于，所述对所述第一边界中边界值处于所述第一预设范围内的边界进行调节，得到增强边界，包括：通过第二调节函数对所述第一边界进行调节，得到第二边界，以使所述第一边界在频域内的低频区域的分量被保留而中频至高频区域的分量被衰减；以及通过所述第一伽马算法，对所述第二边界中边界值处于所述第一预设范围内的边界进行调节，得到所述增强边界。12.如权利要求1所述的数据处理的方法，其特征在于...

【专利技术属性】
技术研发人员：于江鸿，
申请(专利权)人：于江鸿，
类型：发明
国别省市：