一种信息处置系统包括处理器，所述处理器被配置为处理训练数据文件以确定最佳数据压缩算法。所述处理器还可以执行压缩率分析，所述压缩率分析包括使用数据压缩算法来压缩所述训练数据文件，计算与所述数据压缩算法中的每一者相关联的压缩率，从与所述每种数据压缩算法相关联的所述压缩率来确定最佳压缩率；以及基于所述最佳压缩率来确定与所述训练数据文件相关联的期望数据压缩算法。所述处理器还可以执行概率分析，所述概率分析包括基于所述期望数据压缩算法来生成符号转换矩阵，基于所述符号转换矩阵提取统计特征数据，以及基于所述统计特征数据生成概率矩阵以确定用于工作数据文件的每个片段的所述最佳数据压缩算法。数据文件的每个片段的所述最佳数据压缩算法。数据文件的每个片段的所述最佳数据压缩算法。
【技术实现步骤摘要】
基于内容的动态混合数据压缩
[0001]本公开总体上涉及信息处置系统，并且更具体地涉及基于内容的动态混合数据压缩。
技术介绍
[0002]随着信息的价值和使用持续增长，个人和商家寻求附加方式来处理和存储信息。一个选项是信息处置系统。信息处置系统通常处理、编译、存储或传送用于商业、个人或其他目的的信息或数据。在不同的应用之间，技术和信息处置需求和要求可能会有所不同。因此，信息处置系统也可能关于以下方面有所不同：处置何种信息，如何处置信息，处理、存储或传送多少信息，以及可以多快且多高效地处理、存储或传送信息。信息处置系统的变化允许信息处置系统是通用的或者针对特定用户或特定用途(诸如财务事务处理、航空订票、企业数据存储或全球通信)进行配置。另外，信息处置系统可以包括可以被配置为处理、存储和传送信息的多种硬件和软件资源，并且可以包括一个或多个计算机系统、图形接口系统、数据存储系统、联网系统和移动通信系统。信息处置系统还可以实施各种虚拟化架构。信息处置系统中的数据和语音通信可以经由网络来进行，所述网络是有线的、无线的或某种组合。
技术实现思路
[0003]一种信息处置系统包括处理器，所述处理器被配置为处理训练数据文件以确定最佳数据压缩算法。所述处理器还可以执行压缩率分析，所述压缩率分析包括使用数据压缩算法来压缩所述训练数据文件，计算与所述数据压缩算法中的每一者相关联的压缩率，从与所述每种数据压缩算法相关联的所述压缩率来确定最佳压缩率；以及基于所述最佳压缩率来确定与所述训练数据文件相关联的期望数据压缩算法。所述处理器还可以执行概率分析，所述概率分析包括基于所述期望数据压缩算法来生成符号转换矩阵，基于所述符号转换矩阵提取统计特征数据，以及基于所述统计特征数据生成概率矩阵以确定用于工作数据文件的每个片段的所述最佳数据压缩算法。
附图说明
[0004]应当理解，为了使图示简单和清楚起见，图中所示的元件不一定按比例绘制。例如，一些元件的尺寸可能相对于其他元件被夸大。关于本文中的附图示出和描述结合了本公开的教导的实施方案，在附图中：
[0005]图1是示出根据本公开的实施方案的信息处置系统的框图；
[0006]图2是示出根据本公开的实施方案的用于基于内容的动态混合数据压缩的系统的示例的框图；
[0007]图3是示出根据本公开的实施方案的在用于基于内容的动态混合数据压缩的训练模式期间的过程的示例的流程图；
[0008]图4示出了根据本公开的实施方案的符号转换矩阵的构造的示例；
[0009]图5A示出了根据本公开的实施方案的观察概率矩阵的示例；
[0010]图5B示出了根据本公开的实施方案的初始状态分布矩阵的示例；
[0011]图5C示出了根据本公开的实施方案的状态转换概率矩阵的示例；
[0012]图6是示出根据本公开的实施方案的在用于基于内容的动态混合数据压缩的工作模式期间的过程的示例的流程图；
[0013]图7A、图7B、图7C、图7D和图7E示出了根据本公开的实施方案的在用于基于内容的动态混合压缩的工作模式期间生成的状态序列的示例；
[0014]图8A和图8B是示出根据本公开的实施方案的以用于基于内容的动态混合压缩的训练模式进行的方法的示例的流程图；
[0015]图9是示出根据本公开的实施方案的以用于基于内容的动态混合压缩的工作模式进行的方法的示例的流程图；并且
[0016]图10是示出根据本公开的实施方案的用于验证用于基于内容的动态混合压缩的最佳数据压缩算法的方法的示例的流程图。
[0017]在不同附图中使用相同的附图标记指示类似或相同的项目。
具体实施方式
[0018]提供以下结合附图的描述以帮助理解本文公开的教导。所述描述集中于教导的具体实施方式和实施方案，并且被提供来帮助描述本教导。该集中不应被解释为限制本教导的范围或适用性。
[0019]图1示出了信息处置系统100的实施方案，所述信息处置系统包括处理器102和104、芯片组110、存储器120、与视频显示器134连接的图形适配器130、包括基本输入和输出系统/可扩展固件接口(BIOS/EFI)模块142的非易失性RAM(NV
‑
RAM)140、磁盘控制器150、硬盘驱动器(HDD)154、光盘驱动器156、与固态驱动器(SSD)164连接的磁盘仿真器160、与扩展资源174和可信平台模块(TPM)176连接的输入/输出(I/O)接口170、网络接口180以及基板管理控制器(BMC)190。处理器102经由处理器接口106连接到芯片组110，而处理器104经由处理器接口108连接到芯片组。在特定实施方案中，处理器102和104经由诸如HyperTransport链路、QuickPath互连等高容量的相干结构连接在一起。芯片组110表示集成电路或一组集成电路，所述集成电路管理处理器102和104与信息处置系统100的其他元件之间的数据流。在特定实施方案中，芯片组110表示一对集成电路，诸如北桥部件和南桥部件。在另一个实施方案中，芯片组110的一些或全部功能和特征与处理器102和104中的一个或多个集成。
[0020]存储器120经由存储器接口122连接到芯片组110。存储器接口122的示例包括双倍数据速率(DDR)存储器通道，并且存储器120表示一个或多个DDR双列直插式存储器模块(DIMM)。在特定实施方案中，存储器接口122表示两个或更多个DDR通道。在另一个实施方案中，处理器102和104中的一个或多个包括存储器接口，所述存储器接口为处理器提供专用存储器。DDR通道和所连接的DDR DIMM可以符合特定的DDR标准，诸如DDR3标准、DDR4标准、DDR5标准等。
[0021]存储器120可以进一步表示存储器类型的各种组合，诸如动态随机存取存储器
(DRAM)DIMM、静态随机存取存储器(SRAM)DIMM、非易失性DIMM(NV
‑
DIMM)、存储类存储器装置、只读存储器(ROM)装置等。图形适配器130经由图形接口132连接到芯片组110，并且向视频显示器134提供视频显示器输出136。图形接口132的示例包括高速外围组件互连(PCIe)接口，并且根据需要或期望，图形适配器130可以包括四通道(x4)PCIe适配器、八通道(x8)PCIe适配器、16通道(x16)PCIe适配器，或另一种配置。在特定实施方案中，图形适配器130向下设置在系统印刷电路板(PCB)上。视频显示器输出136可以包括数字视频接口(DVI)、高清多媒体接口(HDMI)、DisplayPort接口等，并且视频显示器134可以包括监视器、智能电视、诸如膝上型计算机显示器之类的嵌入式显示器等。
[0022]NV
‑
RAM 140、磁盘控制器150和I/O接口170经由I/O通道112连接到芯片组110。I/O通道112的示例包括芯片组110与NV
‑
RAM140、磁盘控制器1本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种方法，其包括：处理训练数据文件以预测最佳数据压缩算法，其中对所述训练数据文件的所述处理包括：执行压缩率分析，所述压缩率分析包括：使用多种数据压缩算法来压缩所述训练数据文件；计算与所述数据压缩算法中的每种数据压缩算法相关联的压缩率；根据与所述数据压缩算法中的所述每一者相关联的所述压缩率来确定最佳压缩率；以及标识与所述训练数据文件的所述最佳压缩率相关联的期望数据压缩算法；以及执行概率分析，所述概率分析包括：基于所述期望数据压缩算法来生成符号转换矩阵；基于所述符号转换矩阵提取统计特征数据；以及基于所述统计特征数据生成概率矩阵以预测用于工作数据文件的每个片段的所述最佳数据压缩算法。2.根据权利要求1所述的方法，其生成压缩率分析表，所述压缩率分析表包括所述训练数据文件与所述期望数据压缩算法的关联。3.根据权利要求1所述的方法，其中所述最佳压缩率与和所述训练数据文件相关联的至少一个其他压缩率相比具有最大值。4.根据权利要求1所述的方法，其还包括处理所述工作数据文件，其中对所述工作数据文件的所述处理包括将所述工作数据文件划分为一个或多个片段以及基于所述最佳数据压缩算法来压缩每个片段以生成一个或多个压缩片段。5.根据权利要求4所述的方法，其中所述工作数据文件的每个片段具有相等长度。6.根据权利要求4所述的方法，其还包括使用统一格式将每个压缩片段组合成压缩数据文件。7.根据权利要求6所述的方法，其中第一数据压缩算法用于压缩第一片段，并且第二数据压缩算法用于压缩所述压缩数据文件的第二片段。8.根据权利要求1所述的方法，其中所述概率矩阵包括初始状态分布矩阵、状态转换概率矩阵和观察概率矩阵。9.一种信息处置系统，其包括：存储器，所述存储器用于存储用于确定最佳数据压缩算法的概率矩阵；以及耦合到所述存储器的处理器，所述处理器被配置为处理训练数据文件以确定所述最佳数据压缩算法，其中所述处理器还被配置为：执行压缩率分析，所述压缩率分析包括：使用多种数据压缩算法来压缩所述训练数据文件；计算与所述数据压缩算法中的每一者相关联的压缩率；从与所述每种数据压缩算法相关联的所述压缩率来确定最佳压缩率；以及基于所述最佳压缩率来确定与所述训练数据文件相关联的期望数据压缩算法；以及执行概率分析，所述概率分析包括：基于所述期望数据压缩算法来生成符号转换矩阵；
基于所述符号转换矩阵提取统计特征数据；以及基于所...
【专利技术属性】
技术研发人员：张晓娜，黄东亮，
申请(专利权)人：戴尔产品有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。