服务器中的数据处理方法及系统技术方案

本申请公开了一种服务器中的数据处理方法，用于避免数据文件在切分时或写入磁盘阵列时所发生的传输错误，降低网络重复传输数据文件。所述方法包括：接收数据文件；把所述数据文件放置于对应的内部队列中；取得所述内部队列中的所述数据文件并根据所述数据文件的文件大小决定切分数量；根据所述切分数量对所述数据文件进行切分，并得到多个切分片段；判断所述切分片段的切分点是否位于所述内部队列的尾端；若所述切分点位于所述尾端之前，则减缩切分片段的长度，令所述数据文件的切分位置至所述切分点上；若所述切分点位于所述尾端之后，则延伸切分片段的长度，令所述数据文件的切分位置至所述切分点上；以及把所述切分片段依序写入目标文件。

【技术实现步骤摘要】
【专利摘要】本申请公开了一种服务器中的数据处理方法，用于避免数据文件在切分时或写入磁盘阵列时所发生的传输错误，降低网络重复传输数据文件。所述方法包括：接收数据文件；把所述数据文件放置于对应的内部队列中；取得所述内部队列中的所述数据文件并根据所述数据文件的文件大小决定切分数量；根据所述切分数量对所述数据文件进行切分，并得到多个切分片段；判断所述切分片段的切分点是否位于所述内部队列的尾端；若所述切分点位于所述尾端之前，则减缩切分片段的长度，令所述数据文件的切分位置至所述切分点上；若所述切分点位于所述尾端之后，则延伸切分片段的长度，令所述数据文件的切分位置至所述切分点上；以及把所述切分片段依序写入目标文件。【专利说明】服务器中的数据处理方法及系统
本申请涉及数据传输的方法及系统，具体涉及一种服务器中的数据处理方法及系统。
技术介绍
随着网络流量的快速成长，许多过去不容易实现的服务也可以被轻易的完成。例如:宽带的上传多媒体文件(multimedia file)。由于海量的传输仍会影响服务器的负荷量。因此在已知的多媒体服务器也会具备带宽管理(Bandwidth Manager)的功能。服务器可以透过带宽分布或缓存等方式减轻同时间的资料传输量。此外，所述的传输方式更结合了多个实体磁盘，使得数据可以同步的写入所述磁盘中。而现有技术对数据写入磁盘的方式，是将数据同步的由来源端写入服务器中。服务器会暂存这些数据文件。之后，服务器在将这些数据文件分批的写入实体磁盘。这种写入的方式的实现成本低廉且快速。但是数据写入的过程中若发生错误，则数据只能重新写入。因此数据重新传输的时间就会拉长，而且也会增加网络带宽的负载。此夕卜，同一份数据文件除了要从客户端中重新载入，而且也要在服务器内部重新传输。
技术实现思路
本申请所要解决的技术问题在于提供一种服务器中的数据处理系统，避免数据文件在切分时或写入磁盘阵列时所发生的传输错误，用以降低网络重复传输数据文件。为了解决上述问题，本申请另揭示了一种数据切分的传输方法，包括以下步骤:接收数据文件；把所述数据文件放置于对应的内部队列中；取得所述内部队列中的所述数据文件并根据所述数据文件的文件大小决定切分数量；根据所述切分数量对所述数据文件进行切分，并得到多个切分片段；判断所述切分片段的切分点是否位于所述内部队列的尾端；若所述切分点位于所述尾端之前，则减缩切分片段的长度，令所述数据文件的切分位置至所述切分点上；若所述切分点位于所述尾端之后，则延伸切分片段的长度，令所述数据文件的切分位置至所述切分点上；把所述切分片段依序写入目标文件。进一步地包括:若所述切分位置与尾端的长度是否小于长度阀值，减缩所述切分片段的长度。进一步地包括:若所述切分位置与尾端的长度是否大于所述长度阀值，延伸所述切分片段的长度。进一步地包括:若分散式文件装置中不存在目标文件，则分散式文件装置中创建目标文件。为了解决上述问题，本申请揭示了一种服务器中的数据处理系统包括:本地目录、扫描模块、控制模块、上传模块与队列监视模块。本地目录接收客户端所发送的数据文件；扫描模块连接于本地目录，扫描模块监视本地目录的数据文件是否异动；控制模块耦接于扫描模块，控制模块包括至少一内部队列，每一内部队列储存对应的数据文件的路径资讯，本地目录的任一数据文件异动时，扫描模块根据异动的种类的数据文件令控制模块创建新的内部队列或更新已知的数据文件的内容；上传模块连接于本地目录，本地目录的任一数据文件异动时，上传模块侦测异动的数据文件的文件种类，并根据文件种类将数据文件指派至对应的内部队列；至少一队列监视模块连接于控制模块，队列监视模块根据内部队列的数量产生对应数量的队列监视模块；队列监视模块根据内部队列的数据文件的大小决定数据文件的切分数量，并根据切分数量对数据文件进行切分。进一步地包括队列监视模块对所监控的内部队列的数据文件根据先进先出的方式从内部队列中取出数据文件。进一步地当队列监视模块于切分时确认数据文件的切分位置落于内部队列的尾端，且数据文件的切分点位于尾端之前，则队列监视模块修改数据文件的切分位置至切分点上。进一步地包括至少一工作线程，每一队列监视模块连接于所属的工作线程，工作线程的数量等同于切分数量，工作线程根据切分数量把数据文件切分为多个切分片段，工作线程根据切分片段的位置读取切分片段的数据。进一步地包括分散式文件装置，连接于工作线程，工作线程将切分片段依序的写入分散式文件装置中。与现有技术相比，本申请可以获得包括以下技术效果:1)本申请改进数据文件的传输过程，数据文件写入时若发生错误，本申请不需重新从客户端中取得数据文件。2)本申请若于传输数据文件的期间中发生错误，本申请可以透过至少一台心跳服务器发报给后台，使得后台人员可以实时的得知何项组件发生异常。当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。【专利附图】【附图说明】此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中:图1是本申请实施例的系统架构示意图；图2A是本申请内部队列的切分片段的另一种示意图；图2B是本申请实施例的内部架构示意图；图3是本申请实施例的方法流程不意图。【具体实施方式】以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。本申请的服务器中的数据上传系统，请参考图1。本申请的传输系统包括:本地端110与多台心跳服务器120。而本地端110由以下元件所构成:本地目录111、上传模块112、扫描模块113、控制模块114、队列监视模块115、工作线程116与分散式文件装置117。本地目录111，接收客户端所发送的数据文件。扫描模块113，连接于本地目录111，扫描模块113监视本地目录的数据文件是否异动。控制模块114，耦接于扫描模块113，控制模块113包括至少一内部队列1141，每一内部队列1141储存对应的数据文件的路径资讯，本地目录111的任一数据文件异动时，扫描模块113根据异动的种类的数据文件令控制模块114创建新的内部队列1141或更新已知的数据文件的内容。上传模块112，连接本文档来自技高网...

【技术保护点】
一种服务器中的数据处理方法，其特征在于，包括以下步骤：接收数据文件；把所述数据文件放置于对应的内部队列中；取得所述内部队列中的所述数据文件并根据所述数据文件的文件大小决定切分数量；根据所述切分数量对所述数据文件进行切分，并得到多个切分片段；判断所述切分片段的切分点是否位于所述内部队列的尾端；若所述切分点位于所述尾端之前，则减缩切分片段的长度，令所述数据文件的切分位置至所述切分点上；若所述切分点位于所述尾端之后，则延伸切分片段的长度，令所述数据文件的切分位置至所述切分点上；以及把所述切分片段依序写入目标文件。

【技术特征摘要】

【专利技术属性】
技术研发人员：于凤东，张磊，马一鸣，
申请(专利权)人：乐视网信息技术北京股份有限公司，
类型：发明
国别省市：北京;11