一种在云端进行的评测方法、相关设备及系统技术方案

本发明专利技术公开了一种在云端进行的评测方法、相关设备及系统，其中方法包括以下步骤：云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；第二用户终端向所述云端服务器上传所述待评估文件数据；第三用户终端从所述云端服务器接收并展示评价结果信息。其中系统包括上述的云端服务器及用户终端。本发明专利技术能够为数据文件处理模块的不同开发者和用户提供了一个公平公开的测试比对平台，提供便捷的测试途径。

【技术实现步骤摘要】
一种在云端进行的评测方法、相关设备及系统
本专利技术涉及计算机算法评估
，尤其涉及一种在云端进行的评测方法、相关设备及系统。
技术介绍
人机交互领域的终端设备之间，或者终端设备与存储设备之间特定信息的交换通过携带特定信息的数据文件的读取实现，这些特定信息包括以一定编码方式记录于数据文件的图片、视频、音频、文本等单一信息，或者若干单一信息的结合。终端设备通过解码器对数据文件中的特定信息解码并通过人机接口(UI)以视觉、听觉等用户可识别的方式输出特定信息。为了便于数据文件的传播和使用，开发者们提供数据文件处理模块优化数据文件，数据文件处理模块包括转录模块、数据压缩模块、降噪模块等。对于数据文件处理模块的处理质量，由于采用评价程序的不同，用户难以获得客观公正的比较结果。例如，A开发者提供了数据文件处理模块a，并公开其在第一评价程序中数据文件处理模块a的评价结果，以此证明其数据文件处理模块a较优，同时，B开发者提供了与数据文件处理模块a功能基本相同的数据文件处理模块b，并公开了其在第二评价程序中的数据文件处理模块b的评价结果，但公众用户仍无法据此通过比较评价结果的方式获知数据文件处理模块a和b各功能特性的优劣。数据文件处理模块可以是实现评价算法的应用软件，或者是硬件的处理器，对于一些信息采集设备的开发者，数据文件处理模块也可以是其信息采集设备的编码器。现有机制中，评价程序包括有参考评价程序和无参考评价程序，有参考评价程序读取参考数据文件和数据文件处理模块对参考数据文件处理生成的优化数据文件，并据此输出若干评价指标，如降噪指标、保真度指标等；无参考评价程序只读取数据处理程序生成的优化数据文件，并据此输出若干评价指标，如信噪比指标、清晰度指标、音色指标等。现有的评价程序只能评价数据文件处理模块对具体参考数据文件的优化性能的评估，不能用于提供多个数据文件处理模块之间的公允评价。
技术实现思路
本专利技术提供了一种在云端进行的评测方法、相关设备及系统，能够为数据文件处理模块的不同开发者和用户提供了一个公平公开的测试比对平台，提供便捷的测试途径。本专利技术第一方面提供了一种在云端进行的评测方法，用于评价数据文件处理模块，所述方法包括：云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；所述评价程序中的指令致使所述云端服务器执行的操作包括，读取所述参考文件数据和所述待评估文件数据，输出生成所述待评估文件数据的数据文件处理模块的评价结果；第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；第二用户终端向所述云端服务器上传所述待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识；第三用户终端从所述云端服务器接收并展示评价结果信息；所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。该方法的各个实施例特别适用于对音频、视频等多媒体文件进行优化处理的数据文件处理模块，通过提供统一的参考文件供下载，在第三方的云端服务器运行评价程序，依据不同数据文件处理模块输出的同一参考文件的优化文件进行评分，参与测评的各个测试方可以在本地使用自己的数据文件处理模块生成待评估文件，上传云端服务器后，由云端运行评价程序，给不同开发者提供了一个公平公开的测试比对平台，这些测试方或者开发者包括各团队，个人，以及企业，都可以在这个平台上得到完全一致的评价结果，进而得到公平公正的对比。这种公开性，使得测试途径和记录归档也更加便捷。一些可能的设计中，所述方法还包括：所述待评估文件数据包括由第一数据文件处理模块根据第一参考文件生成的第一待评估文件数据，以及，由第二数据文件处理模块根据第一参考文件生成的第二待评估文件数据；所述评价程序指令致使所述云端服务器执行的操作包括，根据所述参考文件和所述第一待评估文件数据获得第一评价结果，并且，根据所述参考文件和所述第二待评估文件数据获得第二评价结果；所述云端服务器根据第一请求向第三用户终端发送的评价结果信息包括所述第一评价结果和所述第二评价结果；所述第一请求包含所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识，或者，包含所述第一参考文件的标识、所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识。该方法提供一种横向对比机制，对于不同的数据文件处理模块，对于同一参考文件处理后，会得到不同的评价结果，当同时提供多个数据文件处理模块的评价结果时，可以提供一个基于客观标准的数据文件处理模块的性能排行榜。一些可能的设计中，所述方法还包括：所述待评估文件数据包括由第三数据文件处理模块根据第二参考文件生成的第三待评估文件，以及，由第三数据文件处理模块根据第三参考文件生成的第四待评估文件；所述评价程序指令致使所述云端服务器执行的操作包括，根据所述第三待评估文件获得第三评价结果，并且，根据所述第四待评估文件并获得第四评价结果；所述云端服务器根据第二请求向第三用户终端发送的评价结果信息包括所述第三评价结果和所述第四评价结果；所述第二请求包含所述第二参考文件的标识和所述第三参考文件的标识，或者，包含第三数据文件处理模块的标识、所述第二参考文件的标识和所述第三参考文件的标识。该方法提供一种纵向对比机制，对于同一数据文件处理模块，处理不同的参考文件会获得得到不同的待评估文件，当对同一数据文件处理模块的多个待评估文件分别进行评估后，同时提供一个数据文件处理模块的多个评价结果时，可以体现数据文件处理模块的对某一类参考文件的处理性能的优势。本方法的一个应用场景可以是，对音频A和音频B分别使用同样的加噪方法加噪生成音频A1和音频B1，其中音频A包含人声，音频B包含乐器声，云端服务器提供参考文件音频A1和音频B1的下载，在第一用户终端运行的数据文件处理模块为一个音频去噪软件分别对A1、B1处理，生成优化后的待评估文件A2、B2，在云端服务器上一个降噪评价程序评价对比音频A和音频A2生成一个评价结果，对比音频B和音频B2生成一个评价结果，如此可得出对于该音频去噪软件更适合对人声去噪还是更适合对乐器声去噪。一些可能的设计中，所述方法还包括：第四用户终端根据所述第三用户终端的请求，从所述云端服务器接收并展示评价结果信息，所述评价结果信息与所述第三用户终端从所述云端服务器接收并展示的所述评价结果信息相同。即第四用户终端所接收的评价结果信息可以根据第三方用户终端的请求由云端服务器进行同步更新，以便在任何时刻，第三用户终端与第四用户终端在请求相同数据时，所获得的结果相同。一些实施例中，任一用于接收和展示评价结果信息的用户终端如果实施了可能改变云端服务器上存储的评价结果的性为，如实施了第二用户终端的操作，云端服务器将在更新其存储的评价结果后，重新向各本文档来自技高网...

【技术保护点】
1.一种在云端进行的评测方法，用于评价数据文件处理模块，所述方法包括：/n云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；所述评价程序中的指令致使所述云端服务器执行的操作包括，读取所述待评估文件数据，输出生成所述待评估文件数据的数据文件处理模块的评价结果；/n第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；/n第二用户终端向所述云端服务器上传所述待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识；/n第三用户终端从所述云端服务器接收并展示评价结果信息；所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。/n

【技术特征摘要】
1.一种在云端进行的评测方法，用于评价数据文件处理模块，所述方法包括：
云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；所述评价程序中的指令致使所述云端服务器执行的操作包括，读取所述待评估文件数据，输出生成所述待评估文件数据的数据文件处理模块的评价结果；
第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；
第二用户终端向所述云端服务器上传所述待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识；
第三用户终端从所述云端服务器接收并展示评价结果信息；所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。


2.根据权利要求1所述的评测方法，其特征在于，所述方法包括：
所述待评估文件数据包括由第一数据文件处理模块根据第一参考文件生成的第一待评估文件数据，以及，由第二数据文件处理模块根据第一参考文件生成的第二待评估文件数据；
所述评价程序指令致使所述云端服务器执行的操作包括，根据所述第一待评估文件数据获得第一评价结果，并且，根据所述第二待评估文件数据获得第二评价结果；
所述云端服务器根据第一请求向第三用户终端发送的评价结果信息包括所述第一评价结果和所述第二评价结果；
所述第一请求包含所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识，或者，包含所述第一参考文件的标识、所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识；
或者，所述方法包括：
所述待评估文件数据包括由第三数据文件处理模块根据第二参考文件生成的第三待评估文件，以及，由第三数据文件处理模块根据第三参考文件生成的第四待评估文件；
所述评价程序指令致使所述云端服务器执行的操作包括，根据所述第三待评估文件获得第三评价结果，并且，根据所述第四待评估文件并获得第四评价结果；
所述云端服务器根据第二请求向第三用户终端发送的评价结果信息包括所述第三评价结果和所述第四评价结果；
所述第二请求包含所述第二参考文件的标识和所述第三参考文件的标识，或者，包含第三数据文件处理模块的标识、所述第二参考文件的标识和所述第三参考文件的标识。


3.根据权利要求1所述的评测方法，其特征在于，所述方法包括：
第四用户终端根据所述第三用户终端的请求，从所述云端服务器接收并展示评价结果信息，所述评价结果信息与所述第三用户终端从所述云端服务器接收并展示的所述评价结果信息相同。


4.根据权利要求1所述的评测方法，其特征在于，所述方法包括：
第五用户终端向所述云端服务器发送待评估文件的一个主观评分；所述待评估文件从所述云端服务器获取；
云端服务器执行评分程序中的指令；所述评分程序中的指令致使所述云端服务器执行的操作包括，读取同一待评估文件的多个主观评分，输出该待评估文件的主观评价结果；
第六用户终端从所...

【专利技术属性】
技术研发人员：王天宝，董媛媛，
申请(专利权)人：王天宝，
类型：发明
国别省市：辽宁;21