用于数据共享的方法、电子设备和计算机程序产品技术

本公开的实施例提供了用于数据共享的方法、设备和计算机程序产品。该方法包括获取与源进程对应的第一参数信息以及与目标进程对应的第二参数信息，并且基于第一参数信息和第二参数信息，从源进程与目标进程之间的数据共享方式中选择期望数据共享方式。方法还包括基于期望数据共享方式，实现源进程与目标进程之间的数据共享。通过该方案，能够提高进程之间的数据共享效率。的数据共享效率。的数据共享效率。

【技术实现步骤摘要】
用于数据共享的方法、电子设备和计算机程序产品


[0001]本公开的实施例涉及计算机
，并且更具体地，涉及用于数据共享的方法、电子设备和计算机程序产品。

技术介绍

[0002]随着大数据的飞速发展，如何提高计算速度、提高计算精度以及满足实时计算需要一直是关注热点。例如，并行计算是针对快速解决大型且复杂的计算问题而提出的重要解决方案。通常，计算过程涉及计算资源调度和数据共享。因此，高效的数据共享对分布式计算具有关键作用。
[0003]另外，深度学习(DL,Deep Learning)作为机器学习(ML,Machine Learning)领域中的一个分支，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。目前，具有分布式计算的深度学习在搜索技术、数据挖掘、机器学习、自然语言处理、多媒体学习、语音、推荐和个性化技术、以及其他相关领域都取得了很多成果。

技术实现思路

[0004]本公开的实施例提供了一种用于数据共享的方案。
[0005]在本公开的第一方面，提供了一种用于数据共享的方法。该方法包括：获取与源进程对应的第一参数信息以及与目标进程对应的第二参数信息；基于第一参数信息和第二参数信息，从源进程与目标进程之间的数据共享方式中选择期望数据共享方式；以及基于期望数据共享方式，实现源进程与目标进程之间的数据共享。
[0006]在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储有计算机可执行指令的至少一个存储器，至少一个存储器和计算机可执行指令被配置为与至少一个处理器一起使得电子设备执行动作。该动作包括：获取与源进程对应的第一参数信息以及与目标进程对应的第二参数信息；基于第一参数信息和第二参数信息，从源进程与目标进程之间的数据共享方式中选择期望数据共享方式；以及基于期望数据共享方式，实现源进程与目标进程之间的数据共享。
[0007]在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括计算机可执行指令，计算机可执行指令在被执行时使设备：获取与源进程对应的第一参数信息以及与目标进程对应的第二参数信息；基于第一参数信息和第二参数信息，从源进程与目标进程之间的数据共享方式中选择期望数据共享方式；以及基于期望数据共享方式，实现源进程与目标进程之间的数据共享。
[0008]提供
技术实现思路
部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。
附图说明
[0009]通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
[0010]图1示出了本公开实施例可以在其中被实施的示例环境的示意图；
[0011]图2示出了根据本公开的一些实施例的用于数据共享的流程图；
[0012]图3示出了根据本公开的一些实施例的针对场景一的数据共享的示例；
[0013]图4示出了根据本公开的一些实施例的针对场景二的数据共享的示例；
[0014]图5示出了根据本公开的一些实施例的针对场景三的数据共享的示例；以及
[0015]图6示出了可以用来实施本公开的实施例的示例设备的框图。
具体实施方式
[0016]下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
[0017]在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0018]如本文中所使用的，术语“机器学习”指的是涉及高性能计算、机器学习和人工智能算法的处理。在本文中，术语“机器学习模型”也可以称为“学习模型”、“学习网络”、“网络模型”、或“模型”。“神经网络”或“神经网络模型”是一种深度学习模型。概括来说，机器学习模型能够接收输入数据并且基于输入数据执行预测和输出预测结果。
[0019]通常，机器学习模型可以包括多个处理层，每个处理层具有多个处理单元。处理单元有时也称为卷积核。在卷积神经网络(CNN)的卷积层中，处理单元称为卷积核或卷积滤波器。每个处理层中的处理单元基于对应的参数对该处理层的输入执行相应变化。处理层的输出被提供作为下一处理层的输入。机器学习模型的第一个处理层的输入是机器学习模型的模型输入，最后一个处理层的输出是机器学习模型的模型输出。中间处理层的输入有时也称为机器学习模型提取的特征。机器学习模型的处理单元的全部参数的值形成机器学习模型的参数值集合。
[0020]机器学习主要可以划分为三个阶段，即训练阶段、测试阶段和应用阶段(也称为推理阶段)。在训练阶段，给定的机器学习模型可以使用大量的训练样本进行训练，不断迭代，直到机器学习模型能够从训练样本中获得一致的、与人类智慧所能够做出的推理类似的推理。机器学习模型通过训练，可以被认为能够从训练数据中学习从输入到输出之间的映射或关联关系。经过训练后，机器学习模型的参数值集合被确定。在测试阶段，可以利用测试样本对已训练的机器学习模型进行测试，以确定机器学习模型的性能。在应用阶段，机器学习模型可以被用于基于训练得到的参数值集合，对实际的输入数据进行处理，以给出对应的输出。
[0021]随着大数据的发展，需要处理的数据量越来越大，计算资源的有效利用也显得越发重要，导致所涉及的计算环境也越来越复杂。如何在复杂环境中实现更高效的数据共享仍是亟待解决的技术问题。虽然针对可能存在的不同数据共享场景，目前已分别提出相应的解决方案，但是相应的解决方案只适用于特定的资源配置场景，例如某种数据共享方式仅适合于特定的硬件计算设备配置，使得数据在复杂计算环境中的共享缺乏灵活性，导致复杂计算环境中的数据共享受到限制。
[0022]为了至少解决上述问题，本公开的示例实施例提出了一种用于数据共享的改进方案。该方案在获取与源进程对应的参数信息以及与目标进程对应的参数信息之后，从源进程与目标进程之间的数据共享方式中选择期望数据共享方式，并且基于期望数据共享方式来实现数据共享。
[0023]通过该方案，无论源进程和目标进程是否处于同一处理设备或是否处于同一网络的不同处理设备，也不管源进程与目标进程是否由同类型的处理设备执行，均可以找到与源进程和目标进程相对应的期望数据共享方式，由此可以自动化地实现与硬件、网络等计算资源配置相适配的高效的数据共享方式，从而例如提升深度学习的计算速度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于数据共享的方法，包括：获取与源进程对应的第一参数信息以及与目标进程对应的第二参数信息；基于所述第一参数信息和所述第二参数信息，从所述源进程与所述目标进程之间的数据共享方式中选择期望数据共享方式；以及基于所述期望数据共享方式，实现所述源进程与所述目标进程之间的数据共享。2.根据权利要求1所述的方法，其中所述源进程处于第一网络，所述目标进程处于第二网络，所述第一参数信息包括所述第一网络的地址，所述第二参数信息包括所述第二网络的地址；并且其中从所述源进程与所述目标进程之间的数据共享方式中选择期望数据共享方式包括：基于所述第一网络的地址和所述第二网络的地址，确定所述源进程和所述目标进程是否处于同一网络的第一判断结果；以及基于所述第一判断结果，选择所述期望数据共享方式。3.根据权利要求2所述的方法，其中所述源进程处于第一处理设备，所述目标进程处于第二处理设备，所述第一参数信息还包括所述第一处理设备的地址，所述第二参数信息还包括所述第二处理设备的地址；从所述源进程与所述目标进程之间的数据共享方式中选择期望数据共享方式还包括：基于所述第一处理设备的地址和所述第二处理设备的地址，确定所述源进程和所述目标进程是否处于同一处理设备的第二判断结果；以及基于所述第一判断结果和所述第二判断结果，选择所述期望数据共享方式。4.根据权利要求3所述的方法，其中所述第一参数信息还包括所述第一处理设备的类型，所述第二参数信息还包括所述第二处理设备的类型；并且其中从所述源进程与所述目标进程之间的数据共享方式中选择期望数据共享方式还包括：基于所述第一处理设备的类型和所述第二处理设备的类型，确定所述第一处理设备和所述第二处理设备是否为同一类型的第三判断结果；以及基于所述第三判断结果，选择所述期望数据共享方式。5.根据权利要求2所述的方法，其中基于所述第一判断结果，选择所述期望数据共享方式包括：在所述第一判断结果为否的情况下，选择所述数据共享方式中的第一数据共享方式作为所述期望数据共享方式，所述第一数据共享方式基于网络接口卡之间的远程直接存储器访问以及网络接口卡与处理设备存储器之间的直接存储器访问。6.根据权利要求3所述的方法，其中基于所述第一判断结果和所述第二判断结果，选择所述期望数据共享方式包括：在所述第一判断结果为是并且所述第二判断结果为否的情况下，选择所述数据共享方式中的第二数据共享方式作为所述期望数据共享方式，所述第二数据共享方式基于所述第一处理设备与所述第二处理设备之间的直接存储器访问。7.根据权利要求4所述的方法，其中基于所述第三判断结果，选择所述期望数据共享方式包括：
在所述第三判断结果为是的情况下，选择所述数据共享方式中的第三数据共享方式作为所述期望数据共享方式，所述第三数据共享方式基于所述源进程与所述目标进程之间的映射关系。8.根据权利要求1所述的方法，其中所述源进程和所述目标进程是深度学习进程。9.根据权利要求1所述的方法，所述方法还包括：确定与所述数据共享相对应的数据信息，其中所述数据信息包括共享内容、所述共享内容的源地址、所述共享内容的目标地址以及所述共享内容的大小，并且其中实现所述源进程与所述目标进程之间的数据共享包括：根据所述共享内容的源地址、所述共享内容的目标地址以及所述共享内容的大小，将所述共享内容从所述源进程共享到所述目标进程。10.一种电子设备，包括：至少一个处理器；以及存储有计算机可执行指令的至少一个存储器，所述至少一个存储器和所述计算机可执行指令被配置为，与所述至少一个处理器一起，使得所述电子设备执行动作，所述动作包括：获取与源进程对应的第一参数信息以及与目标进程对应的第二参数信息；基于所述第一参数信息和所述第二参数信...

【专利技术属性】
技术研发人员：刘金鹏，王子嘉，倪嘉呈，贾真，
申请(专利权)人：戴尔产品有限公司，
类型：发明
国别省市：