【技术实现步骤摘要】
【国外来华专利技术】音频数据转录训练学习算法标识图像数据中可见医疗设备
[0001]本专利技术涉及一种训练学习算法来确定医疗设备身份的计算机实施方法和通过使用训练过的学习算法来确定医疗设备身份的计算机实施方法、一种相应的计算机程序、存储此程序的计算机可读存储介质和执行此程序的计算机以及一种包括电子数据存储设备和上述计算机的医疗系统。
技术介绍
[0002]在手术室中，光学器械识别与跟踪是一种用于计算机辅助手术的技术。借助机器学习，可以自动化器械标识过程，用于进行情境手术器械托盘跟踪。适当的数据预处理可以实现泛化灵活的可能用途。
[0003]迄今为止，
[0004]‑
一旦用户拿起器械，必须手动输入器械类型；
[0005]‑
可以通过用于跟踪的光学标记的类型来标识器械类型；
[0006]‑
可以通过确定器械形状并与器械形状数据库进行比较来标识器械类型；
[0007]‑
可以通过读取专用标记图案(例如条形码或QR码)并与存储标记/器械身份的数据库进行比较来标识器械类型；或
[0008]‑
可以根据可明确分配的音频信号(例如语音识别、关键词识别)来标识器械类型。
[0009]但这关系到以下局限性：
[0010]‑
一旦拿起器械后必须进行的手动输入步骤会阻碍无缝工作流程。
[0011]‑
所有现有方法都需要器械形状或专用标记图案的预定义数据库；这些数据库的存在并不一致，也不允许情境动作。
[0012]‑>纯语音控制的通用性不足使系统在各种情境下工作。
[0013]‑
手动医疗设备监控容易出错。
技术实现思路
[0014]本专利技术目的是提供一种改进的器械标识和/或监控手段。
[0015]本专利技术可用于例如有关图像指导手术或视频路由系统(如和Brainlab AG的所有产品)的流程。
[0016]下文公开了本专利技术各方面、示例和示例性步骤及其实施例。根据本专利技术可组合本专利技术不同示例性特征，只要技术上适宜可行即可。
[0017]专利技术示例简述
[0018]下文对本专利技术具体特征予以简要描述，不应理解为本专利技术仅限于本部分中描述的特征或特征组合。
[0019]本公开方法包括基于音频数据和图像数据训练学习算法，其中音频数据和图像数据经预处理生成音频信息和图像信息的时间同步转录，以允许学习算法标识图像数据中可见的医疗设备，如医疗仪器或器械台上医疗器械，向用户输出相应信息。本公开实施例包括
额外预测下一个待用器械以及计数已用器械。本公开方法还包括使用训练算法来标识医疗设备。
[0020]
技术实现思路
概述
[0021]本
技术实现思路
中，例如通过参照本专利技术可行实施例对本专利技术一般特征予以描述。
[0022]一般而言，为了实现上述目的，第一方面，本专利技术提出一种训练学习算法来确定医疗设备身份的计算机实现医疗方法。上述方法包括在至少一台计算机(例如，至少一台计算机作为导航系统的一部分)的至少一个处理器上执行以下由至少一个处理器执行的示例性步骤。
[0023](例如第一)示例性步骤中，获取训练音频数据，该训练音频数据描述音频标识符，该音频标识符描述医疗设备身份。医疗设备例如是医疗器械或在医疗环境下使用的任何其他设备。
[0024](例如第二)示例性步骤中，获取训练图像数据，训练图像数据描述一系列时间上连续的数字图像，这些数字图像包括描述医疗设备身份的视觉标识符。
[0025](例如第三)示例性步骤中，基于训练音频数据确定训练音频元数据，该训练音频元数据描述音频标识符的训练转录。例如，训练转录包括以下至少一种关于语音信号的信息，例如检测到语音信号的信息、语音信号、字符串变量、关于语音信号声源方向的信息、关于语音信号发声人的信息。
[0026](例如第四)示例性步骤中，获取设备标签数据，设备标签数据描述与音频标识符和视觉标识符中至少一项相关联的标签，该标签描述医疗设备身份。
[0027](例如第五)示例性步骤中，确定标签身份数据，该标签身份数据描述用于建立视觉标识符、音频标识符和标签之间关系的学习算法的模型参数，其中通过将训练音频元数据和设备标签数据输入关系建立函数来确定标签身份数据。例如，标签身份数据描述指示医疗设备使用的计数器。
[0028]某一示例中，根据第一方面方法包括以下步骤：获取训练视觉元数据，该训练视觉元数据描述每个数字图像中医疗设备的使用状态。例如，通过将训练视觉元数据输入关系建立函数来确定标签身份数据。
[0029]根据第一方面方法的示例中，基于训练图像数据确定训练视觉元数据，其中训练转录和视觉标识符在时间上同步，并且训练转录与视觉标识符相关联，其中通过将训练视觉元数据输入关系建立函数来确定标签身份数据。
[0030]根据第一方面方法的示例中，获取医疗设备顺序数据，该医疗设备顺序数据描述多个医疗设备的预定使用顺序。然后，基于医疗设备顺序数据确定标签身份数据。因此，可以根据医疗设备在多个医疗设备使用中的使用顺序来标识该医疗设备。例如，标签身份数据则描述其他待用医疗设备的预测。设备身份数据则描述其他待用医疗设备。
[0031]第二方面，本专利技术涉及一种确定视觉标识符、音频标识符和标签之间关系的计算机实施方法，视觉标识符、音频标识符和标签标识医疗设备。上述方法包括在至少一台计算机(例如，至少一台计算机作为导航系统的一部分)的至少一个处理器上执行以下由至少一个处理器执行的示例性步骤。
[0032](例如第一)示例性步骤中，获取音频数据，该音频数据描述音频标识符。
[0033](例如第二)示例性步骤中，获取图像数据，该图像数据描述一系列时间上连续的
数字图像，这些数字图像包括视觉标识符。
[0034](例如第三)示例性步骤中，基于音频数据确定音频元数据，该音频元数据描述音频标识符的转录，其中转录和图像数据在时间上同步，并且音频标识符与视觉标识符相关联。
[0035](例如第四)示例性步骤中，确定设备身份数据，该设备身份数据描述视觉标识符和音频标识符之间关系，其中通过将音频元数据输入关系建立函数来确定设备身份数据，该函数作为通过执行根据上述第一方面和下述第一至第十示例的方法训练过的学习算法的一部分。
[0036]如果根据第一方面方法包括通过将训练视觉元数据输入关系建立函数来训练学习算法，则根据第二方面方法例如包括以下步骤：基于图像数据确定视觉元数据，该视觉元数据描述每个数字图像中医疗设备的使用状态。然后，通过将视觉元数据输入关系建立函数来确定设备身份数据。
[0037]根据第一方面和第二方面方法的第一示例中，数字图像为静态图像或视频图像。
[0038]根据第一方面和第二方面方法的第二示例中，音频标识符包括或是语音信号，例如人声信号。
[0039]根据第一方面和第二方面方法的第三示例中，语音信号是人声信号，并且转录和/或训练转录是通过以下至少一步本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种训练学习算法来确定医疗设备身份的计算机实施方法，所述方法包括以下步骤：获取(S21)训练音频数据，所述训练音频数据描述音频标识符，所述音频标识符描述所述医疗设备身份；获取(S22)训练图像数据，所述训练图像数据描述一系列时间上连续的数字图像，所述数字图像包括视觉标识符，所述视觉标识符描述所述医疗设备身份；基于所述训练音频数据确定(S23)训练音频元数据，所述训练音频元数据描述所述音频标识符的训练转录；获取(S24)设备标签数据，所述设备标签数据描述与所述音频标识符和所述视觉标识符中至少一项相关联的标签，所述标签描述所述医疗设备身份；确定(S25)标签身份数据，所述标签身份数据描述用于建立所述视觉标识符、所述音频标识符和所述标签之间关系的学习算法的模型参数，其中，通过将所述训练音频元数据和所述设备标签数据输入关系建立函数来确定所述标签身份数据。2.根据前一项权利要求所述的方法，包括以下步骤：获取训练视觉元数据，所述训练视觉元数据描述每个所述数字图像中所述医疗设备的使用状态，其中，通过将所述训练视觉元数据输入所述关系建立函数来确定所述标签身份数据。3.根据前述权利要求中任一项所述的方法，包括以下步骤：基于所述训练图像数据确定所述训练视觉元数据，其中，所述训练转录和所述视觉标识符在时间上同步，并且所述训练转录与所述视觉标识符相关联，其中，通过将所述训练视觉元数据输入所述关系建立函数来确定所述标签身份数据。4.一种确定视觉标识符、音频标识符和标签之间关系的计算机实施方法，所述视觉标识符、所述音频标识符和所述标签标识医疗设备，所述方法包括以下步骤：获取(S31)音频数据，所述音频数据描述所述音频标识符；获取(S32)图像数据，所述图像数据描述一系列时间上连续的数字图像，所述数字图像包括所述视觉标识符；基于所述音频数据确定(S33)音频元数据，所述音频元数据描述所述音频标识符的转录，其中，所述转录和所述图像数据在时间上同步，并且所述音频标识符与所述视觉标识符相关联；确定(S34)设备身份数据，所述设备身份数据描述所述视觉标识符和所述音频标识符之间关系，其中，通过将所述音频元数据输入关系建立函数来确定所述设备身份数据，所述关系建立函数作为通过执行根据权利要求1至2中任一项或者根据从属于权利要求1至2中任一项时权利要求5至19中任一项或者根据从属于权利要求1至2中任一项时权利要求11至21中任一项所述的方法训练过的学习算法的一部分。5.根据前一项权利要求所述的方法，其中，通过执行根据权利要求3所述的方法训练过所述学习算法，并且基于所述图像数据确定视觉元数据，所述视觉元数据描述每个所述数字图像中所述医疗设备的使用状态，其中，通过将所述视觉元数据输入所述关系建立函数来确定所述设备身份数据。6.根据前述权利要求中任一项所述的方法，其中，所述数字图像为静态图像或视频图
像。7.根据前述权利要求中任一项所述的方法，其中，所述音频标识符包括或是语音信号，例如人声信号。8.根据前述权利要求中任一项所述的方法，其中，所述语音信号是人声信号，并且所述转录和/或所述训练转录是通过以下至少一步生成：语言翻译所述语音信号描述的词语，滤除所述语音信号描述的关键词，滤除所述语音信号描述的患者标识符，滤除所述语音信号描述的健康信息，消除所述语音信号中包含的噪声，确定所述语音信号描述关键词的预定组合。9.根据前述权利要求中任一项所述的方法，其中，所述视觉标识符是所述数字图像中所述医疗设备的图像呈现。10.根据前述权利要求中任一项所述的方法，其中，所述转录包括以下至少一种关于所述语音信号的信息，例如检测到语音信号的信息、语音信号、字符串变量、关于语音信号声源方向的信息、关于语音信号发声人的信息。11.根据前七项权利要求中任一项所述的方法，其中，获取音频确认数据，所述音频确认数据描述指示所述医疗设备身份的人声信号，并且基于所述音频确认数据确定所述设备身份数据。12.根据前述权利要求中任一项所述的方法，其中，至少一个所述数字图像包括所述医疗设备和用于支撑所述医疗设备的设备支撑单元的图像呈现，所述方法包括以下步骤：基于将所述至少一个数字图像中所述医疗设备和所述设备支撑单元之间的相对位置与所述医疗设备和所述设备支撑单元之间的预定相对位置进行比较来确定所述图像标识符。13.根据前述权利要求中任一项所述的方法，其中，通过以下至少一项定义所述使用状态：所述医疗设备的清洁状态；所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。