一种视频流处理显示方法、系统及存储介质技术方案

本发明专利技术公开了一种视频流处理显示方法、系统、电子设备及存储介质，涉及人工智能技术领域，所述方法将原始视频流进行处理得到抽帧图像及未抽帧图像；将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；将所述未抽帧图像及所述第一图像编码成目标视频流；将所述目标视频流通过rtsp推送到客户端进行显示，提高医生分析图像的准确率，同时保证采集图像的实时性。

【技术实现步骤摘要】
一种视频流处理显示方法、系统及存储介质
本专利技术涉及人工智能
，尤其涉及一种视频流处理显示方法、系统、电子设备及存储介质。
技术介绍
DICOM(DigitalImagingandCommunicationsinMedicine)即医学数字成像和通信，是医学图像和相关信息的国际标准。它定义了质量能满足临床需要的可用于数据交换的医学图像格式。DICOM图像文件内容由两个部分组成：包存参数信息的文件头(Header)和图点数据(PixelData)。每个DICOM文件都必须包括该文件头。文件头的最开始是文件前言，它由128个字节00H组成，接下来是DICOM前缀，它是一个长度为4字节的字符串“DICM”，可以根据该值来判断一个文件是不是DICOM文件。文件头中还包括其它一些非常有用的信息，如文件的传输格式、生成该文件的应用程序等。图像像素则描述图像的每个点的亮度值。DICOM包含4个内容层次：1.Patient(病人)；2.Study(检查)；3.Series(系列)；4.Image(图像)。目前通过视频采集卡采集超声设备视频流方式可以满足动态模式和静态模式。但会面临下述问题：1、当前动态视频ai识别结果和静态图像ai识别结果一致，但重新识别静态jpg图像结果不一致；医生的工作流是先通过动态视频流查找可疑位置，再进行静态图片进行进一步的病灶判断。在动态视频上ai会实时的识别抽帧图像，在画面上实时绘制识别结果，医生此时从实时视频流中截取一张图像，存在图像识别结果和动态视频识别结果不一致问题。系统从视频流解码成图片，抽帧，ai预测抽帧的图像。抽帧的图像是原始的未压缩的rgb像素数据。动态视频流和静态图片来源一致，ai预测结果相同，产生的检出和分割的坐标点相同，因此当前动态视频抽帧图像和静态图像在图像上标注的位置相同，保存成静态jpg图像，发送到客户端显示图片和结节位置。此时客户端显示的图像和ai结果是正确的，和动态视频中的ai结果是相同的。但jpg有损压缩，无法还原原始像素值，解压缩后的值和内存中原始图像不同，再次导入jpg图像，ai识别结果不同。医生可能会对病人复诊，或者日后进行科研，会再次查看之前保存的图像，此时ai识别结果和之前识别结果不同。以上会导致产品不稳定，给医生带来困扰，甚至是误导医生，导致医疗事故。2、成本高，两台主机，成本较高；3、体积大，超声科室比较紧凑，两台设备往往会占用较大空间；4、网络延时，两台主机间要通过经过各自的网卡收发数据，处理流程多。
技术实现思路
本专利技术的目的在于提供一种视频流处理显示方法、系统、电子设备及存储介质，用于辅助医生诊断，提高医生分析图像的准确率，同时保证采集图像的实时性。第一方面，本专利技术实施例提供了一种视频流处理显示方法，用于辅助医生诊断，包括以下步骤：将原始视频流进行处理得到抽帧图像及未抽帧图像；将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；将所述未抽帧图像及所述第一图像编码成目标视频流；将所述目标视频流通过rtsp推送到客户端进行显示。可选地，将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像包括：将所述抽帧图像输入ai模型对病灶进行分类和检出、分割；将检出、分割的坐标点和分类结果绘制到所述抽帧图像上得到第一图像。可选地，所述图像处理显示方法还包括，对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。可选地，所述图像处理显示方法还包括：将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；将所述静态png图片和第二图像通过http协议发送到客户端进行显示。第二方面，本专利技术实施例提供了视频流处理显示系统，所述图像处理显示系统包括：超声设备，所述超声设备通过视频线连接到所述视频采集装置；linux超声ai主机，所述超声ai主机安装有视频采集装置，所述视频采集装置用于获取所述超声设备的动态视频流；手柄按键，所述linux超声ai主机捕获到触发事件，内存中保存抽帧图像，同时本地保存一张静态png图片。第三方面，本专利技术实施例提供了一种视频流处理显示装置，所述装置包括：第一图像获取模块，用于将原始视频流的抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；目标视频流获取模块，用于将原始视频流的未抽帧图像及所述第一图像编码成目标视频流；第一推送模块，用于将所述目标视频流通过rtsp推送到客户端进行显示。可选地，所述装置还包括：保存模块，用于对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。可选地，所述视频流处理显示装置还包括：第二图像获取模块，用于将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；第二推送模块，用于将所述静态png图片和第二图像通过http协议发送到客户端进行显示。第四方面，本专利技术提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述的方法。第五方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述方法的步骤。有益效果本专利技术提出了一种视频流处理显示方法，将原始视频流进行处理得到抽帧图像及未抽帧图像；将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；将所述未抽帧图像及所述第一图像编码成目标视频流；将所述目标视频流通过rtsp推送到客户端进行显示，提高医生分析图像的准确率，同时保证采集图像的实时性。附图说明图1为本专利技术实施例的一种视频流处理显示方法的流程图；图2为本专利技术另一种实施例的一种视频流处理显示方法的流程图；图3为本专利技术一种实施例的视频流处理显示系统的结构框图；图4为本专利技术一种实施例的视频流处理显示装置的结构框图；图5为本专利技术另一种实施例的视频流处理显示装置的结构框图；图6为本专利技术实施例的一种电子设备的结构框图。具体实施方式下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。相关技术中，超声医生工作流程是：检查医生操作探头在扫描部位移动，进行实时动态本文档来自技高网...

【技术保护点】
1.一种视频流处理显示方法，用于辅助医生诊断，其特征在于，包括以下步骤：/n将原始视频流进行处理得到抽帧图像及未抽帧图像；/n将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；/n将所述未抽帧图像及所述第一图像编码成目标视频流；/n将所述目标视频流通过rtsp推送到客户端进行显示。/n

【技术特征摘要】
1.一种视频流处理显示方法，用于辅助医生诊断，其特征在于，包括以下步骤：
将原始视频流进行处理得到抽帧图像及未抽帧图像；
将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像；
将所述未抽帧图像及所述第一图像编码成目标视频流；
将所述目标视频流通过rtsp推送到客户端进行显示。


2.根据权利要求1所述的视频流处理显示方法，其特征在于，将所述抽帧图像输入ai模型，得到带有检出、分割的坐标点和分类结果的第一图像包括：
将所述抽帧图像输入ai模型对病灶进行分类和检出、分割；
将检出、分割的坐标点和分类结果绘制到所述抽帧图像上得到第一图像。


3.根据权利要求2所述的视频流处理显示方法，其特征在于，所述图像处理显示方法还包括，对所述抽帧图像进行保存，同时保存所述抽帧图像为静态png图片。


4.根据权利要求3任一项所述的视频流处理显示方法，其特征在于，所述图像处理显示方法还包括：
将所述静态png图片输入ai模型，得到带有检出、分割的坐标点和分类结果的第二图像；
将所述静态png图片和第二图像通过http协议发送到客户端进行显示。


5.一种视频流处理显示系统，其特征在于，所述图像处理显示系统包括：
超声设备，所述超声设备通过视频线连接到所述视频采集装置；
linux超声ai主机，所述超声ai主机安装有视频采集装置，所述视频采集装置用于获取所述...

【专利技术属性】
技术研发人员：陈宗喜，
申请(专利权)人：北京小白世纪网络科技有限公司，
类型：发明
国别省市：北京;11