图像处理方法及装置、计算机可读存储介质、电子设备制造方法及图纸

本发明专利技术涉及计算机技术领域，提供了一种图像处理方法及装置、计算机可读存储介质、电子设备。该图像处理方法包括：通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流；将所述视频流实时发送至终端设备；接收所述终端设备实时发送的用户对所述视频流的操作信息，并通过所述第一引擎对所述操作信息进行处理以实现对所述图像帧的控制。本发明专利技术一方面能够减少数据的传输量，减少卡顿、提高画面质量；另一方面方便用户对画面的操作，真切感受虚拟与现实的交互，提升了用户体验。

Image Processing Method and Device, Computer Readable Storage Media and Electronic Equipment

The invention relates to the field of computer technology, and provides an image processing method and device, a computer readable storage medium and an electronic device. The image processing method includes: generating a plurality of image frames by rendering the first engine and encoding and compressing each image frame to form a video stream; sending the video stream to the terminal device in real time; receiving the user's operation information of the video stream sent by the terminal device in real time, and processing the operation information through the first engine to realize the above-mentioned operation information. Control of image frames. On the one hand, the invention can reduce the amount of data transmission, reduce the carton and improve the quality of the picture; on the other hand, it is convenient for the user to operate the picture, truly feel the interaction between virtual and reality, and enhance the user experience.

【技术实现步骤摘要】
图像处理方法及装置、计算机可读存储介质、电子设备
本专利技术涉及计算机
，具体而言，涉及一种图像处理方法及装置、计算机可读介质及电子设备。
技术介绍
为了使用户体验身临其境，真正感受三维空间内的事物，虚拟现实技术得到了广泛的应用，利用计算机模拟产生三维空间的虚拟世界，提供用户各种感官模拟体验，当用户执行动作时，计算机进行复杂运算，以增强用户在三维世界的真实感受。常见的虚拟现实技术主要应用于游戏或虚拟拍摄中，为了进一步提高用户对真实效果的体验，可以使用户在游戏或虚拟拍摄中使用移动设备，例如手机或平板电脑，但是采用游戏引擎制作游戏场景时，需要强大的CPU和GPU硬件资源，因此在虚拟现实交互的过程中，存在数据传输量大、卡顿、画质差等问题，用户体验差。因此本领域亟需寻求一种新的图像处理方法及装置。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种图像处理方法及装置、计算机可读介质及电子设备，进而减少数据传输量、减少卡段，提高画质，进而提升用户体验。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的第一方面，提供一种图像处理方法，其特征在于，包括：通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流；将所述视频流实时发送至终端设备；接收所述终端设备实时发送的用户对所述视频流的操作信息，并通过所述第一引擎对所述操作信息进行处理以实现对所述图像帧的控制。根据本专利技术的第二方面，提供一种图像处理装置，其特征在于，包括：视频流生成模块，用于通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流；发送模块，用于将所述视频流实时发送至终端设备；交互模块，用于接收所述终端设备实时发送的用户对所述视频流的操作信息，并通过所述第一引擎对所述操作信息进行处理以实现对所述图像帧的控制。在本专利技术的一些实施例中，基于前述方案，所述视频流生成模块包括：差别像素确定单元，用于确定各所述图像帧中的其它图像帧与关键图像帧之间的差别像素；第一编码单元，用于对所述关键图像帧和所述差别像素进行编码压缩，以形成所述视频流。在本专利技术的一些实施例中，所述图像帧为RGB格式的图像帧，基于前述方案，所述视频流生成模块包括：格式转换单元，用于将所述RGB格式的图像帧转换为YUV格式的图像帧，以获得多个目标图像帧；第二编码单元，用于将各所述目标图像帧进行编码压缩以形成所述视频流。在本专利技术的一些实施例中，基于前述方案，所述第二编码单元包括：数据包生成单元，用于通过预设编码方法分别对各所述目标图像帧进行编码压缩，以形成与各所述目标图像帧对应的图像数据包；视频流生成单元，用于根据各所述图像数据包形成所述视频流。在本专利技术的一些实施例中，基于前述方案，所述数据包生成单元包括：写入单元，用于在形成所述图像数据包时，写入所述图像帧对应的序列号和生成所述图像数据包对应的时间戳。根据本专利技术的第三方面，提供一种图像处理方法，其特征在于，包括：接收一视频流，所述视频流包括多个图像数据包，且各所述图像数据包是通过对多个图像帧分别进行编码压缩形成的；对所述图像数据包进行解码，以获得各所述图像帧；接收用户对所述图像帧的操作信息，并将所述操作信息发送至服务器。根据本专利技术的第四方面，提供一种图像处理装置，其特征在于，包括：接收模块，用于接收一视频流，所述视频流包括多个图像数据包，且各所述图像数据包是通过对多个图像帧分别进行编码压缩形成的；解码模块，用于对所述图像数据包进行解码，以获得各所述图像帧；数据获取模块，用于接收用户对所述图像帧的操作信息，并将所述操作信息发送至服务器。在本专利技术的一些实施例中，所述图像帧为YUV格式的图像帧，基于前述方案，所述图像处理装置还包括：格式转换模块，用于在获得各所述图像帧后，将所述YUV格式的图像帧转换为RGB格式的图像帧。在本专利技术的一些实施例中，基于前述方案，所述图像数据包包括所述图像帧的序列号和生成所述图像数据包对应的时间戳。在本专利技术的一些实施例中，基于前述方案，所述图像处理装置包括：检测模块，用于根据所述图像帧的序列号进行掉帧检测，并根据所述时间戳确定相邻的所述图像帧之间的时间间隔。在本专利技术的一些实施例中，基于前述方案，所述检测模块包括：掉帧判断单元，用于根据所述图像帧的序列号判断所述视频流中是否存在丢失图像帧，所述丢失图像帧具有目标序列号；图像帧选取单元，用于在判定存在时，将与所述目标序列号相邻的前一序列号对应的图像帧作为所述目标序列号对应的图像帧。在本专利技术的一些实施例中，基于前述方案，所述图像处理装置包括：控件生成模块，用于基于第二引擎生成多个功能控件，并通过所述功能控件对所述图像帧进行控制。根据本专利技术的第五方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中所述的图像处理方法。根据本专利技术的第六方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的图像处理方法。根据本示例实施例中的图像处理方法，首先通过第一引擎渲染生成多个图像帧，并将多个图像帧进行编码压缩形成视频流；接着将视频流实时发送到终端设备，并呈现在终端设备的显示屏幕上；然后获取用户对视频流的操作信息，并通过第一引擎对该操作信息进行处理以实现对图像帧的控制。本专利技术一方面能够减少数据的传输量，减少卡顿、提高画面质量；另一方面方便用户对画面的操作，真切感受虚拟与现实的交互，提升了用户体验。本专利技术应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出可以应用本专利技术实施例的图像处理方法或图像处理装置的示例性系统架构的示意图；图2示出了适于用来实现本专利技术实施例的电子设备的计算机系统的结构示意图；图3示出本专利技术一实施例中的图像处理方法的流程图；图4示出本专利技术一实施例中的编码压缩图像帧形成视频流的流程示意图；图5示出本专利技术一实施例中的YUV420sp存储格式的结构示意图；图6示出本专利技术一实施例中图像处理方法的流程图；图7示出本专利技术一实施例中掉帧检测的流程示意图；图8示出本专利技术一实施例中移动终端中显示的图像；图9示出本专利技术一实施例中图像处理装置的结构示意图；图10示出本专利技术一实施例中图像处理装置的结构示意图；图11示出本专利技术一实施例中图像处理装置的结构示意图；图12示出本专利技术一实施例中图像处理装置的结构示意图；。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。此外本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流；将所述视频流实时发送至终端设备；接收所述终端设备实时发送的用户对所述视频流的操作信息，并通过所述第一引擎对所述操作信息进行处理以实现对所述图像帧的控制。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流；将所述视频流实时发送至终端设备；接收所述终端设备实时发送的用户对所述视频流的操作信息，并通过所述第一引擎对所述操作信息进行处理以实现对所述图像帧的控制。2.根据权利要求1所述的图像处理方法，其特征在于，通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流，包括：确定各所述图像帧中的其它图像帧与关键图像帧之间的差别像素；对所述关键图像帧和所述差别像素进行编码压缩，以形成所述视频流。3.根据权利要求1所述的图像处理方法，其特征在于，所述图像帧为RGB格式的图像帧，通过第一引擎渲染生成多个图像帧，并将各所述图像帧进行编码压缩以形成视频流，包括：将所述RGB格式的图像帧转换为YUV格式的图像帧，以获得多个目标图像帧；将各所述目标图像帧进行编码压缩以形成所述视频流。4.根据权利要求3所述的图像处理方法，其特征在于，将各所述目标图像帧进行编码压缩以形成所述视频流，包括：通过预设编码方法分别对各所述目标图像帧进行编码压缩，以形成与各所述目标图像帧对应的图像数据包；根据各所述图像数据包形成所述视频流。5.根据权利要求4所述的图像处理方法，其特征在于，通过预设编码方法分别对各所述目标图像帧进行编码压缩，以形成与各所述目标图像帧对应的图像数据包，包括：在形成所述图像数据包时，写入所述图像帧对应的序列号和生成所述图像数据包对应的时间戳。6.一种图像处理方法，其特征在于，包括：接收一视频流，所述视频流包括多个图像数据包，且各所述图像数据包是通过对多个图像帧分别进行编码压缩形成的；对所述图像数据包进行解码，以获得各所述图像帧；接收用户对所述图像帧的操作信息，并将所述操作信息发送至服务器。7.根据权利要求6所述的图像处理方法，其特征在于，所述图像帧为YUV格式的图像帧，所述方法还包括：在获得各所述图像帧后，将所述YUV格式的图像帧转换为...

【专利技术属性】
技术研发人员：解卫博，李静翔，王刚，
申请(专利权)人：深圳市腾讯信息技术有限公司，
类型：发明
国别省市：广东,44