图像处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，该方法包括：对漫画图片按照漫画格进行分割，生成多个候选图片和多个候选图片之间的第一排列顺序；针对每个候选图片，从候选图片中提取文本信息，以及，生成与文本信息对应的语音信息，以及，基于候选图片的画面内容和文本信息的语义中的至少一个，获取特效信息，以及基于特效信息，对候选图片和语音信息中的至少一个进行编辑，生成与候选图片匹配的具有目标特效的视频片段，其中，目标特效为与特效信息匹配的特效；按照第一排列顺序，对与各候选图片分别匹配的所述视频片段进行拼接，生成与所述漫画图片匹配的目标视频。本发明专利技术能够将已有漫画转换为视频。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及计算机可读存储介质
本专利技术涉及图像处理
，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着硬件技术的发展，移动智能设备在互联网的占比已经超过PC(PersonalComputer，个人计算机)端。与PC的横屏显示不同，移动设备主要是竖屏显示方式。因此，许多原本适用于PC的信息展示方式已经不适合移动端。以漫画来说，在PC端显示的漫画类型为页漫，由于PC端为宽屏、横屏显示，因此，为了适用于PC端的内容显示，页漫中的漫画格可以横向以及纵向排列，例如如图1所示的页漫，包括6个漫画格，画面内容较为密集；而随着技术的发展，目前移动端已经成为主流终端，由于移动端(例如手机)主要为窄屏、竖屏显示，因此，漫画开发者开发并创作了不同于页漫的条漫，例如如图2所示的条漫，条漫中的漫画格自上而下依次排序，通过连续画面叙述故事，在阅读时由于通过纵向阅读的多格长条形漫画，因此称为条漫画。条漫不同于页漫，条漫的漫画格采用上下结构进行排列，方便用户上下滑动切换显示的漫画格；并且条漫的内容不如页漫那么密集，适合小屏幕的观看。由此可见，因PC端和移动端对内容显示方式的差异，页漫和条漫难以兼容上述两类终端的内容显示，使得漫画开发者需要依据PC端和移动端的内容显示方式分别重新开发并创作可适合显示的漫画，造成漫画制作成本较高和制作效率低的问题。
技术实现思路
本专利技术实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，以解决相关技术中需要依据PC端和移动端的内容显示方式分别重新开发并创作可适合显示的漫画而导致的漫画制作成本高和制作效率低的问题。为了解决上述问题，根据本专利技术实施例的一个方面，本专利技术公开了一种图像处理方法，包括：对漫画图片按照漫画格进行分割，生成多个候选图片和所述多个候选图片之间的第一排列顺序；针对每个候选图片，从所述候选图片中提取文本信息，以及，生成与所述文本信息对应的语音信息，以及，基于所述候选图片的画面内容和所述文本信息的语义中的至少一个，获取特效信息，以及基于所述特效信息，对所述候选图片和所述语音信息中的至少一个进行编辑，生成与所述候选图片匹配的具有目标特效的视频片段，其中，所述目标特效为与所述特效信息匹配的特效；按照所述第一排列顺序，对与各候选图片分别匹配的所述视频片段进行拼接，生成与所述漫画图片匹配的目标视频。根据本专利技术实施例的另一方面，本专利技术还公开了一种图像处理装置，包括：分割模块，用于对漫画图片按照漫画格进行分割，生成多个候选图片和所述多个候选图片之间的第一排列顺序；处理模块，用于针对每个候选图片，从所述候选图片中提取文本信息，以及，生成与所述文本信息对应的语音信息，以及，基于所述候选图片的画面内容和所述文本信息的语义中的至少一个，获取特效信息，以及基于所述特效信息，对所述候选图片和所述语音信息中的至少一个进行编辑，生成与所述候选图片匹配的具有目标特效的视频片段，其中，所述目标特效为与所述特效信息匹配的特效；拼接模块，用于按照所述第一排列顺序，对与各候选图片分别匹配的所述视频片段进行拼接，生成与所述漫画图片匹配的目标视频。根据本专利技术实施例的又一方面，本专利技术还公开了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述任意一项所述的图像处理方法的步骤。根据本专利技术实施例的再一方面，本专利技术还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任意一项所述的图像处理方法中的步骤。根据本专利技术实施例的又一方面，本专利技术还公开了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。在本专利技术实施例中，可以利用已有的漫画图片，来对漫画图片按照漫画格进行分割，从而生成多个候选图片、多个候选图片之间的第一排列顺序；然后，针对每个候选图片生成该候选图片中文本信息对应的语音信息，以及基于候选图片的画面内容和所述文本信息的语义中的至少一个，来获取该候选图片的特效信息；然后，基于该特效信息，来对该候选图片以及语音信息中的至少一个进行编辑，使得生成的对应单个候选图片的视频片段的图像和/或音频信息是带有特效的，其该特效是匹配于该文本信息的语义和候选图片的画面内容中至少一项的，那么基于该视频片段所生成的目标视频所表达的漫画资源的动态性较高，使用户更有沉浸感。此外，通过按照第一排列顺序来对与各候选图片分别匹配的视频片段进行拼接，来生成漫画图片的目标视频，使得目标视频中播放的画面和音频能够符合漫画图片的叙事顺序，确保了漫画图片的内容表达准确性；且目标视频可以按照第一排列顺序拼接生成，因此用户无需手动操作，就可以自动按序浏览漫画图片的动态画面，以及自动按序收听漫画图片中文本信息所转换成的语音信息，提升了漫画的浏览便捷性。由于本专利技术实施例的方法能够利用已有的漫画图片，来生成目标视频，以声画结合的方式来展示漫画资源，因此，避免了开发者依据已有漫画资源的漫画内容，再依据PC端和移动端的内容显示方式分别重新开发并创作可适合显示的相同漫画内容的漫画，从而降低了漫画制作成本，并提升了漫画的制作效率。附图说明图1是现有技术中的一种页漫图像的示意图；图2是现有技术中的一种条漫图像的示意图；图3是本专利技术的一种图像处理系统实施例的结构框图；图4是本专利技术的一种图像处理方法实施例的步骤流程图；图5是本专利技术的一种页漫图像的标注示意图；图6是本专利技术的另一种图像处理方法实施例的部分步骤流程图；图7是本专利技术的又一种图像处理方法实施例的部分步骤流程图；图8是本专利技术的一种图像处理装置实施例的结构框图；图9是本专利技术的一种图像处理装置实施例中的处理模块的结构框图；图10是本专利技术的另一种图像处理装置实施例的结构框图；图11是本专利技术的一种电子设备实施例的结构框图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。随着互联网的信息爆炸，用户接受信息的方式越来越快节奏，总体来说，信息载体的受欢迎程度是：视频>图片>文字。其中，ACG(Animation(动画)，Comic(漫画)和Game(游戏))文化越来越受用户欢迎。因此，相较传统的PC端而言，移动端的内容交互和显示方式能够得到更多用户的喜爱，比如信息流、短视频等。对于漫画而言，其载体是图片和文字，因此，漫画的受欢迎程度远不如视频类型的动画和游戏。其原因在于传统的漫画显示方式(页漫)不太适合目前的移动端的内容显示方式，也不适合目前的快节奏生活。此外，而如果直接去创作适合显示在移动端的漫画又会耗费较大的人力物力。因此，专利技术人为了解决相关技术中需要依据本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n对漫画图片按照漫画格进行分割，生成多个候选图片和所述多个候选图片之间的第一排列顺序；/n针对每个候选图片，从所述候选图片中提取文本信息，以及，生成与所述文本信息对应的语音信息，以及，基于所述候选图片的画面内容和所述文本信息的语义中的至少一个，获取特效信息，以及基于所述特效信息，对所述候选图片和所述语音信息中的至少一个进行编辑，生成与所述候选图片匹配的具有目标特效的视频片段，其中，所述目标特效为与所述特效信息匹配的特效；/n按照所述第一排列顺序，对与各候选图片分别匹配的所述视频片段进行拼接，生成与所述漫画图片匹配的目标视频。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
对漫画图片按照漫画格进行分割，生成多个候选图片和所述多个候选图片之间的第一排列顺序；
针对每个候选图片，从所述候选图片中提取文本信息，以及，生成与所述文本信息对应的语音信息，以及，基于所述候选图片的画面内容和所述文本信息的语义中的至少一个，获取特效信息，以及基于所述特效信息，对所述候选图片和所述语音信息中的至少一个进行编辑，生成与所述候选图片匹配的具有目标特效的视频片段，其中，所述目标特效为与所述特效信息匹配的特效；
按照所述第一排列顺序，对与各候选图片分别匹配的所述视频片段进行拼接，生成与所述漫画图片匹配的目标视频。


2.根据权利要求1所述的方法，其特征在于，所述基于所述特效信息，对所述候选图片和所述语音信息中的至少一个进行编辑，生成与所述候选图片匹配的具有目标特效的视频片段，包括：
当所述特效信息包括画面特效时，基于所述画面特效的特效参数对所述候选图片进行编辑，以获取多帧图像，以及，基于所述画面特效的特效参数，获取所述多帧图像的第二排列顺序和各帧图像的显示时长，以及，按照所述第二排列顺序和所述显示时长，将所述多帧图像编辑为第一视频；和/或，当所述特效信息包括音频特效时，在所述语音信息中添加所述音频特效，生成音频数据；
将所述第一视频的视频开始时间和所述音频数据的音频开始时间进行对齐，生成与所述候选图片匹配的具有目标特效的视频片段。


3.根据权利要求1所述的方法，其特征在于，所述基于所述候选图片的画面内容和所述文本信息的语义中的至少一个，获取特效信息，包括：
获取与所述候选图片的目标内容匹配的场景信息和/或剧情信息，其中，所述目标内容为所述候选图片的画面内容和所述文本信息的语义中的至少一个；
获取与所述场景信息和/或所述剧情信息匹配的第一特效信息，以作为所述候选图片的特效信息。


4.根据权利要求1所述的方法，其特征在于，当所述文本信息包括拟声词时，基于所述文本信息的语义，获取特效信息，包括：
获取与所述拟声词匹配的第二特效信息，以作为所述候选图片的特效信息。


5.根据权利要求1所述的方法，其特征在于，当所述文本信息包括与不同对话框匹配的多组文本段时，所述生成与所述文本信息对应的语音信息，包括：
针对每个对话框，基于人物与对话框之间的预设第一对应关系，识别与所述对话框匹配的目标人物；
针对每个目标人物，基于所述漫画图片的人物与音色类型之间...

【专利技术属性】
技术研发人员：王波，张骞，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11