一种内容相关的GPU实时粒子特效方法技术

本发明专利技术公开了一种内容相关的GPU实时粒子特效方法。它在GPU中对视频/图片画面内容进行分析，利用光流估计算法计算图像的亮度、梯度及相邻视频帧的位移变化量，提取画面内容轮廓、空间/时间变化过程和运动轨迹，再根据自定义模板及规则，在图像边缘轮廓或运动轨迹中随机生成和排布粒子，然后利用现代GPU可编程管线的特性，通过编写自定义计算着色器控制并调节粒子及发射器的各种参数，结合空间/时间变化进行粒子的更新迭代，最后基于图形渲染及后处理特效技术，渲染并绘制出粒子效果。本发明专利技术的有益效果是：实现品类更加丰富，沉浸真实感更强；提高算法的处理效率，降低CPU负载，满足实时性处理要求；丰富粒子的视觉效果，增强物理真实感。理真实感。理真实感。

【技术实现步骤摘要】
一种内容相关的GPU实时粒子特效方法


[0001]本专利技术涉及图像处理相关
，尤其是指一种内容相关的GPU实时粒子特效方法。

技术介绍

[0002]粒子系统是计算机图形学中用于模拟特定现象或视觉效果的常用技术之一，它在模仿自然现象、物理特效等方面上独具优势，它能够实现一些真实自然且具备随机性的效果，如火焰、爆炸、烟雾、水流、雨雪等。粒子系统因其丰富视觉效果和灵活的表现，在图像处理、视频剪辑、游戏特效等领域有着广泛的应用。
[0003]粒子系统的组成部分包括粒子群、发射器、影响器和渲染器等模块，它通过参数更新和物理模拟阶段，将特定形状的三维粒子利用纹理贴图等方法渲染并呈现给用户。现有的粒子系统是通过为视频/图像画面增添辅助元素来丰富视觉效果表现力的，而粒子的大小、位置、颜色、形状、纹理与画面内容无关。
[0004]将视频/图片画面内容与粒子系统相结合，可以进一步增强粒子效果丰富度及其表现力，也是当前研究热点之一。同时，在当前移动互联网时代，连接设备的品种丰富多样，但硬件资源和计算能力却相对有限，如何充分利用计算设备能力以支撑实时渲染的粒子系统，变成了一大难点。

技术实现思路

[0005]本专利技术是为了克服现有技术中存在上述的不足，提供了一种支撑实时渲染的内容相关的GPU实时粒子特效方法。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]一种内容相关的GPU实时粒子特效方法，具体包括如下步骤：
[0008](1)根据具体应用场景需要选择合适的粒子效果模板，或根据需求设置粒子系统的初始参数；
[0009](2)采用光流算法，利用GPU并行处理能力，实时分析视频/图片画面内容，计算图像的亮度、梯度及相邻视频帧的位移变化量，利用Canny算子提取画面内容的边缘轮廓；
[0010](3)利用显著性算法和物体分割算法，进行视频/图像的智能分析并获取视频的感兴趣区域、主要对象和遮罩信息；
[0011](4)根据粒子效果模板及规则，选择画面区域作为粒子的发射区域，以发射区域为中心随机生成和排布粒子；
[0012](5)编写自定义GPU计算着色器，并结合画面内容的亮度、梯度和相邻视频帧的位移变化量，实现调节和控制粒子的更新迭代过程；
[0013](6)基于三维图形渲染及影视后处理特效技术，渲染和绘制粒子，根据场景和效果需求，应用遮罩信息以实现粒子特效效果。
[0014]上述方法根据视频/图片画面内容及时间/空间变化，通过调节并控制粒子的大
小、方向、位置、速度、加速度、旋转、形状、颜色、透明度、纹理、灯光、生命周期、运动轨迹等粒子及发射器参数，可以实现品类更加丰富，沉浸真实感更强，视觉效果更自然的粒子效果；结合深度神经网络等机器学习技术，智能分析并获取视频/图片感兴趣区域，提取主要物体及遮罩信息，可以模拟并实现出更加贴合物理真实的视觉特效；充分利用现代GPU高效且强大的并行流水线处理能力，采用光流法在GPU中实时分析视频/图片画面内容，提取空间和时间的变化过程和运动向量，并利用计算着色器调节并控制粒子参数变化及更新过程，大大提高了算法的处理效率，降低了CPU负载，满足实时性处理要求；可便捷地模板化粒子物理模拟和图形渲染过程，级联其他影视后期处理滤镜，丰富粒子的视觉效果，增强物理真实感。
[0015]作为优选，在步骤(1)中，粒子系统的初始参数包括贴图纹理、基础形状、基本尺寸、初始速度、灯光阴影、发射速度。
[0016]作为优选，在步骤(2)中，假设输入图像I的颜色空间为RGB，其他颜色空间的图像按照标准公式转换到RGB颜色空间，t时刻图像(x，y)坐标处RGB颜色值为[R
t
(x，y)，G
t
(x，y)，B
t
(x，y)]，那么t时刻图像(x，y)坐标处的亮度计算公式为：L
t
(x，y)＝R
t
(x，y)*0.2126+G
t
(x，y)*0.7152+B
t
(x，y)*0.0722。
[0017]作为优选，在步骤(2)中，在获得t时刻整幅图像的亮度值L
t
后，利用Sobel算子在每个坐标(x，y)的3x3区域中计算图像的水平方向梯度G
ht
和垂直方向的梯度G
vt
，其计算公式为：
[0018]G
ht
(x，y)＝L
t
(x+1，y
‑
1)+2.0*L
t
(x+1，y)+L
t
(x+1，y+1)
‑
L
t
(x
‑
1，y
‑
1)
‑
2.0*L
t
(x
‑
1，y)+L
t
(x
‑
1，y+1)
[0019]G
vt
(x，y)＝L
t
(x
‑
1，y+1)+2.0*L
t
(x，y+1)+L
t
(x+1，y+1)
‑
L
t
(x
‑
1，y
‑
1)
‑
2.0*L
t
(x，y
‑
1)+L
t
(x+1，y
‑
1)
[0020]而图像的梯度幅值计算公式为：
[0021][0022]利用Canny算法过滤非极值，并使用上下阈值以获得图像的边缘轮廓。
[0023]作为优选，在步骤(2)中，根据光流算法的亮度恒定和光流场平滑的两个基本假设，同一目标物体运动时，其亮度不会发生明显改变，时间的变化也不会引起目标物体位置的剧烈变化，相邻帧的目标物体位移较小；假设某一个目标物体t时刻(x，y)坐标处的亮度L
t
(x，y)，经过间隔时间dt移动了(dx，dy)距离，根据亮度恒定假设，L
t
(x，y)＝L
t+dt
(x+dx，y+dy)，对等式右边进行泰勒级数展开，得到
[0024][0025][0026]δ表示二阶变化量，可忽略，对等式两边同除以dt后得到：
[0027][0028]其中和分边表示图像水平方向和垂直方向的导数，即图像梯度G
ht
和G
vt
，表示图像在时间维度的变化量，而和则表示光流沿着水平方向和垂直方向的速度矢量，定义为即为相邻视频帧的位移变化量。
[0029]作为优选，在步骤(3)中，视频/图像内容中包含人脸/人像/人体这些主要对象的区域为视频/图像的感兴趣区域，而遮罩信息则表示感兴趣区或主要对象的黑白掩膜图像。
[0030]作为优选，在步骤(4)中，具体为：在感兴趣区域、主体对象、边缘轮廓和运动轨迹四个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种内容相关的GPU实时粒子特效方法，其特征是，具体包括如下步骤：(1)根据具体应用场景需要选择合适的粒子效果模板，或根据需求设置粒子系统的初始参数；(2)采用光流算法，利用GPU并行处理能力，实时分析视频/图片画面内容，计算图像的亮度、梯度及相邻视频帧的位移变化量，利用Canny算子提取画面内容的边缘轮廓；(3)利用显著性算法和物体分割算法，进行视频/图像的智能分析并获取视频的感兴趣区域、主要对象和遮罩信息；(4)根据粒子效果模板及规则，选择画面区域作为粒子的发射区域，以发射区域为中心随机生成和排布粒子；(5)编写自定义GPU计算着色器，并结合画面内容的亮度、梯度和相邻视频帧的位移变化量，实现调节和控制粒子的更新迭代过程；(6)基于三维图形渲染及影视后处理特效技术，渲染和绘制粒子，根据场景和效果需求，应用遮罩信息以实现粒子特效效果。2.根据权利要求1所述的一种内容相关的GPU实时粒子特效方法，其特征是，在步骤(1)中，粒子系统的初始参数包括贴图纹理、基础形状、基本尺寸、初始速度、灯光阴影、发射速度。3.根据权利要求1所述的一种内容相关的GPU实时粒子特效方法，其特征是，在步骤(2)中，假设输入图像I的颜色空间为RGB，其他颜色空间的图像按照标准公式转换到RGB颜色空间，t时刻图像(x，y)坐标处RGB颜色值为[R
t
(x，y)，G
t
(x，y)，B
t
(x，y)]，那么t时刻图像(x，y)坐标处的亮度计算公式为：L
t
(x，y)＝R
t
(x，y)*0.2126+G
t
(x，y)*0.7152++B
t
(x，y)*0.0722。4.根据权利要求3所述的一种内容相关的GPU实时粒子特效方法，其特征是，在步骤(2)中，在获得t时刻整幅图像的亮度值L
t
后，利用Sobel算子在每个坐标(x，y)的3x3区域中计算图像的水平方向梯度G
ht
和垂直方向的梯度G
vt
，其计算公式为：G
ht
(x，y)＝L
t
(x+1，y
‑
1)+2.0*L
t
(x+1，y)+L
t
(x+1，y+1)
‑
L
t
(x
‑
1，y
‑
1)
‑
2.0*L
t
(x
‑
1，y)+L
t
(x
‑
1，y+1)G
vt
(x，y)＝L
t
(x
‑
1，y+1)+2.0*L
t
(x，y+1)+L
t
(x+1，y+1)
‑
L
t
(x
‑
1，y
‑
1)
‑
2.0*L
t
(x，y
‑
1)+L
t
(x+1，y
‑
1)而图像的梯度幅值计算公式为：利用Canny算法过滤非极值，并使用上下阈值以获得图像的边缘轮廓。5.根据权利要求4所述的一种内容相关的GPU实时粒子特效方法，其特征是，在步骤(2)中，根据光流算法的亮度恒定和光流场平滑的两个基本假设，同一目标物体运动时，其亮度不会...

【专利技术属性】
技术研发人员：胡国柱，
申请(专利权)人：杭州小影创新科技股份有限公司，
类型：发明
国别省市：