基于深度神经网络的虚拟货币优化方法技术

本发明专利技术公开了一种基于深度神经网络的虚拟货币优化方法，首先对游戏货币系统进行数据采集和挖掘；然后采用增强学习的方法对高频数据对应的用户的购买行为进行深度学习；最后根据深度学习结果，制定游戏货币发放的增速减速策略。本发明专利技术能够根据用户的购买欲望灵活的增加货币供应量和减小货币供应量，加大了游戏的推广力度以及其娱乐性。

【技术实现步骤摘要】
基于深度神经网络的虚拟货币优化方法
本专利技术涉及一种基于深度神经网络的虚拟货币优化方法，属于网络游戏开发

技术介绍
网络虚拟货币是网络游戏盈利的主要系统之一，有效的通货膨胀可以使网游无限的进行下去。过快的通货膨胀会使玩家不适，过慢的通货膨胀会使游戏速度减慢。目前的网络游戏和手机游戏没有针对虚拟货币进行优化的方法。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种基于深度神经网络的虚拟货币优化系统，能够根据用户的购买欲望灵活的增加货币供应量和减小货币供应量。为解决上述技术问题，本专利技术提供一种基于深度神经网络的虚拟货币优化方法，包括以下步骤：1)对游戏货币系统进行数据采集和挖掘；2)采用增强学习的方法对高频数据对应的用户的购买行为进行深度学习；3)根据深度学习结果，制定游戏货币发放的增速减速策略。前述的步骤1)中，对游戏货币系统进行数据采集包括：1-1)用户画像，包括用户年龄、性别、工作、收入情况；1-2)每一次用户购买的历史记录；1-3)用户购买时的上下文数据，包括社交好友购买记录、游戏进行状态、全局货币化属性。前述的步骤1)中，进行数据挖掘是指，首先得到所有用户购买的历史数据，然后对每个用户购买行为进行统计，然后对用户按照购买频率进行排序，得到高频数据对应的用户。前述的步骤1)中，对于用户数据不完善的情况，对用户进行建模，提取信息完善的用户的特征信息，进行机器学习，利用机器学习结果对数据不完善用户的未知信息进行预测。前述的步骤2)中，进行深度学习，具体过程如下：首先定义Q-learning中的状态和动作，状态就是游戏的整体货币化情况以及每个人的购买状况，动作就是是否继续购买，如果购买，那么就得到一个difference，通过这个difference对状态和动作的函数Q(s,a)进行更新：Q(s,a):＝Q(s,a)+α[difference]其中，Q(s,a)代表Q-learning里面对状态和动作的建模，s为状态，a为动作，α为增强学习中的折扣因子，difference为一次增强学习结果；然后将Q(s,a)函数参数化为深度神经网络，来用神经网络来逼近这个复杂函数，神经网络的更新如下：w:＝w+α[difference]Q(s,a)其中，w为神经网络权值。前述的步骤3)中，根据深度学习结果，当用户在游戏的某个时间点购买行为增强，则增加货币供应量，反之，减少货币供应量。本专利技术所达到的有益效果：本专利技术能够根据用户的购买欲望灵活的增加货币供应量和减小货币供应量，加大了游戏的推广力度以及其娱乐性。具体实施方式下面对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术的基于深度神经网络的虚拟货币优化方法包括以下步骤：1、游戏货币系统进行数据采集和挖掘首先对游戏货币系统进行采集和挖掘。由于可以运营不同游戏，较老的游戏货币系统存在很多历史数据积累。对历史数据进行如下采集：1-1)用户画像，包括用户年龄、性别、工作、收入等的估计。1-2)每一次用户购买的历史记录。1-3)用户购买时的上下文数据，包括社交好友购买记录、游戏进行状态、全局货币化属性等等。然后对采集的历史数据进行挖掘，得到较高频特征，如社交好友对用户购买的刺激、全局货币化对用户的影响等等。挖掘过程如下，首先得到所有用户购买历史数据，然后对每个用户购买行为进行统计，例如按天、按月、按年等，然后对用户按照购买频率进行排序，得到高频数据对应的用户。对于用户数据不完善的情况，对用户进行建模，例如有些用户标注了自己的性别和年龄，那么我们可以通过这些标注用户并提取用户的特征，例如游戏时购买行为、好友、登陆时间、频率等等，进行机器学习，从而对其他没有标注性别和年龄的用户性别和年龄进行预测，以此来完善采样数据。2、采用增强学习的方法对高频数据对应的用户的购买力进行深度学习用户购买即奖励(Reward)，用户的游戏行为即其他动作(Action)。我们希望通过最大化全局游戏的购买力实现游戏盈利。因此，我们希望模拟每一个用户的行为来得到最后的购买力。由于是多智能体的学习问题，我们通过深度学习把左右游戏信息进行收集和特征表达，然后通过Q-learning来学习用户购买行为。首先定义Q-learning中的状态和动作，状态就是游戏的整体货币化情况、以及每个人的购买状况(已经花了多少钱、玩游戏到什么程度)，动作就是是否继续购买。如果购买，那么就得到一个“difference”。我们通过这个difference对状态和动作的函数Q(s,a)进行更新：Q(s,a):＝Q(s,a)+α[difference]Q(s,a)代表Q-learning里面对状态和动作的建模，s为状态，a为动作，α为增强学习中的折扣因子，difference为一次增强学习结果；我们通过对Q(s,a)函数参数化为深度神经网络，来用神经网络来逼近这个复杂函数，神经网络的更新如下：w:＝w+α[difference]Q(s,a)其中，w为神经网络权值。3、根据深度学习结果，制定游戏货币发放的增速减速策略。通过学习到用户在游戏进行到什么关键时间点容易刺激购买欲，得到发放更多游戏内部货币(例如金币)的策略。例如，在游戏战斗进行时，发现用户较为激动，购买欲望强烈，则加大推广力度，并增加货币供应量；反之，如果用户已经比较乏力，则减少推广，增加游戏的娱乐性。在全局上，我们同时引入全局货币化进行参数增加增强学习特征。经过基于深度学习的增强学习，我们可以有效得到全局货币化的行为在何时应该增速何时应该减速。最后通过历史数据模拟，与历史数据挖掘(用户购买记录、用户画像)结果进行对比验证。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
基于深度神经网络的虚拟货币优化方法，其特征在于，包括以下步骤：1)对游戏货币系统进行数据采集和挖掘；2)采用增强学习的方法对高频数据对应的用户的购买行为进行深度学习；3)根据深度学习结果，制定游戏货币发放的增速减速策略。

【技术特征摘要】
1.基于深度神经网络的虚拟货币优化方法，其特征在于，包括以下步骤：1)对游戏货币系统进行数据采集和挖掘；2)采用增强学习的方法对高频数据对应的用户的购买行为进行深度学习；3)根据深度学习结果，制定游戏货币发放的增速减速策略。2.根据权利要求1所述的基于深度神经网络的虚拟货币优化方法，其特征在于，所述步骤1)中，对游戏货币系统进行数据采集包括：1-1)用户画像，包括用户年龄、性别、工作、收入情况；1-2)每一次用户购买的历史记录；1-3)用户购买时的上下文数据，包括社交好友购买记录、游戏进行状态、全局货币化属性。3.根据权利要求1所述的基于深度神经网络的虚拟货币优化方法，其特征在于，所述步骤1)中，进行数据挖掘是指，首先得到所有用户购买的历史数据，然后对每个用户购买行为进行统计，然后对用户按照购买频率进行排序，得到高频数据对应的用户。4.根据权利要求2所述的基于深度神经网络的虚拟货币优化方法，其特征在于，所述步骤1)中，对于用户数据不完善的情况，对用户进行建模，提取信息完善的用户的特征信息，进行机器学习，利用机器学习结果对数...

【专利技术属性】
技术研发人员：秦谦，王宏志，
申请(专利权)人：江苏名通信息科技有限公司，
类型：发明
国别省市：江苏,32