基于数据可视化与随机森林的 电信套餐匹配问题研究

发布时间:2021-04-01 浏览次数:350

                                                                                   作者:齐可心、王雪、朱潇



一、引言

(一)研究背景

随着互联网在人类生活中的普及,越来越多的运营商更加关注顾客的各项消费信息,希望能基于顾客的基本信息和消费行为,给各类顾客提供满足顾客需求、提供便利的服务,从而留住长期客户,吸引新客户,提高企业的科学决策能力,增强市场经营决断能力,从而提高自身市场竞争力,在国内电信企业的白热化竞争中夺得一席之地。

中国电信、中国移动和中国联通三家电信运营商是我国通信行业中最具有竞争力的三大企业,也是最先推出套餐服务的企业,套餐因其特有的隐蔽性和不易模仿性,成为了三家运营商最强有力的竞争武器,通过比较三家公司的2011年到2019年的营业额,可以发现,中国移动的营业收入在三大运营商中处于领导地位,中国电信稍高于中国联通,三家运营商的营业收入在2011-2019年间均逐步增长,体现出我国通信行业的繁荣发展。


1三大运营商营业额比较

 

 

但相比较而言,中国联通所占的市场份额较小,且十年间营业收入的增幅较小,因此中国联通需要通过改善客户的使用体验,吸引更多的潜在用户,提升自己的竞争力,才能在激烈的市场竞争中占得一席之地。

如何给每一位用户配置合理的套餐,就像给每一位用户挑选合适的鞋子一样重要。给用户推荐的套餐不仅要能在用户所能承受的价格范围内,而且套餐所带来的通话、上网、短信等服务能够满足用户需求,也就是说,为用户配置性价比最高的套餐产品。当用户需求与运营商提供的服务达到最佳匹配状态时,能够提高用户的使用体验感,同时保留住既有用户,而且能够吸引新用户加入。本文通过分析已有移动公司用户特征以及办理的相应套餐,以及用户的各类信息,进行可视化分析,以用户选择的套餐作为输出,构建分类模型,,用户提供套餐选择工具,最后为企业带来更大收益。

基于上述背景,各大电信公司推出了一系列的用户套餐,但根据调查显示,在电信运营商推出的套餐中,用户弃用和无用的套餐数量占比30%,因此用户如何在数量繁多的套餐和业务组合中选择适合自己的套餐和业务组合?答案往往是只能通过不断的尝试去选出更加契合自身使用习惯的套餐和业务组合。而在此过程中,过于繁杂和多样化的套餐信息具有很强的误导性,用户在疲于找到满足自身基本需求的组合,也很难发现自身对新业务的兴趣和潜在需求,信息过载问题在套餐和业务选择上表现得非常突出。在目前的电信运营商市场中,用户容量趋于饱和,如何提高用户忠诚,降低离网率,发掘用户的业务消费潜能,是各大企业亟需解决的首要问题,只有提高用户消费满意度,企业发展才能在当今竞争激烈的市场中立足于不败之地。

综上所述,企业的焦点工作需要从设计套餐和业务向客户推荐适合每位用户的套餐转变,从套餐管理这个焦点角度去发掘提高用户忠诚的手段,有效的套餐推荐将是必然选择,不仅提高用户的体验感,也为运营商创建了全新的商业增长点。

(二)目的及意义

随着数智化和5G时代的来临,电信套餐推荐是提升服务智能化水平的重要手段,基于消费者行为的电信套餐研究具有较高的理论价值和应用价值。

 

从企业角度,对用户消费行为进行可视化分析和建模,能够给企业的套餐设计提供思路,也使得套餐的推广更加有效和准确,对于不同的人群,可以推荐定向套餐,提高用户忠诚度和企业利润。

从用户角度,帮助用户发现自身的需求,获得更符合自身的需要的服务。更好地满足个性化需求,给予消费者更大的便利和选择空间,增大了用户获得适合的套餐和业务组合的可能性和成功率,发掘用户潜在需求的套餐和业务组合。

(三)研究方法

基于用户信息,利用数据可视化分析比较各类用户的消费行为,利用随机森林模型具体建模,根据用户各项信息,推荐合适的套餐和业务。

二、数据准备

(一)数据来源及变量描述

Data Fountain( https://www.datafountain.cn/competitions/311/datasets)为数据来源,利用交叉验证方法,选取原数据30%的数据作为检验集,70%的数据作为可视化与建模的训练集。

本文数据共有25个变量,包含用户基本信息字段:用户ID(user_id)、性别(gender)、年龄(age),用户消费信息:套餐类型(current_service)、在网时长(online_time)、本地通话时长(local_caller_time)、月流量(month_traffic)等变量,具体描述如变量描述表所示。

1变量描述

字段

中文名

说明

USERID

用户ID

用户编码,标识用户的唯一字段

gender

性别

1:男,2:女

age

年龄

 

current_type

套餐

11个编号,对应10种套餐类型

service_type

套餐类型

12I2C44G

is_mix_service

固移融合套餐

1:是,0:否

online_time

在网时长

单位:月

1_total_fee

当月总出账金额

单位:元

2_total_fee

当月前第1个月总出账金额

3_total_fee

当月前第2个月总出账金额

4_total_fee

当月前第3个月总出账金额

month_traffic

当月累计流量

单位:MB

many_over_bill

连续4个月超出套餐

1:是,0:否

contract_type

合约类型

6种合约类型

contract_time

合约时长

单位:月

is_promise_low_consume

承诺最低消费用户

1:是,0:否

pay_times

当月交费次数

单位:次

pay_num

当月交费金额

单位:元

last_month_traffic

上月结转流量

单位:MB

local_trafffic_month

月累计本地数据流量

单位:MB

local_caller_time

本地语音主叫通话时长

单位:分钟

service1_caller_time

套外主叫通话时长

单位:分钟

service2_caller_time

上一月套餐外通话时长

单位:分钟

complaint_level

投诉重要性

1:普通,2:重要,3:重大

former_complaint_num

历史投诉总量

单位:次

(二)数据处理

缺失值的处理

对于数据中各字段的缺失值,由于样本量足够大,因此可以将存在缺失值的样本均删去。

连续变量离散化

将年龄离散化处理主要依据我国年龄划分的各个阶段,对应年龄与阶段如下表:

2年龄分段表

离散变量值

对应区间

少年

0-18

青年

19-40

中年

41-65

老年

65岁及以上

生成新变量

将套餐类型根据联通公司给出的信息进行分类,对应结果如下:

3套餐描述表

套餐类型

对应值

296元套餐

99999825

196元套餐

99999826

166元套餐

99999827

136元套餐

99999828

106元套餐

89950167

76元套餐

8995016699999830

56元套餐

89950168

蚂蚁大宝卡

90109916

腾讯大王卡

90063345

腾讯天王卡

90155946

三、数据可视化

用户年龄分布及在网时长


2用户年龄分布图

我们将人群按年龄分段,0-18为少年,19-40为青年,41-65为中年,65以上为老年。可以看出青年人是运营商的主要客户群体,占到客户总数的74.3%,青年人和中年人占比高达95%以上,因此通信行业公司的主要客户群体是青年及中年人。如何提高已有客户的粘度以及吸引新的客户群体,是运营商目前应该考虑的问题。并且由于少年群体的市场逐步扩大,该公司可以尝试推出适应少年群体的套餐去开拓新的市场。


3用户年龄频率分布图

将年龄按照性别分类画其频率分布图,可以发现男性用户约为女性用户的两倍,这与我国男女比例失衡有很大关系,另一方面也可以发现相比于女性,该运营商对男性用户的吸引力更大。


4用户在网时长分布图

将在网时长按照年龄段和性别分类,画出violin plot,我们发现,随着年龄的增加,在网时长较长的人会越来越多,直观来说,随着年龄的增长,人们更换运营商的意愿逐渐降低,并且当下手机号码绑定的东西越来越多,更换运营商的成本也越来越大。通信行业是一个用户粘度较高的行业,因此如何留住在网时长较短的用户是运营商需要考虑的重要问题。

服务类型


5服务类型分类

电信行业的服务类型在当时可以分为两类,一类是4G业务,一类是2I2C业务。2I2CTo Internet To Customer)业务由中国联通首创,聚焦年轻的互联网用户,与知名互联网企业深度合作,以流量经营为特色,开发物美价廉的2I2C产品。2I2C产品针对不同互联网用户群的特点进行了针对性设计,比如腾讯王卡的定向免流、蚂蚁大宝卡线下支付送流量等,通过较低的价格,带给用户告别WIFI,想用就用的畅玩体验。根据数据显示,客户使用4G2I2C的比例大致相当,2I2C的使用者比我们预想的要多,说明该产品受到了大众的欢迎。如果我们将男女分开分析的话会发现,男性使用2I2C的比例更大,而女性则更偏好4G服务类型的,可能因为男性经常会使用一些耗费流量更大的APP,而2I2C的免流服务可以帮助他们节省更多的费用。如果我们分人群来看的话会发现,少年和青年使用2I2C的比例更大,青年对于网络的使用时间比起其他群体来说更长,因此他们更偏好于节省流量的服务类型。而中老年群体对于定向流量的要求并不多,因此他们更偏好于4G服务。由于2I2C业务定位的客户群体就是年轻的互联网一代,因此该业务取得了不错的成绩

 

 

套餐类型


6套餐类型分布图

此我们获取到的数据中还包含了客户的套餐类型信息。其中腾讯大王卡、腾讯天王卡及蚂蚁大宝卡三种套餐属于2I2C服务类型,而其他套餐属于4G服务类型。就总体而言,使用腾讯大王卡的用户是最多的,腾讯大王卡、腾讯天王卡及蚂蚁大宝卡三种2I2C业务合计占总体比例的48.35%。而选择4G服务的人中,购买76元套餐的人数占比最大,其次是106元套餐,我们可以看出,100元左右的套餐能满足大部分的市场需求。分性别来看的话,男性市场中2I2C业务占据了半壁江山,且腾讯大王卡比例高达42%,说明男性用户对腾讯APP的使用需求较大。如果我们分年龄来看的话,可以明显的发现,少年群体对腾讯大王卡的需求是巨大的,且2I2C业务占据了95.46%的市场份额,少年群体对于语音通话及短信的需求较少,而对以腾讯旗下的各类APP为主的应用程序的流量需求巨大,因此腾讯大王卡和天王卡是最合适的选择。随着年龄的增加,2I2C业务对人群的吸引力逐渐降低。对于中老年人来说,腾讯的APP可能并不是他们日常使用的应用程序,因此普通的4G套餐更适合中老年群体。另外,我们发现相比于其他群体,中年群体的价格接受度较高,使用100元以上套餐的比例在四个群体中最高。

 

合约类型


7合约类型分布图

营业厅经常会推出设备与套餐的联合活动,比如合约机。通过分析数据,我们发现总体中选择无合约的人群占将近六成,其次是16.4%的人选择预付话费送手机,13.7%的人选择存费送费等优惠合约活动。在性别差异方面,男性和女性选择的合约类型结构并没有较大的不同。而年龄可以很好地体现出不同群体的差别。年龄最小的少年群体有96.6%的人选择无合约类型,随着年龄的增长,越来越多比例的人会接受营业商推出的优惠活动。例如,约28.8%的中年人选择预付话费送手机的优惠购机活动,而约40%的老年人会选择存费送费的合约类型。因此运营商可以根据市场的需求精准的向此类目标人群推荐合适的优惠活动,吸引更多的潜在用户,增加营业收入。

 

消费习惯


8每月交费次数分布图

 

9当月交费金额分布图

我们还分析了用户的当月交费金额及交费次数,这些变量可以反映出用户的消费习惯。我们发现,大部分的用户习惯于每月交1-2次费,交费费用控制在100以内。交费次数与交费金额与性别没有太大的关系。另外,我们发现90%的少年的交费金额在100以内,且交费次数的方差较大,每月交费3次及以上的人占到人群总比例的三分之一,这与少年群体可支配收入少,且网上营业厅可以办理缴费服务的便利有很大的关系。相较而言,老年群体的交费次数大多集中在1-2次,我们认为网上营业厅的各项服务对于老年人来说可能较为复杂,因此他们会减少使用网上营业厅的次数,或到营业大厅去交费,导致每月交费次数较低。此外,我们发现,作为社会的中流砥柱,中年群体的消费水平较高,有超过三分之一的人每月交费金额大于100元。


10用户每月消费变异箱线图

通过分析用户4个月内每个月的出账金额我们发现,用户选择的套餐价格越高,用户每月消费的变异系数相对越小,一种合理的解释是,套餐价格越高,套餐内包含的语音通话时间及流量就越多,用户超出套餐的可能性较小,因此每月的出账金额即为套餐价格,消费相对固定。而套餐的价格越低,用户超出套餐的可能性越大,因此造成每月的出账金额除了套餐费用外,还包括超出套餐的费用,用户的出账金额波动较大,由此导致变异系数较大。同理,腾讯大王卡只对腾讯的应用免流,用户每月花费在其他APP上的流量均计入套餐外消费,因此每月出账金额变异系数较大。

 

通话时长


11通话时长箱线图

通过以年龄为分类变量,画出每月通话时长的箱线图,可以发现,中年用户的通话时长最长,其次为老年用户、青年和少年,不难解释,在我们日常生活中,中年用户在工作和生活中,频繁使用的社交方式是电话和短信,因此可以解释该群体在各类用户中用户时间最长;老年用户使用电话一般与子女亲属的联系,且较少使用微信、微博等社交媒体;青年用户习惯使用社交网络沟通联系,因此每月通话时间较少,而少年用户,属于未成年用户,较少使用电子产品,且一般通话对象为父母同学,通话频率少,时间短。


各套餐相对投诉数量比较


12投诉次数比例图

根据各套餐类型,发现投诉数量占比最高的是296元套餐,最低的是腾讯大王卡套餐,并且,在4G套餐中随着套餐价格的下降,相对投诉数量也在不断下降,依据消费者的消费心里,使用较高消费套餐的消费者,期望能够的得到更好的服务,能够物超所值,所以当消费者发现服务与自己的预期存在差距时,往往倾向于向运营商投诉,维护自己的消费权益。因此296元套餐的相对投诉数量较多,且随着套餐价格下降相对投诉数量减少这种现象可以得到解释。对于2I2C套餐,其相对投诉数量明显低于4G套餐,即2I2C用户的满意度高于4G套餐,可能是2I2C套餐面向的用户是青年,青年用户对于服务的要求较低,4G套餐面向的客户是中年用户,该类用户对服务要求较高,因此2I2C套餐的相对投诉较少。


相关性分析


13相关系数图

将套餐类型、在网时长、是否连续四月超出套餐、合约类型、年龄和性别这6个变量画出相关系数图,根据上图可知,合约类型与是否连续四月超出套餐的相关系数为-0.73,呈现出负相关关系,可以发现使用4G类型套餐的用户的不容易发生经常超出套餐的情况,而使用2I2C的用户会经常出现超出套餐,是因为2I2C类型的套餐是限于只在某一类app中免流量,使用非指定的app需要额外的流量,而该类型的套餐,额外流量较少,同时该类套餐包括的每月限定通话时长也较短,因此,使用该类型套餐的用户会经常出现超套餐情况。套餐类型与在网时长的相关性也较高,可以得到使用4G类型套餐的用户在网时长较长,使用2I2C类型的用户在网时长较短的结论,由于大部分中年以上的用户习惯使用4G类型套餐,近5年内兴起的2I2C类型的套餐,对其吸引力不高,年龄和在网时长也呈现出一种正相关,因此在网时长较长的一般为中老年用户,就可解释 4G类型套餐的用户在网时长较长的现象。最后发现性别和其他相关性不大,说明性别并不是影响推荐套餐类型的重要因素。

各年龄段入网时间分析


14在网时长与年龄的关系图

由在网时长与年龄的计数图可以清晰的发现,大部分用户集中在在网时长为160个月左右,充分证明大部分消费者集中在2005年左右手机开始逐渐普及的时候办理手机卡,并且对手机号有一定的忠诚度,随着5G时代的到来,各种APP“百家争鸣,百花齐放,使用APP时手机绑定使得消费者对手机号码的依赖性进一步提高,但随着国家发布携号转网政策,消费者可以携带手机号转换运营公司,三大运营商间的内部竞争将随着5G的发展更加激烈,为消费者提供更加优质的套餐成为留住消费者的重要手段。此外,图中高年龄消费者的在网时长表现出断层的现象,表明高年龄组的消费者一部分集中在手机刚开始出现时,即2000年左右开始办理手机卡,正处在40-50岁的成功人士成为手机的第一批用户与生活常识较为符合,该部分消费者为长期用户,并且曾是主营业务的主要消费者,将拥有较高的客户等级及积分。另一部分高年龄的消费者集中在在网时长2-3年左右,即2018年左右开始入网,这部分老年人曾经是固定电话的忠实用户,但随着手机的普及、微信等视讯功能的出现,智能手机逐渐成为部分老年人与子女维持联系的主要设备。对于这部分消费者较为优惠的通话时长更具有吸引力。

消费者行为分类比较

为了更好的进行套餐推荐,使推荐结果在套餐资费可接受的约束条件下,能够尽可能的满足消费者的日常需求,使套餐内内容发挥最大效用,因此,对消费者的消费行为进行了进一步的分析。暂时不考虑消费者个人因素等变量影响,利用数据中本地通话时长、本地流量数据、当月累计流量、当月总出账额、交费金额、缴费次数等六个变量对消费者的消费行为进行分析。

首先,采用无监督学习方法——聚类分析针对这六个消费行为变量进行消费者类型的研究。


15聚类丛数选择图

从上图可以清晰的看出,当k值为5以后,误差减少的范围变得平稳,说明增加类别不能使模型的预测结果有较好的解释,考虑到模型的简洁性及过拟合的可能,选择5K值对数据进行聚类。聚类获得如下表所示的质心。

4聚类结果汇总

 

当月出账额

月累计流量

交费次数

交费金额

本地流量

本地通话时间

Cluster1

91.589

2.982

1.627

70.649

1.930

41.390

Cluster2

177.060

3.253

2.553

243.872

2.368

63.969

Cluster3

241.152

3.340

2.276

206.234

3.227

448.369

Cluster4

331.000

3.542

4.168

3010.730

3.204

185.039

Cluster5

302.594

3.508

3.661

646.944

2.804

122.418



16雷达图

 

从分类质心与总体质心比较的雷达图可以看出,不同类型的消费者对于流量、通话时长有不同的需求并且拥有不同的交费习惯。位于Cluster1的消费者对于通话时长及流量数据的消费均较低,并且没有存储花费的习惯,据此后续可以为该类型客户推荐最低消费套餐。Cluster3中的消费者有明显的高通话时长消费倾向,若向其推荐流量较多,通话时长普通的套餐很有可能造成客户的流失。Cluster4拥有高通话时长、高流量数据消费倾向,并且每次交费金额较高,存在套餐外消费的可能性,同时该消费者明显为高电信费用消费人群,生活中外卖小哥、快递员等将存在这种消费可能性,向这类人群推荐包含合约机的超值套餐有很大成功的可能性,将因电信业务上的优惠减少的盈利通过手机销售业务的方式进行补充,使得最终的总营收稳步上升。针对不同客户推荐和其消费倾向相似的套餐成功的可能性将有明显的提升。在节约成本的同时也保证了客户粘度的维护。

四、建立模型

本文中的套餐推荐属于多分类问题,并且数据解释变量包含连续变量和名义变量等不同形式,在进行模型的选择时需要考虑该数据集的独特性。

 

5模型选择优劣表

方法

优点

缺点

朴素贝叶斯

有坚实的数学基础及稳定的分类效率;对缺失数据不敏感,算法简单,常用于文本分类

假设属性见相互独立,实际中较多相关联变量

逻辑回归

计算代价不高,易于理解和实现;

可以结合L2正则化解决多重共线性

当特征空间很大时,容易发生欠拟合;

不能很好的处理大量多分类特征

K近邻

对数据没有假设,对异常值不敏感

样本不平衡时,预测偏差较大

决策树

可进行可视化分析,容易提取规则

容易发生过拟合,不考虑变量间的相关关系

随机森林

对决策树进行平均,降低过拟合风险,对异常值不敏感

训练时间较长,为黑匣子解决方案,无法观测内部个变量影响程度

考虑到数据集中存在25个解释变量,具有较大的特征空间、数据量达到70万,具有较高的数据量,对计算机的运行内存及解决时间有一定要求,此外各套餐间选择人数有较大差距,选择随机森林模型对数据进行预测。尽管随机森林模型无法明确的刻画每个特征变量对最终套餐推荐的影响,但能够有效的解决决策树中存在的过拟合问题。在电信套餐推荐问题中,更主要的目的是对未知的观测值的预测而并非已知值的估计及变量影响的解释,故随机森林模型更为合适。

通过交叉检验与随机森林模型的结合在训练集中进行模型的建立,最终选取决策树个数为100,最大决策树深度20,叶子最小拆分量8000作为随机森林模型建立参数。在测试集中进行模型效果的检验,获得如下结果。

6测试集预测结果矩阵


由结果可以看出,随机森林模型具有较好的预测结果,同时拥有进一步改进的空间。

五、总结

本文对所得数据进行了可视化分析,了解到国内通信行业用户的消费现状,分析客户消费数据组成部分之间的关系,提取客户主要的消费属性,对用户的消费行为进行了多角度的分析,并在此基础上设计出基于用户消费行为的随机森林模型,对运营商提供的商品与服务进行改善。

根据前文分析,我们发现,年龄是影响客户做出选择的最重要的因素,运营商可以将客户按照年龄分为不同的群体,对相应的群体进行合理的套餐设计来吸引更多的新用户,并在用户刚入网的时候为其提供较大的优惠力度,让用户对品牌产生依赖性,从而提高用户的粘度,使得用户的离网率降低。

此外,还可以根据客户的消费习惯,如流量与语音通话的使用量、储蓄习惯以及收入水平等,为客户推荐性价比较高的套餐,提高客户的用户体验及服务满意度。

套餐匹配问题是一个很复杂、亟待解决的问题,需要科学的探索和处理。我们的研究为企业提供了改进的方向,但仍需要进一步的检验和完善