电信运营商大数据

电信运营商大数据

解析全球十大电信巨头如何玩大数据

回复

天行者 发起了问题 1 人关注 0 个回复 2006 次浏览 2015-12-03 10:08 来自相关话题

电信行业大数据应用案例的实践及思考

回复

天行者 发起了问题 2 人关注 0 个回复 1800 次浏览 2015-12-03 09:59 来自相关话题

电信运营商数据资产及变现探讨

唐半张 发表了文章 0 个评论 1403 次浏览 2015-10-19 11:46 来自相关话题


 
☞【大数据100分】何鸿凌:电信运营商数据资产及变现探讨
 
主讲嘉宾:何鸿凌
 
主 持 人:中关村大数据产业联盟 副秘书长 陈新河
 
承 办:中关村大数据产业联盟
 
嘉宾介绍:
 
何鸿凌:中国移动集团公司业务支撑系统部项目经理,高级工程师。2001年获得重庆邮电大学计算机应用学士学位,2014年获得重庆大学软件工程硕士学位。工信部和人社部认证的高级程序员、系统分析师、网络分析师。CCF大数据专委会成员、TDWI会员。2001年进入重庆移动负责经营分析系统建设、维护、运营和应用。2006年进入中国移动集团公司,负责全网经营分析系统的规划、规范和技术架构。目前负责中国移动大数据平台的规划和大数据技术应用。在DW/BI和大数据领域有十余年的工作经验,曾主持欠费风险预警、用户离网预警等多个分析项目。曾担任DB2数据仓库DBA,熟悉Oracle、Teradata等传统数据仓库系统和BIEE、Tableau、SPSS、MicroStrategy等数据可视化工具。在数据仓库的构建、维护、运营方面有丰富的实践经验,对数据分析方法和数据挖掘方法有深刻的理解。2008年以后主要精力放在大数据技术以及大数据应用方面,主导引入GreenPlum、Vertica、GBase等MPP技术,以及Hadoop、流处理和Spark等技术来搭建运营商的大数据平台,并探索大数据对内和对外的商业应用。
 
以下为分享实景全文:
 
大家好,很高兴再次来到大数据联盟这个平台参加分享。希望今晚的分享对大家有信息量:) 我首先介绍一下电信运营商数据资产的构成,然后列举几个典型的数据变现场景,最后谈谈几点感受。
 
内容不小心准备多了一点,我抓紧时间,我用网页微信,打字快。大家有疑问要拍砖的随时插播哈!
 
首先介绍电信运营商数据资产的情况,让对运营商内部不了解的群友知晓一下。当然,群里面有的是更清楚的,呵呵。
 
资产是指由企业过去交易或事项形成的,由企业拥有或控制的,预期会给企业带来经济利益的资源。电信运营商的数据资产就是指那些在服务客户和进行内部管理的时候,由IT系统产生的数据,这些数据会或可能会给企业未来带来经济利益。
 
细数电信运营商的数据资产,大概可以分为如下几种
 
第一部分是来自业务支撑系统的数据。它们最早被定义和识别出来,被应用得非常广泛。
 
以前我们BI/DW主要基于这部分的数据
 
这部分数据由CRM、计费、客服、渠道等IT系统在服务客户的过程中产生。例如用户资料、使用记录(话单)、费用记录(账单)、付费关系、客户咨询和投诉的语音和文字记录、电子渠道的交互信息(交易信息、JS插码、SDK数据等)。
 
产生这些数据原本的意图是提供更加好的客户服务、更加准确和灵活的计费等,但是大家都知道大数据最迷人的一点就是数据外部化的应用。在系统设计、数据设计的时候很难预期到后续数据到底会应用在什么方向。所以竭尽可能地收集数据吧。现在数据采集和存储的成本已经很低,而且还会越来越低了。比如翻页的数据,这个数据能说明用户是否仔细阅读了说明,以展示信息的吸引程度。
 
第二部分是网络系统产生的数据。即那些来自“管道”的数据。
 
这是和用户更加接近的数据,也是用户自然产生的数据。我似乎今天看到吴军博士在京东的演讲了。这部分数据是最有价值的!
 
它们是来自电路域(CS)和分组交换域(PS)中信令分析的结果。比如位置信令(包括15分钟左右的周期位置更新和呼叫过程中的位置切换信令)、开关机信令(在其中有开关机的地点,使用的终端等信息)、漫游信令。
 
还记得好多年前有一部叫《手机》的电影吗?里面说的没错,手机简直就是一个手雷
 
值得重要提及的是来自PS域中的DPI信令。通过深度包分析,可以从网络层、传输层和应用层中的包提取相关信息。原本这个技术用于设计来分析数据包的状态,以提供更好的带宽和缩短时延,但现在更多用于其他的用途,这也是数据外部性的一个实例。现在电信运营商有很多数据变现都是围绕它产生的。
 
网络系统除了固化、宽带、2G\3G\4G以外,其实还有一个很重要的组成部分,那就是WIFI。我之前看到一个统计数据,固网宽带运营商的流量中,有70%是WIFI产生的。环顾四周,这也是很正常的情况,移动设备无处不在,通过电脑上网已经不是主流了。因此从WIFI中获取足够有价值的数据,这是一个很重要的补充。WIFI是相对传统电信网络来说比较简单或者说比较简陋的网络设备,因此从中获取信息反而比较容易。依靠WIFI的位置信息、终端信息和上网内容信息,我们已经可以看到一波围绕免费WIFI数据变现的公司正在蓬勃发展。
 
第三部分是来自电信运营商自有的互联网和移动互联网产品的数据。
 
这部分应该是大家都比较熟悉的数据资产吧。比如来自WEB和APP客户端的数据,一般通过JS插码或SDK的方式收集;来自后台的访问日志和交易记录、收藏、关注等信息;UGC数字内容等信息;监测数据等。
 
有数据来了哈,前方高能,请注意!
 
虽然相比正牌的互联网公司,电信运营商的互联网产品并不占据头牌。但是由于电信运营商拥有终端、管道和计费的优势,这部分也不容忽视。
 
以中国移动为例,“和阅读”产品一个月的UV量在2.1亿、PV量在196亿的水平;“和视频”UV大概在4000万左右、PV 19亿左右;“和动漫”UA 1000万,PV 3亿左右。中国移动的应用市场——Mobile Market的覆盖率也较高。电信运营商将这些数据视为有用的补充数据,来增强数据的深度。
 
上面三个部分的数据综合起来,就形成了电信运营商相比其他公司独特的数据资产。依托这些数据资产,电信运营商可以走出自己数据变现的路线,不但可以使得自己的商业模式更加有竞争力,同时也可以帮助其他企业或行业的商业模式更加高效,从而提升整个社会的效率。
 
有价值的数据都在这里了,其他那些基本不用看,哈哈。
 
应用场景也是极端重要呀,真正技术的用武之地
 
下图是对比了云、管、端各个产业中数据的情况。总体来说,相比互联网公司,电信运营商的数据深度有所不足、获取难度较大,但是数据的广度很好,能覆盖全行业的数据。
 
在数据资产部分,我最后想谈一点想法就是度量数据资产的价值。这是一个难点。因为按照资产的定义,衡量资产的价值要从资产未来带来的经济利益来看。对于数据资产而言,那就应该从最终的应用价值出发来衡量数据价值。但是我们采集和整理数据的时候,一般很难预测数据后续会如何用,会产生多少的数据价值。
 
因此,我考虑另外一个方法,也就是香农的信息论。通过数据的信息含量来评估信息的机制。假定信息量大的数据价值也大(这当然只是一个近似或简化的方法,价值最终还是会与受众已经掌握的信息,即前验信息有关)。大致来说就是设定一个评估的算法,计算数据在本企业所有数据中的显著程度,计算数据在其他行业或企业中类似数据的显著程度,由此来评估数据的价值。这样就可以评估为了收集、购买或存储这些数据,我们愿意付出多少代价。
 
 
 
今天分享的第二部分是电信运营商典型的大数据变现模式
 
大家现在经常提的“数据变现”我理解应该是从Data Monetization这个词翻译过来的,坦率地说我觉得直译为“数据货币化”可能更加贴切一点。主要就是指将数据资产用来产生收益。这个收益包括经济收益、社会收益以及数据交换的收益。
 
随着摩尔定律的回旋加速,随着免费经济打破了围墙花园,所有“前向”模式的服务业都面临被颠覆的挑战,电信运营商也不例外,话音、短信收入已经开始下降,流量业务增量不增收现象明显。
 
虽然很多东西都在变得更加充裕,但是有一样东西,它的供给是从古到今都变化不大的,那就是时间。
 
大家同意这个观点吗?最近我很注意分析哪些未来将变得充裕,而哪些的供给难以增加。
 
人的一天只有24小时,保持清醒和高效率的时间只有十多个小时。如果让人充分利用这十多个小时,减少信息搜寻和匹配的时间,这将极大程度提高人的效率,从而提高了整个社会的福祉,这就是大数据蕴含大价值的理论基础。
 
更多的数据胜过更好的算法,正是多年运营的“前向”商业模式让电信运营商累计了大量的数据,这些是在移动互联网时代的重要比较优势。
 
所以我认为我在运营商里面属于最后被淘汰的部门:)
 
大数据外部变现是一个长尾市场,有一个很标准的头部,同时也绝对不应该忽略那些长尾市场。这就要求电信运营商必须有合适的战略、机制、平台和合作模式来促进大数据的充分变现。我认为应该可以考虑如下几种形式
 

 
标准数据产品(B2B)。根据标准化的需求打造出公众可以直接使用的数据产品,比如Google Trends和Telefonica的Smart Steps。面向行业中的政企客户,如果订购,仅需配置,不需开发,边际成本为0。
 
中间产品(B2B2X)。根据数据需求方的特殊需求,利用现有平台能力进行定制开发的产品。这种模式需要产品和业务团队全力参与,与对方组成融合团队。
 
分析和咨询服务(B2B2X)。根据数据需求方的业务场景,进行数据分析和挖掘,形成行业或企业分析报告,并提供业务咨询。这种模式更需要深入参与到相关企业的商业模式之中。
 
数据交换(B2B以及B2B2X)。通过数据市场或交易平台,进行数据变现或数据互换,充分挖掘数据价值,并获取外部数据。
 
绝不要忽视长尾的市场哦。虽然看起来不多,但是以互联网的聚集效应,任何一个行业都蕴含巨大的数据变现空间。
 
因为之前在中关村产业联盟的微信群中曾经分享过一些大数据的应用案例。这次就集中介绍一些在电信行业数据外部变现的模式。如果有群友对案例还想有其他的交流,可以私聊我。
 
从趋势上看,大数据作为一种能力对外输出并与通信以外的商业模式结合,才是电信运营商大数据应用更具潜力的发展方向。
 
电信运营商的数据资源非常丰富,如果能够与更多的应用场景结合,将会体现极大的社会效益和经济效益。
 
下面的图从数据的粒度和数据的用途两个角度来展示这些模式:
 

 
从数据粒度上看,用群体客户的数据,用个人客户的数据;从用途上,经济价值和社会价值
 
我总结了目前国内外电信运营商的典型数据变现场景和数据产品。
 
时间有限,不一一展开,我取最典型的两个描述。
 
第一类典型的案例就是基于群体客户的数据产品。
 
例如江苏移动建立的“智慧洞察”(Smart Insights)对外数据服务平台。
 
该平台依托大数据强大的处理能力与海量数据,基于完全匿名和聚合后的数据,利用统计分析、数据挖掘等技术,提供标准化数据产品、大数据分析报告、高效Open API服务。为社会、政府、企业以及家庭、个人客户提供经过分析挖掘而形成的价值产品与服务,实现数据价值提升与共享。
 

 
“智慧洞察”具体的应用案例有“客源分析标准产品”,目前已应用于常州中华恐龙园、苏州金鸡湖、南京夫子庙、玄武湖、太湖等数十家景区。
 
主要功能点:客源构成分析、景区景点人员密度、流量监控与预警。央视在大数据类栏目引用此平台界面与数据报道假日期间景区的游客情况。
 
面向自身数据没有融合数据,数据可视化需求较为标准的行业,采用这种标准化数据产品的方式非常方便。
 


 
上新闻联播了的哦:)
 
还有数据开放API的产品。目前位置类API已应用在在南京旅委“南京智慧旅游数据运行监测中心”项目中,在2014年度江苏省智慧旅游推进会上,此项目被江苏省旅游局评为“江苏省智慧旅游优秀项目”。
 
“智慧洞察”平台使用的数据全部是经过匿名化转换后的数据,严格保护客户隐私。对外提供的标准产品、分析报告和API均不包括个体用户信息,以热点事件(比如青奥会)或热点位置(基站代码或GPS区域)为汇总粒度,整体采用了k-匿名算法来确保小用户群体不被区分。
 
这种基于群体客户的数据外部化应用比较”安全“,美国的法院判例明确了运营商可以如此使用数据。因此这是各家目前变现的主要方式。
 
但是,说点实际的。这个市场目前真心不大:(
 
我们基本只是用来产生面对集团客户的粘性,基本无法依靠它来产生足够的经济收益。
 
在这方面群里面有一些非常专业的公司正在做这方面的工作,比如集奥聚合、亚信、晶赞科技等,前两天亚信的分享也介绍了这方面的商业模式。
 
这种直接产生效益,而且可以用数据证明其价值(比如通过AB测试)的应用场景,是最有说服力,且不会被打入冷宫的。
 
简单的说就是基于之前所描述的哪些运营商的数据资产,全方位的分析可能的广告受众的长期喜好和短期关注(DMP),并通过ID关联的方式打通各种帐号、Cookie和终端的信息,将这些客户标签信息以实时的方式提供给广告平台(DSP)作为实时竞价的依据之一。
 
程序化投放类广告因其充分考虑受众的因素而能将长尾类的广告媒体资源与最合适的广告内容匹配,实现广告主和媒体方的双赢。因而汽车、IT、快消和互联网金融等品牌/品效类广告以及电商、游戏等效果类广告十分青睐这种投放模式。
 
在RTB广告中,最关键的就是竭尽可能地识别受众和分析受众,并能打破时间、空间和终端的分割形成对受众全方位的洞察。
 
原有互联网模式下基于Cookie的ID链接和判断方式在移动互联网模式下存在难以跨屏、Cookie生命周期短、受众行为信息缺失等种种问题。
 
而电信运营商对“管道”中的数据进行DPI解析,可以深度分析用户行为,可以识别用户的Cookie、IMEI、计费代码等信息,可以有效帮助DSP更加精确地投放广告。
 
有数据显示,基于运营商DMP进行精确投放的广告效果相比未区分受众的模式提高了一个数量级。
 
这种精确广告的方式实际上也在改变电信运营商内部的精确营销模式。在通过运营商自己的渠道推荐自己的产品(套餐、终端、业务等)的时候,精确营销解决了受众的个性化,但是在营销手段方面有所欠缺。
 
以往通过营业员面对面、客服人员外呼、短信彩信邮件推送的方式进行业务推荐属于“主动”的模式,这种模式打扰客户,接受度低,易引起客户的方案,而且成本颇高。
 
学习互联网广告的方式,电信运营商自身业务的精确营销正在从“主动”变为“被动”模式,抓住每一个可能接触客户的机会(这些接触点不一定是自有的)进行推荐。在降低成本的同时“润物细无声”地完成了推荐工作。
 
以上是合作伙伴利用运营商的数据资产进行基于受众、跨屏的RTB广告的简要介绍。但是我认为,这只是一个临时的情况,只是个性化推荐的初级阶段。商业模式并没有优化到机制,也并没有给社会带来最大的价值。
 
看完那本《人人时代》,我深有感触,千万不要把一些临时性的东西当作永恒的存在:)
 
广告模式浮于表层,考虑了广告主和媒体方的利益,但是将用户放在边缘的地位,这与互联网精神不一致。
 
将用户视为“受众”其本身就含有这种自大的意味在其中。
 
铺天盖地的广告(无论是传统的横幅、贴片还是原生和信息流)让人感到厌烦,让人质疑对客户隐私的窥探。这是一种粗放地使用数据所有权的现象,而且有数据误用的嫌疑(客户并未授权这种方式使用数据)。
 
我这段时间一直在反思这种模式的持续性。我认为只有真正帮用户实现了价值,才能实现良性的循环从而促进社会的福祉。同时在这个过程中需要竭尽可能保护用户的隐私不被主动、被动的泄漏。
 
首先,我认为在应用这类涉及个人客户而非群体客户的数据之前,必须要解决法律上的问题,并符合公共道德。
 
具体来将就是要通过权利让渡获得数据的所有权和使用权,一些国际电信运营商和WIFI提供商以优惠的资费或直接免费的方式来做到这一点。
 
此外要履行足够的告知义务,比如收集哪些数据,用于哪些方向,并切实保障这些应用方向是对客户有利。
 
最后一点是客户要享有退出的权利(欧洲多采用Option-IN的方式,美国一般是Option-OUT)。
 
大数据目前是属于野蛮生长状态,我认为未来肯定要解决这些法理的问题。但是在这之前,公共道德要发挥作用。
 
其次需要升华的地方是从单一地从广告主和媒体方的角度推荐“广告”,到与信息提供商一起组织为用户提供的期望“信息”。
 
我称之为泛化,很多东西都可以通过个性化推荐而变得更加精准,节约用户的时间,扩大用户的接触面,给用户带来价值。而不仅仅是推荐”广告“
 
注意这里是期望的信息,是从用户角度上发出的期望。也就是说在社交网络上期望获得的是好友和信息的推荐;在电商网站上期望的是商品的推荐;在应用市场里面希望获得的是应用的推荐;其他的场景还包括团购、新闻、图书、餐饮娱乐等。
 
从推荐广告到推荐“内容”。通过为这些“信息提供商”提供个性化的引擎,让他们能更好地为用户组织“内容”。从预测CTR到预测推荐的内容对于用户的信息量(个性化但应保留足够的泛化能力),从用户的角度出发是最重要的。
 
这一点将的是应该在什么场景下推荐什么内容的问题。要符合期望。
 
最后,从技术上应该有更好的办法来实现这种个性化推荐。
 
这种技术架构既能满足个性化推荐,也最小化了暴露的风险。
 
可以将数据分为“群体数据”和“个体数据”两个部分。
 
利用脱敏后的“群体的数据”来分析特征、训练个性化推荐引擎。利用“个体数据”来使用个性化推荐引擎完成推荐。
 
数据挖掘都有训练和使用两个过程不是:)
 
这里最重要的是“个体数据”的存放和使用,我认为最恰当的方法是这些数据用户可以选择托管到云中(DataBank)或本地装置之中(类似IC卡),以挑战-响应的方式使用个性化推荐引擎,保证个人信息不被泄漏。
 
这里存在商业模式和技术的挑战,或许也是下一个创业的机会。
 
第三类典型的案例可能与经济价值无关,是利用电信运营商的大数据与学术可研机构来发现与社会、经济有关的规律,体现数据的社会价值。这个方向是我近期非常感兴趣的。因为它更加直接地回馈社会。
 
比如在《大连接》中描述的社交网络,这就可以利用电信运营商的数据资产进行很好的测量和分析。
 
我们可以分析不同地区、行业和人群的社交网络构成和连接模型,分析事件和属性在社交网络中传播的规律(类似PageRank等在社交网络中的迭代计算),区分强连接和弱连接,计算不同圈子中的联通度,计算影响力等。
 
通过这种方式分析的影响力非常接近实际情况。我们曾经将一个技术部门的内部社交网络做了出来。利用电话和短信的拨打模式。
 
然后分析出来的影响力和方向几乎与实际部门架构一致。很有意思的。我们一个淘气的小组据此设计了一个模型,叫做怕老婆模型,把我笑得打滚。
 
更简单一点的还有通过群体客户的时空特征来理解、预测和控制流行病;识别恐怖分子;交通道路设计;公共设施选址。这部分的需求已经有很多。有了这些数据资产进行支持,我们就可以更好地进行分析,真正将数据给科学家。
 
此外,还可以根据通信密度、频率等绘制一些社会指数,这个是我们正在做的一件事情,后续可能会作为企业的社会责任定期发布。
 
在这方面,或许三大运营商应该联合起来有一个专门关注公益的机构,能搭建开放平台让更多的科学家能分析这些数据,发现社会规律。
 
个人觉得这比搞点什么吸引眼球的慈善活动更加有意义,是真正能改变企业形象的事情,真正带来社会价值的东西。
 
看到时间还有点充裕,再谈一个案例。关于商业WIFI运营的。
 
去过日本旅游的人可能会记得,在火车站、公交站、咖啡馆、购物场所等地方可以搜索到一个免费的Wi-Fi热点,就是wi2。它不仅给日本本国的国民,更是给到日本旅游,又希望省钱的外国国民带来了极大的方便。
 
wi2由日本运营商KDDI控股,在大东京都市圈部署了2万个左右的热点。这些热点可以免费提供使用,但wi2何以盈利呢?
 
Wi2盈利模式与国内电信运营商wifi盈利模式不一样,是典型的互联网“前向免费、后向收费”的模式。
 
通过为客户免费提供Wi-Fi访问的方式,积累了大量的客户数据,包括位置、终端和访问内容,然后将这些信息打包为数据产品提供给商家,同时也基于这些信息部署展示类或效果类精确广告,实现盈利。
 
值得注意的是,wi2在用户免费使用Wi-Fi的协议中,明确了对数据的所有权和使用权,这是免费使用Wi-Fi的一个交换条件。
 
这一点很重要哦:)
 
Wi2提供了两款大数据产品:Ideal-insight和wifig。
 

 
这个图就是Ideal-insight
 
懂日文的男同学可以去他们的网站上看,好奇怪的Ideal-insight只有日文介绍,英文网页就不介绍,可能是他们的B端客户都是日本商人吧:)
 
Ideal-insight是提供给wi2的热点附近的商家的一项数据产品。它将从2万个wi2热点中获取用户时间序列、使用的终端、网络访问的内容;wi2客户端(wi2 connet)中收集的个人信息、GPS信息;政府公开数据中的天气数据;商家自己上传的POS收银数据进行联合分析。
 
告诉商家顾客的来源、国别,顾客曾经光顾和停留过的地点,附近人流的趋势和特征,帮助商家更好地进行市场营销。
 
同时,通过wi2的客户端,商家也可以根据顾客特征为顾客推送优惠券信息。Ideal-insight在为商家提供上述信息的同时实现盈利。
 
注意到推送渠道了么???这个很中国要哇!!!君不见那么多DSP都是赚辛苦钱啊。最赚钱的确实哪些媒体方,比如阿里[大哭]因为他们有渠道,有推送。
 
Wifig是另一款数据产品。它主要针对外国来日本旅游的用户。由于wi2分析了用户的访问记录,因此可以从网页的URL或编码信息中知道用户来自哪个国家。因此可以分析不同国家的人的旅游、住宿和娱乐偏好,因此可以帮助旅游公司、巴士公司和纪念品商家进行更好的规划。
 
他们演示的时候我在场,可惜没有照片下来,否则可以给大家展示一下韩国游客和中国大陆游客的不同行为轨迹。
 
真的有很大差异哦!
 

 
这个是WIFIG的截图。这个太厉害了。我认为比Ideal-insight厉害多了。
 
更加直接的是,根据分析到的用户特征。wi2可以在客户端中推送,或者在Wi-Fi登录的首页面放置交通、旅游、娱乐的推荐信息,这种效果类广告定向投放非常精准,为wi2公司带来的收益也颇为可观。
 
群里面搞旅游的专家们可能更加清楚。这种识别出高价值小众客户,且具备推送渠道是多么有价值的一件事情。
 
值得一题的是,wi2是整合了原有国内3-4家Wi-Fi提供商来提供无线上网服务,后端的分析和推荐功能完全部署在AWS的云计算之上,采用EMR进行日志的加工和汇总,采用Mahout来进行推荐和预测。wi2无需建设大数据基础设施,便可快速灵活开展业务,其核心是大数据算法和大数据的商业思维。
 
比如阿里收购的树熊网络,小米、腾讯、大众点评投资的迈外迪,以及”潮WIFI”。他们或采用直营的模式,或采用加盟的模式,部署了数万热点的商业WIFI网络。与支付宝签报、微信等APPS结合或直接与商家CRM对接来实现免费接入、商品信息展示、信息推送和交易等功能。
 
虽然免费WIFI存在安全性隐患,但是有其细分市场存在。前向免费后向收费的互联网商业模式使其具备颠覆性技术的特征,它将是又一个重要的流量入口,或者说是下一个“风口”也说不定。
 
却是免费wifi,然后后向数据服务是个很好的商业模式
 
回归到今天分享的最后一点吧
 
谈谈感受。14年了吧。我做BI和DW,或者说现在的大数据。
 
有三点想说的
 
第一就是“数据为王”。这个概念大家应该都非常熟悉,但的确是我这几年最深刻的感受。
 
原本我们视为负担的数据现在是资产,是财富,因此我们还能不竭尽可能地收集它们吗?还能去定期删除它们吗?
 
即使是电信运营商自身拥有了一定的数据资产,还应该通过购买、交换的方式让自己的数据资产更多,因为数据不同于实物,交换使用使得双方都能实现更大的价值。
 
第二就是“平台战略”。
 
大数据最显著区分与传统数据分析和BI的就是它具有外部性。
 
采集和拥有数据的企业很难预料这些数据最终的应用场景,因此这些企业理所当然地缺乏这些数据变现场景下所需的专业知识。
 
比如广告为什么要与DSP合作呢?因为设计广告、与广告主建立关系、分析和优化投放这些不是电信运营商所擅长的。
 
合作能发挥彼此的优势,通过平台的方式,能使得“长尾”部分的数据变现更容易,更加快速地进行尝试,失败成本更低。
 
第三就是商业道德和底线必须坚持。在相关法律缺位的情况下,必须要有“有所为有所不为”的决心。做人这样,企业也这样。
 
小结一下今天分享的内容
 
电信大数据的应用潜力还有很大的挖掘空间。这是由两方面的原因决定的。
 
一方面,电信网络与用户联系的广度和深度是其他行业所不具备的,随着网络智能化程度的进一步提升,电信网络获取的大数据将越来越丰富,并且这些数据都能某种程度上映射为用户的身份或行为;
 
另一方面,整个商业在从生产主导向消费主导转移,各行各业都希望加强消费者洞察进而驱动数字化转型,对大数据的需求也百花齐放,电信大数据的价值将进一步提升。
 
我们要走进良性的循环
 
电信大数据的应用过程中必须注意客户隐私保护的问题。从法理上需要获得数据的所有权或使用权,需要履行收集那些数据、用于合作用途的告知义务;从技术上必须实现最高等级的安全管理,并通过匿名化手段构筑最后防线。
 
我们现在是1+31的数据变现模式。再次强调一下变现不是要变成钱哈。经济价值和社会价值,都是我们考虑的。还有数据交换哦。
 
我们正在尝试更多发挥大数据经济价值和社会价值的方式,希望我们能多交流和碰撞,希望能与各位合作!

研报深度:运营商大数据蓄势待发

唐半张 发表了文章 0 个评论 1289 次浏览 2015-10-19 11:43 来自相关话题

电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面 ...查看全部
电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面前的一条出路便是管道智能化。通过大力推进“智能管道”建设,增加附加值,大规模地发展增值服务。由于拥有大量数据资源,运营商通过产业链的广泛合作,相关产业链的公司与运营商共建平台,仍然有着巨大的发展空间。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也大有可为。
大数据运营成必然选择
对于运营商来看,被以BAT为代表的互联网巨头及OTT企业“管道化”的趋势已不可避免,同时互联网巨头凭借自身庞大的数据资产已在数据变现的道路上大踏步前进,这将进一步边缘化运营商的地位。摆在运营商面前的一条出路,便是管道智能化。
随着网络建设的不断发展,运营商的语音业务收费越来越低,甚至呈现逐渐免费的趋势,数据流量经营将成为运营商的主要方向。从率先开展4G建设的中移动业务结构变化便可窥视。2014年前三季度中移动语音和短信、彩信业务继续下滑,总通话分钟数比上年同期下降0.3%,短信使用量比上年同期下降20.2%;但同期移动网络数据流量比上年同期增长98.6%,几乎是去年同期的两倍,流量业务在营收中占据的比例越来越大。按照现有数据预测,到2016年,中移动语音、短信收入占比将从2011年的67%降至40%,而数据流量和数字服务的收入将增至60%,成为业务收入主体。数据流量经营对运营商的重要性越来越大,关系到运营商的生存价值甚至是生存问题。
我们认为运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由流量经营进入大数据运营已成为大势所趋
从目前的情况看,电信运营商与以BAT为代表的互联网企业在增值服务上并不具有竞争优势,但从后向的行业应用及大量的数据资源来看,运营商通过产业链的广泛合作仍然有着巨大的发展空间。同时,由于涉及到政策模糊、用户隐私、技术成本等因素影响,运营商大数据掘金之路目前仍然曲折。但不可否认的是,运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由语音经营走向流量经营进而进入大数据运营已成为大势所趋,空间巨大。
大数据运营基础架构
目前,运营商在大数据经营方面尚未形成明确的盈利模式,还处于“摸着石头过河”阶段。借鉴国外运营商的运行模式,结合信令数据、DPI技术、B+O域数据整合等可洞析大数据运营可能的方向。
全球运营商已经开始为掘金大数据做准备。电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示,全球120家运营商中约有48%的运营商正在实施大数据业务,大数据业务成本平均占到运营商总IT预算的10%,并且在未来五年内将升至23%左右(我国运营商目前投入占比不足1%),成为运营商的一项战略性优势。国外运营商已经做了一些很好的尝试,美国AT&T位置数据货币化、日本NTT Docomo创新医疗行业的社会化整合、Verizon数据仓库促进精准营销、德国电信智能网络培育新增长点、Telefónica大数据支撑用户体验优化、Vodafone动态数据仓库支持商业决策、法国电信数据分析改善服务水平、KDDI商业WiFi运营等,都是有借鉴意义的案例。
信令数据用以实现网优及获取位置信息。信令实际上就是一种用于控制的信号。语音经营时代,通话质量对运营商来说是至关重要的指标。运营商通过对信令进行监测,深层次支撑网络优化、精确故障定位。随着2G、3G、4G的逐步建设,运营商进入流量经营时代,通过信令数据可以规划基站和热点的建设,还可以对已有基础的效率和成本进行评估,用以增减基站建设以实现更高的网络效率。流量经营时代,上网流量的监测需求变得更为突出,但信令数据作为网络优化必不可缺的环节,加之通过进一步发掘信令数据所采集的位置信息,对运营商大数据运营提供了非常有意义的基础数据。基于这些数据的价值挖掘,是目前较为清晰的一个发展方向。
DPI已经在流量管理、安全和网络分析等方面成功开展,同时能够对网络数据包进行内容分析。通常的DPI解决方案能够为不同的应用程序提供深度数据包检测。DPI能够检测出数据包的内容及有效负载并且能够提取出内容级别的信息,如恶意软件、具体数据和应用程序类型。运营商均已充分认识到DPI的巨大价值,早已开始大规模招标建设、与第三方服务机构合作,4G带来的流量爆发更为DPI发挥巨大价值提供了广阔空间,因此,充分挖掘DPI的巨大潜力将给运营商带来巨大的效益。
运营商网内数据主要来源于业务平台、基础网络、支撑系统(包括O域(运营域)、B域(业务域)、M域(管理域))三大IT支撑系统。每个域由多个子系统组成,各域数据分别存放在多个生产数据库中,目前数据库的总量已达上百个,B+O域有效数据存储量占总量的80%以上。通过整合B域和O域的数据,可大幅提升信息共享能力,提高网络优化和规划建设的效率和有效性,有利于进一步的数据分析,尤其是对流量经营有着重要的意义,提升数据业务流量经营的用户行为与业务洞察能力,通过平台建设初步形成“大数据”洞察的跨域(B域/O域)分析架构。
大数据产业链清晰
运营商大数据产业链主要分为四层:即大数据采集、大数据管理、大数据应用及大数据运营
大数据采集是大数据产业链的底层基础。目前政策要求数据全采全监,包括通话记录及内容、短信记录、位置的轨迹信息等管道内特有数据,所以数据采集成为了运营商的刚性需求。政策及4G助力采集市场率先爆发。而大数据采集对进一步做大数据管理、应用及运营有着最直接的支撑。
大数据管理通过数据共享平台实现。数据共享平台主要由数据汇集、数据支撑、数据接入点三层组成,向下可以支撑数据采集层,向上支撑外部数据应用系统。在数据采集过程中,有时一个口有超过十套系统在采集,比较杂乱。大数据共享平台是趋势,即将采集好的数据放在共享数据池中,实现共享避免重复采集,这也是运营商比较偏好的方式。
大数据应用主要包括基础应用和行业应用。基础应用,包括网络管理和优化及客户关系管理;行业应用,包括企业业务运营监控和经营分析。
大数据运营终极目标增值业务和精准营销增值业务:利用特定的网络数据,创新增值应用,增加运营业务收入。简单来说,数据采集阶段形成了最全面、最及时的数据,通过具体时间段、具体地点(实际或虚拟)客户行为的趋势性分析,即可形成非常有价值的判断,再通过指定的要求来分析,即会形成更有指导意义的结论。精准营销:通过对移动互联网用户的行为分析,进行用户偏好分群进而建立精确的用户画像,并开展针对性的市场营销及配套服务。
对于数据采集公司来讲,面向核心网各个功能域采集数据。通过对移动、固网中控制数据和用户数据的采集分析,并对监测报告进行深度解析,发现数据应用的潜在特征进行识别。
中国移动设备数据流量2014年增幅接近50%。根据工信部数据,包括智能手机在内,中国各类移动设备2014年的平均流量首次超过200MB。但根据思科的统计,全球智能手机2014年平均数据流量达到819MB。这从侧面显示,我国平均流量水平还有很大的提升空间。
三大运营商中,中国移动2013年底率先拿到TD-LTE牌照,拉开了我国进入4G时代的序幕。中国联通和中国电信2015年2月底才拿到FDD-LTE牌照,4G建设将全面铺开。4G时代对运营商的重大变化即为,传统数据(信令)采集业务也将由过去的2G、3G以语音和短信为主全面向4G数据(上网)业务拓展,而4G大量的图片、视频信息也将在采集规模上远远超过2G、3G。
据我们测算,在2G-3G时代,电信及联通在信令和DPI采集领域投入约20亿-40亿元。随着FDD牌照的发布,三大运营商均进入4G时代,都在加大数据采集领域的资本开支。我们之前预计,今年三大运营商规划的采集规模或达25亿元,其中以中国移动4G为主。但从年初招标的情况来看,竞争相当激烈,移动一期的招标最终成交价可低至最初规划的1/10水平。预计今年最终合计将在15亿-20亿元之间的水平。当然,各厂家在初期血拼是为了“圈地”,即进入运营商集采或是省分的供应链体系,这样才能够获得后续扩容,并通过扩容来实现盈利。随着4G渗透率的大规模提升,数据采集的需求量将现指数级增长。
随着三大运营商都大力推进4G建设进程,其共同发力将进一步提升4G的普及率,数据量级的增长将相当显著,我们认为运营商数据“采集”业务将在未来几年出现大规模爆发。
共建平台探索发展模式
国内运营商都已认识到大数据运营对其未来发展的重要性,纷纷展开了各种尝试,发展方向包括基于位置信息获取收入、根据客户需求研究分析、出具报告以及帮助DSP更加精确地投放广告
基于位置信息获取收入方面,由此所能带来的商业价值相当可观,通过位置信息,可以分析受众人群的情况,可以直接实现广告定价的问题(通过测算广告牌的流量可为运营商提供定价的测算依据)。游客的趋势性信息对每个景区都非常重要,能对其提高运营水平、规划商业决策行为提供非常有价值的数据。拓展来看,不仅对景区,各类商圈都有类似的需求。因此,基于位置信息的服务才刚刚开始,非常有望成为运营商未来的发力点。
根据用户的特定需求进行研究分析,并就研究分析结果出具研究报告,是国外咨询公司采用的一种模式,也是非常高效的一种模式。这里我们要强化一个概念,数据属于运营商,而个人隐私不容侵犯,因此报告必须是趋势性的、群体性的,属于分析处理的内容,而非原始数据,更不能涉及具体的个体。我们认为这对运营商来说将是有广阔空间的领域,而且运营商不仅可以自己来做,更可以通过和第三方机构展开合作,开拓更广阔的市场。
RTB或将成为运营商大数据的大舞台。对于运营商来说,对自己的数据资产进行DPI解析,全方位分析广告受众的长期喜好和短期关注(DMP),可以识别用户的Cookie、IMEI、计费代码等信息,将这些客户标签信息以实时的方式提供给广告平台(DSP)作为实时竞价的依据之一,可以有效帮助DSP更加精确地投放广告。
值得特别说明的是,运营商对于精准营销的数据商用持非常谨慎的态度,因为涉及到用户隐私等问题。基于群体用户行为的分析是比较可行的。而对于B2C的精准营销,如个人短息推送等,运营商是比较慎重的。
而在盈利模式方面,我们认为相关产业链的公司与运营商共建平台并进行分成的模式将会是较为合理的一种情形。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也将与运营商形成更好的互补效应,进而形成合作共赢的较好突破口。
我们认为,在大数据运营这座巨大金矿面前,运营商更多的选择将是合作共赢,扶持自己可管可控的产业链,靠自己单打独斗是无法满足行业的巨大需求和产业链过长带来的专业化分工要求。因而过去聚焦于运营商CP/SP领域的增值服务商同样值得关注。
多样化的运营商数据来源
结构化数据包括:
账单数据 通话和短信
网络和位置数据 客户邮件
呼叫数据包括呼叫详细记录(CDRs) 及每个呼叫测量数据(PCMD) 社交媒体
非结构化数据包括:
工程和网络工具信息 网上论坛
库存和物流数据、 网页浏览记录
CRM 客户服务记录
客户服务和销售服务活动 IVR日志
销售会计记录,包括订单历史、产品类型和服务广告样稿 内部客户反馈或其他内部文件
外部调查
媒体下载、应用程序的使用和交互、图片和视频
系统日志和传感器数据
资料来源:Informa,中信建投证券研究发展部
运营商数据资产分类
业务支撑系统的数据: 这部分数据由CRM、计费、客服、渠道等IT系统在服务客户的过程中产生。例如用户资料、使用记录(话单)、费用记录(账单)、付费关系、客户咨询和投诉的语音和文字记录、电子渠道的交互信息(交易信息、JS插码、SDK数据等)。
网络系统产生的数据 :来自电路域(CS)和分组交换域(PS)中信令分析的结果。比如位置信令(包括15分钟左右的周期位置更新和呼叫过程中的位置切换信令)、开关机信令(在其中有开关机的地点,使用的终端等信息)、漫游信令。
运营商自有的互联网和移动互联网产品的数据 :来自WEB和APP客户端的数据,一般通过JS插码或SDK的方式收集;来自后台的访问日志和交易记录、收藏、关注等信息;UGC数字内容等信息;监测数据等。

电信运营商大数据应用和实践

唐半张 发表了文章 0 个评论 1388 次浏览 2015-10-19 11:42 来自相关话题

  本文为中国移动通信研究院业务支撑研究所所长孙少陵先生,在“首届中国大数据应用论坛”上发表的《电信运营商大数据应用和实践》专题演讲实录。   各位领导、各位嘉宾大家好。非常高兴有这个机会跟大家交流大数据基础和应用发展。刚才宁老师的报告从大数据对人 ...查看全部
  本文为中国移动通信研究院业务支撑研究所所长孙少陵先生,在“首届中国大数据应用论坛”上发表的《电信运营商大数据应用和实践》专题演讲实录。
  各位领导、各位嘉宾大家好。非常高兴有这个机会跟大家交流大数据基础和应用发展。刚才宁老师的报告从大数据对人类社会带来的各种各样的影响,从非常高的视角去阐述。我本人虽然研究大数据也有几年了,但是我觉得也是非常受启发。我今天谈得话题是局限于电信运营商,我们如何使用大数据,如何在我们生产过程当中提高生产效率。
  主要有几方面跟大家分享:第一,大数据处理技术发展概况;第二,运营商大数据需求;第三,中国移动在这大数据方面做的事件。
  什么是大数据?刚才王主任、宁老师也都提到了。实际上大数据它的最主要特征就是“大”。我感觉现在整个业界对于大数据都没有一个非常的明晰的认识。维基百科收录着IBM最先提出来的解释,大数据有三个特征:首先是规模大,大家也都认同,比如说YouTube、Facebook,每天在数据处理、数据存储量能远超过历史的数据,所以规模大是其基本特征;第二个特征就是种类繁多。除了传统数据库、数据仓库处理的结构化数据以外,其实很多半结构化,甚至是说非结构化的数据在大数据处理当中都变成非常重要的原材料。尤其是像话音、视频、文本等等,这些原来并不是机器所能识别处理的。而在大数据时代这是基本要求;第三个特征就是处理速度要提高。我们都知道,传统上来说分析型系统某种意义上是一个非实时、后台型的系统,但是现在很多应用它实际上要求联机分析、在线分析,对于实时性要求就会有很大提高。比如说Google、百度,它搜索引擎实际上随着互联网上信息更新速度越来越快,比如说门户网站上的信息几分钟可能就更新一次。那我们要求几分钟之内就要找到相关新闻。做搜索引擎的,要重算一遍计算量会非常大的,像Google、百度会有实时索引的系统,可以通过增量的方式在几秒钟之内就把新的索引上线,这就是大数据处理实时性要求高的典型案例。
  首先看一下,对于大数据量增长的历史背景。我们理解,数据量之所以有很大的增长会有两个方面的驱动,第一个就是数据产生量是不断增加的;现在网络带宽是成数量级的往上提升,同时我们产生数据,从原来的PC,现在到了手机,当然对物联网传感器也是数据产生一个很重要的来源。此外,像Web2.0等等,包括博客、微博等等这样的一些新技术和模式使每个人甚至说每个传感器都变成了数据产生来源,所以说数据增长量是越来越快的。
  第二,信息存储时间要求也越来越长。也就是说,信息对于每个企业来说,它慢慢地变成战略资产,很多企业希望数据永远不删除。那么这就对于数据处理和存储能力带来了很高的要求。比如像中国移动,我们有一些数据必须要求长时间保存,有的是因为企业为了做经营分析、决策支持方面的要求,像美国股市等等有审计要求,还有国家提出来的一些要求。总体上来说,数据保存时间要求越来越长,这要求我们存储数据量会不断增大。
  实时性要求方面,传统大规模数据处理是通过数据仓库来实现的。数据仓库发展过程经历了几个阶段,一个阶段它是一个统计系统,从数据仓库里面的数据去发现到底现在已经发生了什么事情,这是一个最基本的基础统计查询功能。第二个阶段就是为什么发生这些事情?这就是一个分析过程。数据动态分析查询,是这么一个过程。第三个阶段,将会发生什么事情?这里就提出了对于数据挖掘的要求。刚才宁主任也对数据挖掘方面做了很多阐述。数据挖掘它能根据我们过去经验导出未来可能会发生什么事情,它是这样一个技术。第四个阶段,需要数据能够快速更新,并且能够快速地了解正在发生什么事情。第五个阶段,要实现我们希望发生什么事情。这个愿望,我们需要通过什么样的举措达成?就是一个事件驱动的概念。
  我觉得这几个发展过程同样适用于大数据。大数据在实时性方面的要求,目前应该说这方面要求非常迫切。它的主要实现技术包括几个方面,有一些基于内容的分析。有些公司,像SAP它有一个系统,通过内存实现快速地分析,能够实现秒级结果的呈现。还有一个并行计算的技术,当然这个并行计算还包括图计算、类似于像流计算并行计算的框架,这些都是一些关键技术。还有一个是非结构化数据的管理。国内有一些人在大数据三个“V”基础之上曾经加过一个“V”,就是说大数据价值密度比较低。但我个人不认同这个观点。非结构化数据不是说信息密度低,而是说它有很多信息我们是无法抽取和使用的。这个状况在十几年发展过程当中有了一个很大的变化,我们可以看下,1996年的数据。1996年的时候非结构化数据它的量超过了结构化数据的量。我们可以看到左边的图非结构化数据价值基本接近于零,很少,也是受限于当时的技术手段,当时非结构化数据处理技术并不成熟,所以我们没有办法使用它。2006年,右边的图,这个时候我们的非结构化数据它的价值,这个价值是计算整个全世界市场上,非结构化数据无论从制造、使用以及最终服务,总体的市场价值,它的价值已经是超过了结构化数据。所以说非结构化数据使用对于整个人、机器智能、类信息处理等发展会起到越来越重要的作用。
  非结构化数据处理主要的一些技术包括了低成本、海量数据存储管理。非结构化数据量大,所以我们存储成本要低。再一个就是有一些搜索引擎当中,搜索引擎发展过程当中所发展出来的一些技术,例如自然语音处理。处理文本信息涉及到分词,对于自然语言理解等等。这个对非结构化处理有非常重要的作用。现在对于视频、文本等等的处理技术,发展速度也很快。现在有很多系统,比如说苹果提供的SIRI等等里面都涉及了自然语言方面的技术。这就为非结构化数据的积极处理带来了很大方便。还有一点是大规模并行计算进行非结构化数据处理。这个在产业当中包括在我们中国移动生产过程当中也用到了很多,包括对于视频渲染分布式处理等技术。
  在大数据领域,现在有一个开源系统大家应该比较熟悉,就是Hadoop,它已经变成了大数据领域的事实标准。Hadoop最开始是由Yahoo团队资助建立起来的,目前全球有很多制造商、互联网公司都在贡献自己的代码,也是作为Hadoop的重要用户。它的拓展性特别好,一个集群可以达到四千个节点。再一个是通用性比较强,可以处理各种数据。支持MapReduce的接口。通过MapReduce基本上可以通过各种各样的编程语言实现很多分布式计算处理的工作。再一个就是系统可靠性非常高,数据通过多副本方式实现。同时支持自动负载均衡等功能。此外易于管理。再一个现在的社区也是非常活跃。目前除了有很多公司是在致力于免费的Hadoop的开源开发工作,还有很多公司他们通过改写、重写Hadoop提供商业产品、商业服务。目前Hadoop产业是越来越壮大和成熟了。
  互联网公司以及全球很多制造商、运营商目前都在积极使用Hadoop。包括百度、淘宝等等,都是Hadoop很大的用户。像IBM、英特尔等等也都有Hadoop的解决方案。现在几大运营商都在使用Hadoop做一些大数据的处理工作。
  下面谈一下运营商对于大数据的需求。运营商传统上对于海量数据存储处理依赖于数据库和数据仓库,它发展过程当中面临着拓展不足的问题。比如说省的大公司比如说它的交易系统、分析系统之类的,由于这个问题面临着分库问题,分库之后也带来了很多问题,比如数据资源利用不均、管理复杂等等问题。还有传统数据仓库对于非结构化数据处理能力比较有限。
  运营商在大数据处理应用可以总结出四个模型,比如准实时批处理应用。这一类是批量的输入数据,输出结果不需要立即呈现。这类典型应用包括内容计费、网间结算、话单文件计费等等。这些实际上都是属于这一类的准实时批处理应用。再一类就是非实时的批处理应用,这一类可以允许小时级别的返回结果。典型应用比如ETL数据处理、KPI计算、各种网络和日志清晰、用户行为分析等等。第三类就是在线事务处理,必须要在秒级别内完成,而且交易可靠性要求也是非常之高,典型应用就是各种门户系统以及CRM系统、实时事件告警、积分平台、搜索引擎等都属于这一类。最后一个是在线分析应用,这逻辑要求比ORTP要高,对于数据库更新要求会低一些。这一类的应用主要体现在主题分析、数据多维分析、市场预测等等应用。
  之前也提到了,运营商大数据处理系统跟我们之前提到的大数据总体发展趋势是一样的。都是数据量越来越大,但是实时性要求越来越高,这就给技术实现难度带来了越来越大的挑战。
  下面介绍一下中国移动大数据方面的应用实践。中国移动在大数据处理方面是跟云计算研发工作齐头并进来做的。我们的研发主要是体现在我们自主开发的“大云系统”当中。我们有几个产品线。
  比如分析型PaaS产品,这是大数据处理的一个主要产品。里面包括Hadoop基础平台,这个Hadoop是我们根据自己应用的要求做了一些修改。第二就是基于Hadoop的大数据仓库。第三个是并行数据挖掘工具。第四个是搜索引擎系统。此外还有一个是商业智能系统。
  对于这几个系统我就分别做一下介绍。第一个就是BCHadoop。它跟传统的Hadoop相比有几个特点,首先是它的可用性会更高。我们知道Hadoop它的名字节点是单的,当然像一些厂家例如Facebook,分支是做了双名字节点,目前做的也是手动实现主备倒换。而我们可以做到自动的秒内的主备倒换。在多租户等方面也做了一些相关的东西,在Hadoop可管理方面也开发了一些相关的工具和系统。
  第二个就是BC-HugeTable。这个数据仓库的特点容量大支持PB级,再一个成本很低,存储是基于PC本地盘实现的。性能很高。我们支持索引的查询,所以像大部分查询工作都可以在秒级别完成。此外可靠性也是比较高的。同时我们支持一些定制化。现在我们支持了三到四种存储引擎,可以根据应用需求定制一些新的存储引擎和索引类型。在接口支持方面,我们支持传统的数据库,同时也提供MapReduce分布式编程接口。外围工具我们有开发了并行的数据加载、备份恢复等工具。
  数据挖掘这块,我们有一个产品叫做BC-PDM系统。支持45种ETL操作,支持15种主要的主流算法,当然这个主要算法还是基于我们电信应用的。同时支持数据统计、变量分析、海量数据探索等等功能。我们也支持了社交网络分析的算法。可以支持网络特征分析、社团发现、演化、展示等,这个对于运营商精准营销来说是一个非常重要的特点。同时还支持了很多数据接口,比如我们可以跟现在主流交易数据库进行数据交换,还支持一些开源系统。同时我们还支持SaaS和PaaS服务模式。这个系统是可以通过Web的方式,用户通过拖拉拽或者写一些脚本方式实现数据挖掘应用,数据上载到我们集中平台上,做完数据挖掘和分析之后,用户把结果拿回来。这种应用模式避免了用户为了临时的数据挖掘和分析的需求去采购大量基础设施的情况。
  我们还支持丰富的UI,包括图形化的拖拉拽的界面,现在每一个ETL操作和数据挖掘算法,我们都做了图标形式在系统上展现出来,用户把几个图标拖拽在一起定义它们之间的数据关系就可以形成应用,用起来非常方便。同时对于比较专业的用户提供了命令行等方式提供它的应用开发。此外还支持定制化的二次开发。
  搜索引擎这块跟大数据相关的,我们在网页采集、网页分析、自然语言处理这方面做了一些工作。网页采集方面,我们也测试了一下,跟开源的系统相比,我们效率可以提高一个数量级。
  商业智能,为了满足中国移动精分系统集中化建设的要求来实现的一个平台。精分系统,每个省都建了比较大的数据仓库,围绕其建设了很多专门数据提示,这对于基础设施投资以及系统资源利用上都不是一个很好的解决方案。现在我们开发的BI-PaaS,可以实现全网数据集中存储,并且提供一个应用运行环境、应用开发平台。用户的应用可以在本地开发,开发完之后提交到集中平台上执行。对后台数据进行操作,最后就可以得到你想要的分析结果。
  包括了两大部分,一个是开发套间,它是用户下载到本地,可以在本地进行各种应用模拟开发。第二个是BI PaaS Server,是后台一个比较大的分布式系统,集中存储各种各样的数据并且能够托管用户应用,并行执行之后尽可能快速返回结果。
  以上介绍了我们“大云”在大数据处理方面所做的研发工作。后面举几个案例。通过“大云”系统实现的应用。第一个是经营分析系统当中,通过BC-PDM和BC-ETL去代替ETL的工作。传统的ETL,当然有专门的ETL工具,但它不是主流。主流的方式一般都是ELT,把数据抽取以后先加载在数据仓库,在库内进行清晰转换,这是目前应用的一个主要方式。这种方式对于数据仓库容量造成了很大浪费,因为数据仓库价格还是比较贵的。所以我们通过BC-ETL把数据仓库内一些转换和清晰的工作卸载到BC-ETL系统中,可以大大降低投资。因为它是并行化系统,所以在实际应用过程当中就发现了,无论是成本方面还是应用性能方面,都有一个比较大的提升。
  第二个应用场景就是信令监测系统。运营商是经营网络的,在我们的系统当中有非常丰富的数据信息资源。比如说现在我们全网都在做信令监测系统,不光包括传统的电话交换的信令还包括了现在上网的信令等,这些信令当中也蕴含了一些丰富的信息,我们可以用它来进行网络优化。通过信令合成来看端到端,在哪一段我们的网络存在故障或者瓶颈。这个信令监测系统对于实时性要求比较高。比如说处理上亿条信令的挖掘和处理,要求是在一分钟以内去反馈。还有分组域的信令也蕴含着很多用户行为的数据,例如GPS等接口我们可以获取用户上网所有的数据。其实这些数据,我们对于用户行为分析、精准营销方面,是有很大价值的,同时这个量也是非常大的。所以说我们现在采用大数据的技术,在部分省是部署“大云”系统做大数据处理。同时硬件成本上也有降低。比如查询性能可以提高5到7倍。
  以上只是两个例子,其实还有很多例子,比如说详单查询,移动公司运营商以前是邮寄给你,或者你去营业厅打印。未来我们可以在网上给你提供服务,可以查找过去几年的数据,所以它是一个灵活分析系统、在线交易的一个综合功能的解决方案。这也是大数据处理的一个很重要的应用场景。
  以上举了一些案例,今天应该说在座的各位都是各行各业的CIO,做信息化方面的专家,我们也非常希望未来在各个领域信息化处理方面能够跟各位多交流,希望未来能够给各行各业提供更好的服务。我的演讲就到这,谢谢大家!

RTB,运营商大数据应用的新方向(案例解析)

唐半张 发表了文章 0 个评论 2086 次浏览 2015-10-19 11:09 来自相关话题

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据 ...查看全部

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”——麦肯锡
1、 运营商大数据及RTB发展
在互联网尤其是电商领域,大数据已经得到了较成熟的运用,并成功指导企业的生产和销售。而电信运营商是传统行业中的天然大数据公司,它的主要业务包括语音业务、数据业务、位置、网络和商务等增值业务,而这些业务决定了运营商在大数据产业链中的数据传递和交换中心的地位,并为其带来丰富的数据资源,能力开放和数据运营是电信运营商多元化发展的必然趋势。目前,全球120家运营商中,已经有48%的企业正在实施大数据战略。通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身。
RTB(RealTime Bidding)实时竞价,是一种利用第三方技术在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。实时竞价RTB主要特点在于基于大数据技术可以协助广告主投放过程更加精准、透明、高效、可控,规避了无效的受众到达,从而提高投放效果ROI。RTB目前逐渐成为未来互联网广告发展中无可争辩的主流趋势,在美国,RTB展示广告近5年的复合年均增长率为70.5%。Google认为展示广告的市场规模将从现在的200亿美金扩张到2015年的500亿美金,其中50%以上的展示广告将通过RTB模式完成,Google、Facebook等国际互联网巨头纷纷推出自己的RTB广告发布系统。国内互联网巨头BAT凭借资金、经验、技术和用户优势,引领RTB行业发展。
2、 国内外运营商大数据应用现状
最近几年,国外运营商已经开始对所拥有的大数据资源进行商业模式的探索,目前主要运用模式分为数据分析打包、现有业务改善、数据开放、数据销售等形式,这些模式尝试将为国内运营商的能力开放和数据运营提供良好的借鉴。如西班牙电信成立了大数据业务部门“数据洞察”,提供数据分析打包服务,并推出了首款产品名为智慧足迹(Smart Steps)。该产品可对某个时段、某个地点人流量的关键影响因素进行分析,并将洞察结果面向政企客户提供。该方案面向不同行业推出系列产品,例如包含交通流量管理功能的“Smart City”。Vodafone则将匿名数据开放给外部API,与LBS服务对接。通过开放API,向数据挖掘公司等合作方提供部分用户匿名地理位置数据,以掌握人群出行规律,有效地与一些LBS应用服务对接。
这两年,国内运营商也积极推进大数据的跨界合作和应用,中国移动在2013年年底提出了以“大数据、超细分、微营销”为核心,以大数据能力为基础,建立适应互联网时代的营销服务体系。中国电信则以综合平台、智能管道为依托,以丰富大数据为基础,聚焦重点大数据应用,特别是聚合更有价值的四大大数据商业应用模式,依托自身核心业务,以实现利润最大化。
2013年底,国内首个由运营商自主研发的互联网广告实时交易平台在中国电信浙江公司成功上线,浙江电信互联网广告实时交易平台的建成,标志着运营商探索大数据走出重要一步,相对于互联网企业,运营商在RTB最大的优势在于其拥有网络管道优势上的大数据,除了客户的基本属性之外,还有大量的、实时的客户互联网行为数据。运营商在移动互联网生态体系应充分发挥其优势,占据主导地位。
3、 国内运营商RTB应用案例
运营商RTB生态圈,主要包括DSP即需求方平台,以广告主和广告公司为主;SSP即供应方平台,主要指提供广告位资源的媒体,也包括现下的自媒体;DMP即数据管理平台,拥有客户属性及行为数据的分析管理平台;以及AdExchange,即RTB广告交易平台。

图1:系统整体架构
DMP即数据管理平台,这是运营商大数据应用的最核心平台,实时竞价中整个涉及受众购买的环境数据都需要DMP底层提供。数据管理平台通过对卖方的数据进行抽取,过滤,清洗,加密,分析,存储后,将卖方与买方的需求进行关联和匹配,实时判断买方和卖方出价,支撑实时竞价。数据管理平台会提供合理和科学的算法和分析依据来帮助买方(客户)和媒介执行机构(卖方)来判断什么样的受众才是高质量的,从而使营销推广的结果更加高效和更加出色。运营商DMP除了客户基本属性如手机号、性别、职业、省市、年龄等之外,更多关注的是客户互联网行为信息,包括搜索行为、网页浏览行为、兴趣偏好、活跃时间、当前位置、活动轨迹等,通过数据统计及建模方式按各个不同标签定义不同类型的人群,形成客户360度视图。

图2:客户数据挖掘流程
以App应用为核心的无线用户多维度画像为例,需要采集的数据包括:用户个人属性(用户注册信息、设备号、位置、网络、终端、区域、工作属性类型)、用户拨打电话特性(客户号码/400电话拨打记录、话费、主被叫特征、时长等)、用户上网行为(浏览内容/应用类型、用户访问记录、搜索关键词、交易记录等)、应用软件内容,信息传播路径:微博、短信、邮件、微信内容分析等。

图3:以App应用为核心的无线用户多维度画像
案例:移动端游戏类APP推广广告投放
1、案例背景:
推广内容:针对某游戏APP的推广活动
人群定向:16-36岁年轻群体(喜欢APP游戏人群)
投放周期:2014年:6月1日-2014年6月7日
2、投放过程:运营商客户群标签
年龄标签、性别标签
APP下载次数标签、APP使用活跃度标签、游戏类APP下载次数标签、游戏类APP使用时间标签等;
兴趣偏好模型、上网时间偏好模型、付费承受能力标签、最近十天搜索行为标签等;
3、投放效果:转化/点击效果提升3.8倍

 

研报深度:运营商大数据蓄势待发

唐半张 发表了文章 0 个评论 1312 次浏览 2015-10-19 11:06 来自相关话题

电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面 ...查看全部
电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面前的一条出路便是管道智能化。通过大力推进“智能管道”建设,增加附加值,大规模地发展增值服务。由于拥有大量数据资源,运营商通过产业链的广泛合作,相关产业链的公司与运营商共建平台,仍然有着巨大的发展空间。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也大有可为。
大数据运营成必然选择
对于运营商来看,被以BAT为代表的互联网巨头及OTT企业“管道化”的趋势已不可避免,同时互联网巨头凭借自身庞大的数据资产已在数据变现的道路上大踏步前进,这将进一步边缘化运营商的地位。摆在运营商面前的一条出路,便是管道智能化。
随着网络建设的不断发展,运营商的语音业务收费越来越低,甚至呈现逐渐免费的趋势,数据流量经营将成为运营商的主要方向。从率先开展4G建设的中移动业务结构变化便可窥视。2014年前三季度中移动语音和短信、彩信业务继续下滑,总通话分钟数比上年同期下降0.3%,短信使用量比上年同期下降20.2%;但同期移动网络数据流量比上年同期增长98.6%,几乎是去年同期的两倍,流量业务在营收中占据的比例越来越大。按照现有数据预测,到2016年,中移动语音、短信收入占比将从2011年的67%降至40%,而数据流量和数字服务的收入将增至60%,成为业务收入主体。数据流量经营对运营商的重要性越来越大,关系到运营商的生存价值甚至是生存问题。
我们认为运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由流量经营进入大数据运营已成为大势所趋
从目前的情况看,电信运营商与以BAT为代表的互联网企业在增值服务上并不具有竞争优势,但从后向的行业应用及大量的数据资源来看,运营商通过产业链的广泛合作仍然有着巨大的发展空间。同时,由于涉及到政策模糊、用户隐私、技术成本等因素影响,运营商大数据掘金之路目前仍然曲折。但不可否认的是,运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由语音经营走向流量经营进而进入大数据运营已成为大势所趋,空间巨大。
大数据运营基础架构
目前,运营商在大数据经营方面尚未形成明确的盈利模式,还处于“摸着石头过河”阶段。借鉴国外运营商的运行模式,结合信令数据、DPI技术、B+O域数据整合等可洞析大数据运营可能的方向。
全球运营商已经开始为掘金大数据做准备。电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示,全球120家运营商中约有48%的运营商正在实施大数据业务,大数据业务成本平均占到运营商总IT预算的10%,并且在未来五年内将升至23%左右(我国运营商目前投入占比不足1%),成为运营商的一项战略性优势。国外运营商已经做了一些很好的尝试,美国AT&T位置数据货币化、日本NTT Docomo创新医疗行业的社会化整合、Verizon数据仓库促进精准营销、德国电信智能网络培育新增长点、Telefónica大数据支撑用户体验优化、Vodafone动态数据仓库支持商业决策、法国电信数据分析改善服务水平、KDDI商业WiFi运营等,都是有借鉴意义的案例。
信令数据用以实现网优及获取位置信息。信令实际上就是一种用于控制的信号。语音经营时代,通话质量对运营商来说是至关重要的指标。运营商通过对信令进行监测,深层次支撑网络优化、精确故障定位。随着2G、3G、4G的逐步建设,运营商进入流量经营时代,通过信令数据可以规划基站和热点的建设,还可以对已有基础的效率和成本进行评估,用以增减基站建设以实现更高的网络效率。流量经营时代,上网流量的监测需求变得更为突出,但信令数据作为网络优化必不可缺的环节,加之通过进一步发掘信令数据所采集的位置信息,对运营商大数据运营提供了非常有意义的基础数据。基于这些数据的价值挖掘,是目前较为清晰的一个发展方向。
DPI已经在流量管理、安全和网络分析等方面成功开展,同时能够对网络数据包进行内容分析。通常的DPI解决方案能够为不同的应用程序提供深度数据包检测。DPI能够检测出数据包的内容及有效负载并且能够提取出内容级别的信息,如恶意软件、具体数据和应用程序类型。运营商均已充分认识到DPI的巨大价值,早已开始大规模招标建设、与第三方服务机构合作,4G带来的流量爆发更为DPI发挥巨大价值提供了广阔空间,因此,充分挖掘DPI的巨大潜力将给运营商带来巨大的效益。
运营商网内数据主要来源于业务平台、基础网络、支撑系统(包括O域(运营域)、B域(业务域)、M域(管理域))三大IT支撑系统。每个域由多个子系统组成,各域数据分别存放在多个生产数据库中,目前数据库的总量已达上百个,B+O域有效数据存储量占总量的80%以上。通过整合B域和O域的数据,可大幅提升信息共享能力,提高网络优化和规划建设的效率和有效性,有利于进一步的数据分析,尤其是对流量经营有着重要的意义,提升数据业务流量经营的用户行为与业务洞察能力,通过平台建设初步形成“大数据”洞察的跨域(B域/O域)分析架构。
大数据产业链清晰
运营商大数据产业链主要分为四层:即大数据采集、大数据管理、大数据应用及大数据运营
大数据采集是大数据产业链的底层基础。目前政策要求数据全采全监,包括通话记录及内容、短信记录、位置的轨迹信息等管道内特有数据,所以数据采集成为了运营商的刚性需求。政策及4G助力采集市场率先爆发。而大数据采集对进一步做大数据管理、应用及运营有着最直接的支撑。
大数据管理通过数据共享平台实现。数据共享平台主要由数据汇集、数据支撑、数据接入点三层组成,向下可以支撑数据采集层,向上支撑外部数据应用系统。在数据采集过程中,有时一个口有超过十套系统在采集,比较杂乱。大数据共享平台是趋势,即将采集好的数据放在共享数据池中,实现共享避免重复采集,这也是运营商比较偏好的方式。
大数据应用主要包括基础应用和行业应用。基础应用,包括网络管理和优化及客户关系管理;行业应用,包括企业业务运营监控和经营分析。
大数据运营终极目标增值业务和精准营销增值业务:利用特定的网络数据,创新增值应用,增加运营业务收入。简单来说,数据采集阶段形成了最全面、最及时的数据,通过具体时间段、具体地点(实际或虚拟)客户行为的趋势性分析,即可形成非常有价值的判断,再通过指定的要求来分析,即会形成更有指导意义的结论。精准营销:通过对移动互联网用户的行为分析,进行用户偏好分群进而建立精确的用户画像,并开展针对性的市场营销及配套服务。
对于数据采集公司来讲,面向核心网各个功能域采集数据。通过对移动、固网中控制数据和用户数据的采集分析,并对监测报告进行深度解析,发现数据应用的潜在特征进行识别。
中国移动设备数据流量2014年增幅接近50%。根据工信部数据,包括智能手机在内,中国各类移动设备2014年的平均流量首次超过200MB。但根据思科的统计,全球智能手机2014年平均数据流量达到819MB。这从侧面显示,我国平均流量水平还有很大的提升空间。
三大运营商中,中国移动2013年底率先拿到TD-LTE牌照,拉开了我国进入4G时代的序幕。中国联通和中国电信2015年2月底才拿到FDD-LTE牌照,4G建设将全面铺开。4G时代对运营商的重大变化即为,传统数据(信令)采集业务也将由过去的2G、3G以语音和短信为主全面向4G数据(上网)业务拓展,而4G大量的图片、视频信息也将在采集规模上远远超过2G、3G。
据我们测算,在2G-3G时代,电信及联通在信令和DPI采集领域投入约20亿-40亿元。随着FDD牌照的发布,三大运营商均进入4G时代,都在加大数据采集领域的资本开支。我们之前预计,今年三大运营商规划的采集规模或达25亿元,其中以中国移动4G为主。但从年初招标的情况来看,竞争相当激烈,移动一期的招标最终成交价可低至最初规划的1/10水平。预计今年最终合计将在15亿-20亿元之间的水平。当然,各厂家在初期血拼是为了“圈地”,即进入运营商集采或是省分的供应链体系,这样才能够获得后续扩容,并通过扩容来实现盈利。随着4G渗透率的大规模提升,数据采集的需求量将现指数级增长。
随着三大运营商都大力推进4G建设进程,其共同发力将进一步提升4G的普及率,数据量级的增长将相当显著,我们认为运营商数据“采集”业务将在未来几年出现大规模爆发。
共建平台探索发展模式
国内运营商都已认识到大数据运营对其未来发展的重要性,纷纷展开了各种尝试,发展方向包括基于位置信息获取收入、根据客户需求研究分析、出具报告以及帮助DSP更加精确地投放广告
基于位置信息获取收入方面,由此所能带来的商业价值相当可观,通过位置信息,可以分析受众人群的情况,可以直接实现广告定价的问题(通过测算广告牌的流量可为运营商提供定价的测算依据)。游客的趋势性信息对每个景区都非常重要,能对其提高运营水平、规划商业决策行为提供非常有价值的数据。拓展来看,不仅对景区,各类商圈都有类似的需求。因此,基于位置信息的服务才刚刚开始,非常有望成为运营商未来的发力点。
根据用户的特定需求进行研究分析,并就研究分析结果出具研究报告,是国外咨询公司采用的一种模式,也是非常高效的一种模式。这里我们要强化一个概念,数据属于运营商,而个人隐私不容侵犯,因此报告必须是趋势性的、群体性的,属于分析处理的内容,而非原始数据,更不能涉及具体的个体。我们认为这对运营商来说将是有广阔空间的领域,而且运营商不仅可以自己来做,更可以通过和第三方机构展开合作,开拓更广阔的市场。
RTB或将成为运营商大数据的大舞台。对于运营商来说,对自己的数据资产进行DPI解析,全方位分析广告受众的长期喜好和短期关注(DMP),可以识别用户的Cookie、IMEI、计费代码等信息,将这些客户标签信息以实时的方式提供给广告平台(DSP)作为实时竞价的依据之一,可以有效帮助DSP更加精确地投放广告。
值得特别说明的是,运营商对于精准营销的数据商用持非常谨慎的态度,因为涉及到用户隐私等问题。基于群体用户行为的分析是比较可行的。而对于B2C的精准营销,如个人短息推送等,运营商是比较慎重的。
而在盈利模式方面,我们认为相关产业链的公司与运营商共建平台并进行分成的模式将会是较为合理的一种情形。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也将与运营商形成更好的互补效应,进而形成合作共赢的较好突破口。
我们认为,在大数据运营这座巨大金矿面前,运营商更多的选择将是合作共赢,扶持自己可管可控的产业链,靠自己单打独斗是无法满足行业的巨大需求和产业链过长带来的专业化分工要求。因而过去聚焦于运营商CP/SP领域的增值服务商同样值得关注。
多样化的运营商数据来源
结构化数据包括:
账单数据 通话和短信
网络和位置数据 客户邮件
呼叫数据包括呼叫详细记录(CDRs) 及每个呼叫测量数据(PCMD) 社交媒体
非结构化数据包括:
工程和网络工具信息 网上论坛
库存和物流数据、 网页浏览记录
CRM 客户服务记录
客户服务和销售服务活动 IVR日志
销售会计记录,包括订单历史、产品类型和服务广告样稿 内部客户反馈或其他内部文件
外部调查
媒体下载、应用程序的使用和交互、图片和视频
系统日志和传感器数据
资料来源:Informa,中信建投证券研究发展部
运营商数据资产分类
业务支撑系统的数据: 这部分数据由CRM、计费、客服、渠道等IT系统在服务客户的过程中产生。例如用户资料、使用记录(话单)、费用记录(账单)、付费关系、客户咨询和投诉的语音和文字记录、电子渠道的交互信息(交易信息、JS插码、SDK数据等)。
网络系统产生的数据 :来自电路域(CS)和分组交换域(PS)中信令分析的结果。比如位置信令(包括15分钟左右的周期位置更新和呼叫过程中的位置切换信令)、开关机信令(在其中有开关机的地点,使用的终端等信息)、漫游信令。
运营商自有的互联网和移动互联网产品的数据 :来自WEB和APP客户端的数据,一般通过JS插码或SDK的方式收集;来自后台的访问日志和交易记录、收藏、关注等信息;UGC数字内容等信息;监测数据等。

原来是这么玩,解析全球十大电信巨头如何玩大数据

唐半张 发表了文章 0 个评论 1337 次浏览 2015-10-19 11:01 来自相关话题

    对于电信运营商而言,没有哪一个时代能比肩4G时代,轻松掌握如此海量的客户数据。4G时 ...查看全部

    对于电信运营商而言,没有哪一个时代能比肩4G时代,轻松掌握如此海量的客户数据。4G时代,手机购物、视频通话、移动音乐下载、手机游戏、手机IM、移动搜索、移动支付等移动数据业务层出不穷。它们在为用户创造了前所未有的新体验同时,也为电信运营商挖掘用户数据价值提供了大数据的视角。数据挖掘、数据共享、数据分析已经成为全球电信运营商转变商业模式,赢取深度商业洞察力的基本共识。
目前,全球120家运营商中,已经有48%的企业正在实施大数据战略。通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身。从曾经的“管道”到大数据战略融合,电信运营商到底该如何善用大数据?全球10强电信“大佬们”的大数据应用之道及其培育的新经济增长点启示颇多。1.AT&T:位置数据货币化
    T&T是美国最大的本地和长途电话公司,创建于1877年。2009年,AT&T利用全球领先的数据分析平台、应用和服务供应商Teradata天睿公司的大数据解决方案,开始了向信息运营商的转变。
在培育新型业绩增长点的过程中,AT&T决定和星巴克开展合作,利用大数据技术收集、分析用户的位置信息,通过客户在星巴克门店附近通话或者其他通信行为,预判消费者的购物行为。为此,AT&T挑选高忠诚度客户,让其了解AT&T与星巴克之间的这项业务,并签署协议,将客户隐私的管理权交给客户自己。在获得允许情况下,AT&T将这些信息服务以一定金额交付给星巴克。星巴克通过对这些数据的挖掘,可以预估消费者登门消费的大概时间段,并且预测个人用户行为,并做出个性化的推荐。此外,在iPhone上市伊始,为了解iPhone的市场反响,AT&T还选择与Facebook结成战略联盟,通过对Facebook的非结构化数据进行分析,发现用户对价格、移动功能、服务感知等产品指标的体验情况,从而推出更加准确的电信捆绑服务。2.NTT:创新医疗行业的社会化整合
NTT是日本最大电信服务提供商,创立于1976年。它旗下的NTTDOCOMO是日本最大的移动通讯运营商,也是全球最大的移动通讯运营商之一,拥有超过6千万的签约用户。
    自2010年,NTTDOCOMO利用大数据解决方案,实现了医疗资源的社会化创新,培育了医疗信息服务增长点。面对日本社会的老龄化趋势,NTTDOCOMO想到了通过搭建信息服务平台,满足用户的个性化医疗需求。因此,NTTDOCOMO和Teradata天睿公司进行充分合作,利用其大数据解决方案,建立自己的资料库。通过开设MedicalBrain和MD+平台,聚合大量的医疗专业信息,网聚了大批医疗行业专业人士。这使用户和各种专业医疗和保健服务提供商共同拥有了符合标准的、安全可靠的生命参数采集和分发平台。在这个平台上,NTTDOCOMO能够根据用户的以往行为洞察其个性化需求,再将这些需求反馈至对应的医疗人员,帮助用户获得高价值的信息反馈。     3.Verizon:数据仓库促进精准营销
    Verizon是美国最大的本地电话公司、最大的无线通信公司之一,也是全世界最大的印刷黄页和在线黄页信息提供商。它在美国、欧洲、亚洲、太平洋等全球45个国家经营电信及无线业务。
随着年轻一代用户成为电信消费主力人群,通过多媒体、社交媒体等渠道了解他们的消费行为成为Verizon的营销重点。因此,Verizon成立精准营销部门(PrecisionMarketingDivision),利用Teradata天睿公司的企业级数据仓库,对用户产生的结构化、非结构化数据进行挖掘、探索和分析。在大数据解决方案的帮助下,Verizon实现了对消费者的精准营销洞察,并且向他们提供商业数据分析服务,同时在获得允许情况下,将用户数据直接向第三方交易。此外,这些对用户购买行为的洞察也为Verizon的广告投放提供支撑,实现精准营销。凭借着获取的消费者行为的洞察力,Verizon还决定进军移动电子商务,形成自己全新的业绩增长点。4.德国电信:智能网络培育新增长点
    德国电信是欧洲最大的电信运营商,全球第五大电信运营商。旗下T-Systems是全球领先的ICT解决方案和服务供应商。
    正是T-Systems将德国电信带上了大数据的发展快车道。基于拥有全球12万平方米数据中心的优势,T-Systems提出了“智能网络”的概念。通过实时获得汽车、医疗以及能源企业的数据,T-Systems先后开发了车载互联网导航系统、交通意外自动呼叫系统以及声控电邮系统,以及能源网开发解决方案,实现电量的供需平衡。此外,它还通过设计安全的传输方式和便捷的解决方案,将医生和患者对接,提供整合的医疗解决方案。           5.Telefónica:大数据支撑用户体验优化
    Telefónica创立于1924年,是西班牙的一家大型跨国电信公司,主要在西班牙本国和拉丁美洲运营,它也是全球最大的固定线路和移动电信公司之一。
    Telefónica一直将用户体验视为企业发展重点。Telefónica启动一个针对移动宽带网络的端到端用户体验管理项目,并建立了一个包含60多个用户体验指标的系统,支持无线网络控制器(RNC)、域名系统(DNS)、在线计费系统(OCS)、GPRS业务支撑节点(SGSN)、探针等各种网络节点的信息采集。所有采集来的信息经过整合后存储到数据库中,为后续的用户体验测量提供数据支撑。6.Vodafone:动态数据仓库支持商业决策
    沃达丰是跨国性的移动电话运营商,现为全球最大的流动通讯网络公司之一。
    Vodafone在大数据应用方面取得了丰硕成果。早在2009年,旗下SmarTone-Vodafone就委托Teradata天睿公司为其完成动态数据仓库的部署,使企业所有管理人员可以根据信息轻松制定最佳决策。它主要通过开放API,向数据挖掘公司等合作方提供部分用户匿名地理位置数据,以掌握人群出行规律,有效地与一些LBS应用服务对接。这些大数据解决方案极大提高了SmarTone-Vodafone的市场领导力。7.中国移动:客户投诉智能识别系统降低投诉率
    中国移动通信集团公司是中国规模最大的移动通信运营商,也是全球用户规模最大的移动运营商。
    在中国移动近实现客户数量迅猛增长的同时,相应也带来了客户投诉量的增长。
    为了辨别客户投诉的真实原因、发现问题、改进产品、提升服务体验,中国移动和Teradata天睿公司进行了密切合作。Teradata为其配置了基于CCR模型的客户投诉智能识别系统,以投诉内容为源头,通过智能文本分析,实现了从发现问题到分析问题,再到解决问题以及跟踪评估的闭环管理。经过一段时间使用,仅中国移动某省级公司,就实现全网投诉内容的智能识别:769个投诉原因被识别;配合业务部门提出37个产品优化建议,协助优化11个产品;优化不满意点58个,消除368,295客户的潜在不满隐患;每年节约成本达540万。8.法国电信:数据分析改善服务水平
    法国电信是法国最大的企业,也是全球第四大电信运营商,拥有全球最大的3G网络Orange。
    为了优化用户体验,法国电信旗下企业Orange采用Teradata天睿公司大数据解决方案,开展了针对用户消费数据的分析评估。Orange通过分析掉话率数据,找出了超负荷运转的网络并及时进行扩容,从而有效完善了网络布局,给客户提供了更好的服务体验,获得了更多的客户以及业务增长。同时,Orange承建了一个法国高速公路数据监测项目。面对每天产生500万条记录,Orange深入挖掘和分析,为行驶于高速公路上的车辆提供准确及时的信息,有效提高道路通畅率。9.意大利电信:数据驱动的个性化业务
    意大利电信是欧洲最大的移动运营商之一,同时也是基于单一网络提供GSM系列服务的领先欧洲运营商。
    面对固网业务的下滑,意大利电信构建了面向全业务运营的客户数据仓库,以适应市场、销售、客户服务等领域的业务规则和需要。通过对客户数据的洞察,有效地预测收入状况与客户行为的关联性,推出了诸多个性化产品满足客户需求。意大利电信推出的NapsterMobile音乐业务就提供包括手机铃声、艺术家肖像墙纸以及接入NapsterMobile歌曲目录等个性化服务,直接拉动了企业业绩。10.KDDI:数据管理服务是核心
    KDDI是日本知名的电信运营商,在世界多个国家设有子公司。
    通过大数据资产,提供数据管理服务是KDDI的核心业务之一。KDDI利用自身优势,以数据中心为核心,向企业提供包括云计算服务在内的信息通讯综合服务。KDDI于2000年开始在中国开展为日系及当地企业提供数据管理服务,业务发展迅猛。2012年,KDDI在北京经济技术开发区建设了当地最大规模数据中心,占地2.5万平米,试图实现2015年海外营业额为2010年2倍的目标。
以4G为代表的移动互联网时代,令信息、互联网行为数据、话单数据、WAP日志/WEB日志、互联网网页、投诉文本、短信文本等结构化数据以及非结构数据呈现几何式增长。面对新型海量数据,传统电信运营商正面临越来越大的挑战:
  • 客户与内容服务提供商联系更加紧密,但对电信企业的忠诚度反而下降;
  • 企业无法通过流量内容服务提供商业价值,盈利能力持续下降;
  • “管道化”严重弱化对承载信息的掌控,丧失创新产品、业务发展的基础。

    电信运营商需要凭借数据分析来竞争,实现数据价值货币化。同时,利用大数据实现企业从电信网络运营商到信息运营商的转型。通过对数据的分析,了解客户流量业务的消费习惯,识别客户消费的地理位置,洞察客户接触不同信息的渠道等等,电信运营商将获得深度商业洞察力,打造基于大数据的租售数据模式、租售信息模式、数字媒体模式、数据使能模式、数据空间运营模式、大数据技术提供商等全新商业模式。

大数据在电信行业的应用

唐半张 发表了文章 0 个评论 1281 次浏览 2015-10-19 10:49 来自相关话题

电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果 ...查看全部

电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示,全球120家运营商中约有48%的运营商正在实施大数据业务。该调研公司表示,大数据业务成本平均占到运营商总IT预算的10%,并且在未来五年内将升至23%左右,成为运营商的一项战略性优势。可见,由流量经营进入大数据运营已成为大势所趋。
电信运营商拥有多年的数据积累,拥有诸如财务收入、业务发展量等结构化数据,也会涉及到图片、文本、音频、视频等非结构化数据。从数据来源看,电信运营商的数据来自于涉及移动语音、固定电话、固网接入和无线上网等所有业务,也会涉及公众客户、政企客户和家庭客户,同时也会收集到实体渠道、电子渠道、直销渠道等所有类型渠道的接触信息。整体来看,电信运营商大数据发展仍处在探索阶段。大数据在电信行业应用的总体情况
目前国内运营商运用大数据主要有五方面:(1)网络管理和优化,包括基础设施建设优化和网络运营管理和优化;(2)市场与精准营销,包括客户画像、关系链研究、精准营销、实时营销和个性化推荐;(3)客户关系管理,包括客服中心优化和客户生命周期管理;(4)企业运营管理,包括业务运营监控和经营分析;(5)数据商业化指数据对外商业化,单独盈利。
第一方面:网络管理和优化。此方向包括对基础设施建设的优化和网络运营管理及优化。
(1)基础设施建设的优化。如利用大数据实现基站和热点的选址以及资源的分配。运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布,对2G、3G的高流量区域设计4G基站和WLAN热点;同时,运营商还可以对建立评估模型对已有基站的效率和成本进行评估,发现基站建设的资源浪费问题,如某些地区为了完成基站建设指标将基站建设在人际罕至的地方等。
(2)网络运营管理及优化。在网络运营层面,运营商可以通过大数据分析网络的流量、流向变化趋势,及时调整资源配置,同时还可以分析网络日志,进行全网络优化,不断提升网络质量和网络利用率。
利用大数据技术实时采集处理网络信令数据,监控网络状况,识别价值小区和业务热点小区,更精准的指导网络优化,实现网络、应用和用户的智能指配。由于用户群的不同,不同小区对运营商的贡献也不同。运营商可以将小区的数据进行多维度数据综合分析,通过对小区VIP用户分布,收入分布,及相关的分布模型得到不同小区的价值,再和网络质量分析结合起来,两者叠加一起,就有可能发现某个小区价值高,但是网络覆盖需要进一步提升,进而先设定网络优化的优先级,提高投资效率。
  • 德国电信建立预测城市里面的各区域无线资源占用模型,根据预测结果,灵活的提前配置无线资源,如在白天给CBD地区多分配无线资源,在晚上,则给酒吧地区多分配无线资源,使得无线网络的运行效率和利用率更高。
  • 法国电信通过分析发现某段网络上的掉话率持续过高,借助大数据手段诊断出通话中断产生的原因是网络负荷过重造成,并根据分析结果优化网络布局,为客户提供了更好的体验,获得了更多的客户以及业务增长;
第二方面,市场与精准营销。此方向包括客户画像、关系链研究、精准营销、实时营销和个性化推荐。(1)客户画像。运营商可以基于客户终端信息、位置信息、通话行为、手机上网行为轨迹等丰富的数据,为每个客户打上人口统计学特征、消费行为、上网行为和兴趣爱好标签,并借助数据挖掘技术(如分类、聚类、RFM等)进行客户分群,完善客户的360度画像,帮助运营商深入了解客户行为偏好和需求特征。(2)关系链研究。运营商可以通过分析客户通讯录、通话行为、网络社交行以及客户资料等数据,开展交往圈分析。尤其是利用各种联系记录形成社交网络来丰富对用户的洞察,并进一步利用图挖掘的方法来发现各种圈子,发现圈子中的关键人员,以及识别家庭和政企客户;或者分析社交圈子寻找营销机会。如在一个行为同质化圈子里面,如果这个圈子大多数为高流量用户,并在这个圈子中发现异网的用户,我们可以推测该用户也是高流量的情况,便可以通过营销的活动把异网高流量的用户引导到自己的网络上,对其推广4G套餐,提升营销转化率。总之,我们可以利用社交圈子提高营销效率,改进服务,低成本扩大产品的影响力。(3)精准营销和实时营销。运营商在客户画像的基础上对客户特征的深入理解,建立客户与业务、资费套餐、终端类型、在用网络的精准匹配,并在在推送渠道、推送时机、推送方式上满足客户的需求,实现精准营销。如我们可以利用大数据分析用户的终端偏好和消费能力,预测用户的换机时间尤其是合约机到期时间,并捕捉用户最近的特征事件,从而预测用户购买终端的真正需求,通过短信、呼叫中心、营业厅等多种渠道推送相关的营销信息到用户手中。(4)个性化推荐。利用客户画像信息、客户终端信息、客户行为习惯偏好等,运营商可以为客户提供定制化的服务,优化产品、流量套餐和定价机制,实现个性化营销和服务,提升客户体验与感知;或者在应用商城实现个性化推荐,在电商平台实现个性化推荐,在社交网络推荐感兴趣的好友。第三方面,客户关系管理。此方面包括客服中心优化和客户生命周期管理。(1)客服中心优化。客服中心是运营商和客户接触较为频繁的通道,因此客服中心拥有大量的客户呼叫行为和需求数据。我们可以利用大数据技术可以深入分析客服热线呼入客户的行为特征、选择路径、等候时长,并关联客户历史接触信息、客户套餐消费情况、客户人口统计学特征、客户机型等数据,建立客服热线智能路径模型,预测下次客户呼入的需求、投诉风险以及相应的路径和节点,这样便可缩短客服呼入处理时间,识别投诉风险,有助于提升客服满意度;另外,也可以通过语义分析,对客服热线的问题进行分类,识别热点问题和客户情绪,对于发生量较大且严重的问题,要及时预警相关部门进行优化。(2)客户关怀与客户生命周期管理。客户生命周期管理包括新客户获取、客户成长、客户成熟、客户衰退和客户离开等五个阶段的管理。在客户获取阶段,我们可以通过算法挖掘和发现高潜客户;在客户成长阶段,通过关联规则等算法进行交叉销售,提升客户人均消费额;在客户成熟期,可以通过大数据方法进行客户分群(RFM、聚类等)并进行精准推荐,同时对不同客户实时忠诚计划;在客户衰退期,需要进行流失预警,提前发现高流失风险客户,并作相应的客户关怀;在客户离开阶段,我们可以通过大数据挖掘高潜回流客户。国内外运营商在客户生命周期管理方面应用的案例都比较多。如SK电讯新成立一家公司SK Planet,专门处理与大数据相关的业务,通过分析用户的使用行为,在用户做出离开决定之前,推出符合用户兴趣的业务,防止用户流失;而T-Mobile通过集成数据综合分析客户流失的原因,在一个季度内将流失率减半。第四方面,企业运营管理。可以分为业务运营监控和经营分析。(1)业务运营监控分可以基于大数据分析从网络、业务、用户和业务量、业务质量、终端等多个维度为运营商监控管道和客户运营情况。构建灵活可定制的指标模块,构建QoE/KQI/KPI等指标体系,以及异动智能监控体系,从宏观到微观全方位快速准确地掌控运营及异动原因。(2)经营分析和市场监测。我们可以通过数据分析对业务和市场经营状况进行总结和分析,主要分为经营日报、周报、月报、季报以及专题分析等。过去,这些报告都是分析师来撰写。在大数据时代,这些经营报告和专题分析报告均可以自动化生成网页或者APP形式,通过机器来完成。数据来源则是企业内部的业务和用户数据,以及通过大数据手段采集的外部社交网络数据、技术和市场数据。分析师转变为报告产品经理,制定报告框架、分析和统计维度,剩下的工作交给机器来完成。第五方面,数据商业化。数据商业化指通过企业自身拥有的大数据资产进行对外商业化,获取收益。国内外运营商的数据商业化都处于探索阶段,但相对来说,国外运营商在这方面发展的更快一些。(1)对外提供营销洞察和精准广告投放。
  • 营销洞察:美国电信运营商Verizon成立了精准营销部门Precision Marketing Division。该部门提供精准营销洞察(Precision Market Insights),提供商业数据分析服务。如在美国,棒球和篮球比赛是商家最为看中的营销场合,此前在超级碗和NBA的比赛中,Verizon针对观众的来源地进行了精确数据分析,球队得以了解观众对赞助商的喜好等;美国电信运营商Sprint则利用大数据为行业客户提供消费者和市场洞察,包括人口特征、行为特征以及季节性分析等方面。
  • 精准广告投放:Verizon的精准营销部门基于营销洞察还提供精准广告投放服务;AT&T提供Alert业务,当用户距离商家很近时,就有可能收到该商家提供的折扣很大的电子优惠券。
(2)基于大数据监测和决策支撑服务。
  • 客流和选址:西班牙电信于2012年10月成立了动态洞察部门DynamicInsights开展大数据业务,为客户提供数据分析打包服务。该部门与市场研究机构GFK进行合作,在英国、巴西推出了首款产品名为智慧足迹(Smart Steps)。智慧足迹基于完全匿名和聚合的移动网络数据,帮助零售商分析顾客来源和各商铺、展位的人流情况以及消费者特征和消费能力,并将洞察结果面向政企客户提供客流分析和零售店选址服务。
  • 公共事业服务:法国最大的运营商法国电信,其通信解决方案部门Orange Business Services承担了法国很多公共服务项目的IT系统建设,比如它承建了一个法国高速公路数据监测项目,每天都会产生几百万条记录,对这些记录进行分析就能为行驶于高速公路上的车辆提供准确及时的信息,有效提高道路通畅率。

总的来看,电信行业的大数据依然处于探索阶段,未来几年,无论是内部大数据应用还是外部大数据商业化都有很大的成长空间。但电信行业大数据最大的障碍是数据孤岛效应严重,由于国内运营商的区域化运营,电信企业的数据分别存储在各地区分公司,甚至分公司不同业务的数据都有可能没打通。而互联网和大数据则是没有边界。日本最大的移动通信运营商NTT Docomo 2010年以前就开始着手大数据运用的规划,NTT Docomo相对国内运营商有一个很大的优势是全国统一的数据收集、整合形式,因此NTT Docomo可以很轻易拿到全国的系统数据。Docomo不但着重搜集用户本身的年龄、性别、住址等信息,而且制作精细化的表格,要求用户办理业务填写更详细信息。对于国内电信运营商,要真正的利用大数据,数据的统一和整合是最为重要的一步。我们已经看到中国移动已经开始着手准备这方面的工作,相信未来几年,在互联网企业的竞争压力下,中国的电信行业大数据将发展的更快,变革会更彻底。

精准营销是什么意思

唐半张 发表了文章 0 个评论 1388 次浏览 2015-10-10 10:22 来自相关话题

精准营销是什么意思 其实这个就是精准营销的范畴,什么是精准营销,举个简单的例子,你家人都是移动的卡,你比较喜欢上网,你爸爸打电话比较多。移动公司后台的只能分析系统(CR ...查看全部
精准营销是什么意思 其实这个就是精准营销的范畴,什么是精准营销,举个简单的例子,你家人都是移动的卡,你比较喜欢上网,你爸爸打电话比较多。移动公司后台的只能分析系统(CRM),通过1-几个月的数据分析,判断出你喜欢上网,然后下发流量套餐的营销或者活动短信,你爸爸不会收到,因为系统判定他不是流量用户。
这就是精准营销,通过大数据获取对象的喜好,行为偏好,对不同对象进行不同营销的过程,叫做精准数据营销。

hadoop用于手机流量处理的例子

回复

夕阳丶一抹红颜 发起了问题 1 人关注 0 个回复 2609 次浏览 2015-09-22 09:16 来自相关话题

解析全球十大电信巨头如何玩大数据

回复

天行者 发起了问题 1 人关注 0 个回复 2006 次浏览 2015-12-03 10:08 来自相关话题

电信行业大数据应用案例的实践及思考

回复

天行者 发起了问题 2 人关注 0 个回复 1800 次浏览 2015-12-03 09:59 来自相关话题

hadoop用于手机流量处理的例子

回复

夕阳丶一抹红颜 发起了问题 1 人关注 0 个回复 2609 次浏览 2015-09-22 09:16 来自相关话题

电信运营商数据资产及变现探讨

唐半张 发表了文章 0 个评论 1403 次浏览 2015-10-19 11:46 来自相关话题


 
☞【大数据100分】何鸿凌:电信运营商数据资产及变现探讨
 
主讲嘉宾:何鸿凌
 
主 持 人:中关村大数据产业联盟 副秘书长 陈新河
 
承 办:中关村大数据产业联盟
 
嘉宾介绍:
 
何鸿凌:中国移动集团公司业务支撑系统部项目经理,高级工程师。2001年获得重庆邮电大学计算机应用学士学位,2014年获得重庆大学软件工程硕士学位。工信部和人社部认证的高级程序员、系统分析师、网络分析师。CCF大数据专委会成员、TDWI会员。2001年进入重庆移动负责经营分析系统建设、维护、运营和应用。2006年进入中国移动集团公司,负责全网经营分析系统的规划、规范和技术架构。目前负责中国移动大数据平台的规划和大数据技术应用。在DW/BI和大数据领域有十余年的工作经验,曾主持欠费风险预警、用户离网预警等多个分析项目。曾担任DB2数据仓库DBA,熟悉Oracle、Teradata等传统数据仓库系统和BIEE、Tableau、SPSS、MicroStrategy等数据可视化工具。在数据仓库的构建、维护、运营方面有丰富的实践经验,对数据分析方法和数据挖掘方法有深刻的理解。2008年以后主要精力放在大数据技术以及大数据应用方面,主导引入GreenPlum、Vertica、GBase等MPP技术,以及Hadoop、流处理和Spark等技术来搭建运营商的大数据平台,并探索大数据对内和对外的商业应用。
 
以下为分享实景全文:
 
大家好,很高兴再次来到大数据联盟这个平台参加分享。希望今晚的分享对大家有信息量:) 我首先介绍一下电信运营商数据资产的构成,然后列举几个典型的数据变现场景,最后谈谈几点感受。
 
内容不小心准备多了一点,我抓紧时间,我用网页微信,打字快。大家有疑问要拍砖的随时插播哈!
 
首先介绍电信运营商数据资产的情况,让对运营商内部不了解的群友知晓一下。当然,群里面有的是更清楚的,呵呵。
 
资产是指由企业过去交易或事项形成的,由企业拥有或控制的,预期会给企业带来经济利益的资源。电信运营商的数据资产就是指那些在服务客户和进行内部管理的时候,由IT系统产生的数据,这些数据会或可能会给企业未来带来经济利益。
 
细数电信运营商的数据资产,大概可以分为如下几种
 
第一部分是来自业务支撑系统的数据。它们最早被定义和识别出来,被应用得非常广泛。
 
以前我们BI/DW主要基于这部分的数据
 
这部分数据由CRM、计费、客服、渠道等IT系统在服务客户的过程中产生。例如用户资料、使用记录(话单)、费用记录(账单)、付费关系、客户咨询和投诉的语音和文字记录、电子渠道的交互信息(交易信息、JS插码、SDK数据等)。
 
产生这些数据原本的意图是提供更加好的客户服务、更加准确和灵活的计费等,但是大家都知道大数据最迷人的一点就是数据外部化的应用。在系统设计、数据设计的时候很难预期到后续数据到底会应用在什么方向。所以竭尽可能地收集数据吧。现在数据采集和存储的成本已经很低,而且还会越来越低了。比如翻页的数据,这个数据能说明用户是否仔细阅读了说明,以展示信息的吸引程度。
 
第二部分是网络系统产生的数据。即那些来自“管道”的数据。
 
这是和用户更加接近的数据,也是用户自然产生的数据。我似乎今天看到吴军博士在京东的演讲了。这部分数据是最有价值的!
 
它们是来自电路域(CS)和分组交换域(PS)中信令分析的结果。比如位置信令(包括15分钟左右的周期位置更新和呼叫过程中的位置切换信令)、开关机信令(在其中有开关机的地点,使用的终端等信息)、漫游信令。
 
还记得好多年前有一部叫《手机》的电影吗?里面说的没错,手机简直就是一个手雷
 
值得重要提及的是来自PS域中的DPI信令。通过深度包分析,可以从网络层、传输层和应用层中的包提取相关信息。原本这个技术用于设计来分析数据包的状态,以提供更好的带宽和缩短时延,但现在更多用于其他的用途,这也是数据外部性的一个实例。现在电信运营商有很多数据变现都是围绕它产生的。
 
网络系统除了固化、宽带、2G\3G\4G以外,其实还有一个很重要的组成部分,那就是WIFI。我之前看到一个统计数据,固网宽带运营商的流量中,有70%是WIFI产生的。环顾四周,这也是很正常的情况,移动设备无处不在,通过电脑上网已经不是主流了。因此从WIFI中获取足够有价值的数据,这是一个很重要的补充。WIFI是相对传统电信网络来说比较简单或者说比较简陋的网络设备,因此从中获取信息反而比较容易。依靠WIFI的位置信息、终端信息和上网内容信息,我们已经可以看到一波围绕免费WIFI数据变现的公司正在蓬勃发展。
 
第三部分是来自电信运营商自有的互联网和移动互联网产品的数据。
 
这部分应该是大家都比较熟悉的数据资产吧。比如来自WEB和APP客户端的数据,一般通过JS插码或SDK的方式收集;来自后台的访问日志和交易记录、收藏、关注等信息;UGC数字内容等信息;监测数据等。
 
有数据来了哈,前方高能,请注意!
 
虽然相比正牌的互联网公司,电信运营商的互联网产品并不占据头牌。但是由于电信运营商拥有终端、管道和计费的优势,这部分也不容忽视。
 
以中国移动为例,“和阅读”产品一个月的UV量在2.1亿、PV量在196亿的水平;“和视频”UV大概在4000万左右、PV 19亿左右;“和动漫”UA 1000万,PV 3亿左右。中国移动的应用市场——Mobile Market的覆盖率也较高。电信运营商将这些数据视为有用的补充数据,来增强数据的深度。
 
上面三个部分的数据综合起来,就形成了电信运营商相比其他公司独特的数据资产。依托这些数据资产,电信运营商可以走出自己数据变现的路线,不但可以使得自己的商业模式更加有竞争力,同时也可以帮助其他企业或行业的商业模式更加高效,从而提升整个社会的效率。
 
有价值的数据都在这里了,其他那些基本不用看,哈哈。
 
应用场景也是极端重要呀,真正技术的用武之地
 
下图是对比了云、管、端各个产业中数据的情况。总体来说,相比互联网公司,电信运营商的数据深度有所不足、获取难度较大,但是数据的广度很好,能覆盖全行业的数据。
 
在数据资产部分,我最后想谈一点想法就是度量数据资产的价值。这是一个难点。因为按照资产的定义,衡量资产的价值要从资产未来带来的经济利益来看。对于数据资产而言,那就应该从最终的应用价值出发来衡量数据价值。但是我们采集和整理数据的时候,一般很难预测数据后续会如何用,会产生多少的数据价值。
 
因此,我考虑另外一个方法,也就是香农的信息论。通过数据的信息含量来评估信息的机制。假定信息量大的数据价值也大(这当然只是一个近似或简化的方法,价值最终还是会与受众已经掌握的信息,即前验信息有关)。大致来说就是设定一个评估的算法,计算数据在本企业所有数据中的显著程度,计算数据在其他行业或企业中类似数据的显著程度,由此来评估数据的价值。这样就可以评估为了收集、购买或存储这些数据,我们愿意付出多少代价。
 
 
 
今天分享的第二部分是电信运营商典型的大数据变现模式
 
大家现在经常提的“数据变现”我理解应该是从Data Monetization这个词翻译过来的,坦率地说我觉得直译为“数据货币化”可能更加贴切一点。主要就是指将数据资产用来产生收益。这个收益包括经济收益、社会收益以及数据交换的收益。
 
随着摩尔定律的回旋加速,随着免费经济打破了围墙花园,所有“前向”模式的服务业都面临被颠覆的挑战,电信运营商也不例外,话音、短信收入已经开始下降,流量业务增量不增收现象明显。
 
虽然很多东西都在变得更加充裕,但是有一样东西,它的供给是从古到今都变化不大的,那就是时间。
 
大家同意这个观点吗?最近我很注意分析哪些未来将变得充裕,而哪些的供给难以增加。
 
人的一天只有24小时,保持清醒和高效率的时间只有十多个小时。如果让人充分利用这十多个小时,减少信息搜寻和匹配的时间,这将极大程度提高人的效率,从而提高了整个社会的福祉,这就是大数据蕴含大价值的理论基础。
 
更多的数据胜过更好的算法,正是多年运营的“前向”商业模式让电信运营商累计了大量的数据,这些是在移动互联网时代的重要比较优势。
 
所以我认为我在运营商里面属于最后被淘汰的部门:)
 
大数据外部变现是一个长尾市场,有一个很标准的头部,同时也绝对不应该忽略那些长尾市场。这就要求电信运营商必须有合适的战略、机制、平台和合作模式来促进大数据的充分变现。我认为应该可以考虑如下几种形式
 

 
标准数据产品(B2B)。根据标准化的需求打造出公众可以直接使用的数据产品,比如Google Trends和Telefonica的Smart Steps。面向行业中的政企客户,如果订购,仅需配置,不需开发,边际成本为0。
 
中间产品(B2B2X)。根据数据需求方的特殊需求,利用现有平台能力进行定制开发的产品。这种模式需要产品和业务团队全力参与,与对方组成融合团队。
 
分析和咨询服务(B2B2X)。根据数据需求方的业务场景,进行数据分析和挖掘,形成行业或企业分析报告,并提供业务咨询。这种模式更需要深入参与到相关企业的商业模式之中。
 
数据交换(B2B以及B2B2X)。通过数据市场或交易平台,进行数据变现或数据互换,充分挖掘数据价值,并获取外部数据。
 
绝不要忽视长尾的市场哦。虽然看起来不多,但是以互联网的聚集效应,任何一个行业都蕴含巨大的数据变现空间。
 
因为之前在中关村产业联盟的微信群中曾经分享过一些大数据的应用案例。这次就集中介绍一些在电信行业数据外部变现的模式。如果有群友对案例还想有其他的交流,可以私聊我。
 
从趋势上看,大数据作为一种能力对外输出并与通信以外的商业模式结合,才是电信运营商大数据应用更具潜力的发展方向。
 
电信运营商的数据资源非常丰富,如果能够与更多的应用场景结合,将会体现极大的社会效益和经济效益。
 
下面的图从数据的粒度和数据的用途两个角度来展示这些模式:
 

 
从数据粒度上看,用群体客户的数据,用个人客户的数据;从用途上,经济价值和社会价值
 
我总结了目前国内外电信运营商的典型数据变现场景和数据产品。
 
时间有限,不一一展开,我取最典型的两个描述。
 
第一类典型的案例就是基于群体客户的数据产品。
 
例如江苏移动建立的“智慧洞察”(Smart Insights)对外数据服务平台。
 
该平台依托大数据强大的处理能力与海量数据,基于完全匿名和聚合后的数据,利用统计分析、数据挖掘等技术,提供标准化数据产品、大数据分析报告、高效Open API服务。为社会、政府、企业以及家庭、个人客户提供经过分析挖掘而形成的价值产品与服务,实现数据价值提升与共享。
 

 
“智慧洞察”具体的应用案例有“客源分析标准产品”,目前已应用于常州中华恐龙园、苏州金鸡湖、南京夫子庙、玄武湖、太湖等数十家景区。
 
主要功能点:客源构成分析、景区景点人员密度、流量监控与预警。央视在大数据类栏目引用此平台界面与数据报道假日期间景区的游客情况。
 
面向自身数据没有融合数据,数据可视化需求较为标准的行业,采用这种标准化数据产品的方式非常方便。
 


 
上新闻联播了的哦:)
 
还有数据开放API的产品。目前位置类API已应用在在南京旅委“南京智慧旅游数据运行监测中心”项目中,在2014年度江苏省智慧旅游推进会上,此项目被江苏省旅游局评为“江苏省智慧旅游优秀项目”。
 
“智慧洞察”平台使用的数据全部是经过匿名化转换后的数据,严格保护客户隐私。对外提供的标准产品、分析报告和API均不包括个体用户信息,以热点事件(比如青奥会)或热点位置(基站代码或GPS区域)为汇总粒度,整体采用了k-匿名算法来确保小用户群体不被区分。
 
这种基于群体客户的数据外部化应用比较”安全“,美国的法院判例明确了运营商可以如此使用数据。因此这是各家目前变现的主要方式。
 
但是,说点实际的。这个市场目前真心不大:(
 
我们基本只是用来产生面对集团客户的粘性,基本无法依靠它来产生足够的经济收益。
 
在这方面群里面有一些非常专业的公司正在做这方面的工作,比如集奥聚合、亚信、晶赞科技等,前两天亚信的分享也介绍了这方面的商业模式。
 
这种直接产生效益,而且可以用数据证明其价值(比如通过AB测试)的应用场景,是最有说服力,且不会被打入冷宫的。
 
简单的说就是基于之前所描述的哪些运营商的数据资产,全方位的分析可能的广告受众的长期喜好和短期关注(DMP),并通过ID关联的方式打通各种帐号、Cookie和终端的信息,将这些客户标签信息以实时的方式提供给广告平台(DSP)作为实时竞价的依据之一。
 
程序化投放类广告因其充分考虑受众的因素而能将长尾类的广告媒体资源与最合适的广告内容匹配,实现广告主和媒体方的双赢。因而汽车、IT、快消和互联网金融等品牌/品效类广告以及电商、游戏等效果类广告十分青睐这种投放模式。
 
在RTB广告中,最关键的就是竭尽可能地识别受众和分析受众,并能打破时间、空间和终端的分割形成对受众全方位的洞察。
 
原有互联网模式下基于Cookie的ID链接和判断方式在移动互联网模式下存在难以跨屏、Cookie生命周期短、受众行为信息缺失等种种问题。
 
而电信运营商对“管道”中的数据进行DPI解析,可以深度分析用户行为,可以识别用户的Cookie、IMEI、计费代码等信息,可以有效帮助DSP更加精确地投放广告。
 
有数据显示,基于运营商DMP进行精确投放的广告效果相比未区分受众的模式提高了一个数量级。
 
这种精确广告的方式实际上也在改变电信运营商内部的精确营销模式。在通过运营商自己的渠道推荐自己的产品(套餐、终端、业务等)的时候,精确营销解决了受众的个性化,但是在营销手段方面有所欠缺。
 
以往通过营业员面对面、客服人员外呼、短信彩信邮件推送的方式进行业务推荐属于“主动”的模式,这种模式打扰客户,接受度低,易引起客户的方案,而且成本颇高。
 
学习互联网广告的方式,电信运营商自身业务的精确营销正在从“主动”变为“被动”模式,抓住每一个可能接触客户的机会(这些接触点不一定是自有的)进行推荐。在降低成本的同时“润物细无声”地完成了推荐工作。
 
以上是合作伙伴利用运营商的数据资产进行基于受众、跨屏的RTB广告的简要介绍。但是我认为,这只是一个临时的情况,只是个性化推荐的初级阶段。商业模式并没有优化到机制,也并没有给社会带来最大的价值。
 
看完那本《人人时代》,我深有感触,千万不要把一些临时性的东西当作永恒的存在:)
 
广告模式浮于表层,考虑了广告主和媒体方的利益,但是将用户放在边缘的地位,这与互联网精神不一致。
 
将用户视为“受众”其本身就含有这种自大的意味在其中。
 
铺天盖地的广告(无论是传统的横幅、贴片还是原生和信息流)让人感到厌烦,让人质疑对客户隐私的窥探。这是一种粗放地使用数据所有权的现象,而且有数据误用的嫌疑(客户并未授权这种方式使用数据)。
 
我这段时间一直在反思这种模式的持续性。我认为只有真正帮用户实现了价值,才能实现良性的循环从而促进社会的福祉。同时在这个过程中需要竭尽可能保护用户的隐私不被主动、被动的泄漏。
 
首先,我认为在应用这类涉及个人客户而非群体客户的数据之前,必须要解决法律上的问题,并符合公共道德。
 
具体来将就是要通过权利让渡获得数据的所有权和使用权,一些国际电信运营商和WIFI提供商以优惠的资费或直接免费的方式来做到这一点。
 
此外要履行足够的告知义务,比如收集哪些数据,用于哪些方向,并切实保障这些应用方向是对客户有利。
 
最后一点是客户要享有退出的权利(欧洲多采用Option-IN的方式,美国一般是Option-OUT)。
 
大数据目前是属于野蛮生长状态,我认为未来肯定要解决这些法理的问题。但是在这之前,公共道德要发挥作用。
 
其次需要升华的地方是从单一地从广告主和媒体方的角度推荐“广告”,到与信息提供商一起组织为用户提供的期望“信息”。
 
我称之为泛化,很多东西都可以通过个性化推荐而变得更加精准,节约用户的时间,扩大用户的接触面,给用户带来价值。而不仅仅是推荐”广告“
 
注意这里是期望的信息,是从用户角度上发出的期望。也就是说在社交网络上期望获得的是好友和信息的推荐;在电商网站上期望的是商品的推荐;在应用市场里面希望获得的是应用的推荐;其他的场景还包括团购、新闻、图书、餐饮娱乐等。
 
从推荐广告到推荐“内容”。通过为这些“信息提供商”提供个性化的引擎,让他们能更好地为用户组织“内容”。从预测CTR到预测推荐的内容对于用户的信息量(个性化但应保留足够的泛化能力),从用户的角度出发是最重要的。
 
这一点将的是应该在什么场景下推荐什么内容的问题。要符合期望。
 
最后,从技术上应该有更好的办法来实现这种个性化推荐。
 
这种技术架构既能满足个性化推荐,也最小化了暴露的风险。
 
可以将数据分为“群体数据”和“个体数据”两个部分。
 
利用脱敏后的“群体的数据”来分析特征、训练个性化推荐引擎。利用“个体数据”来使用个性化推荐引擎完成推荐。
 
数据挖掘都有训练和使用两个过程不是:)
 
这里最重要的是“个体数据”的存放和使用,我认为最恰当的方法是这些数据用户可以选择托管到云中(DataBank)或本地装置之中(类似IC卡),以挑战-响应的方式使用个性化推荐引擎,保证个人信息不被泄漏。
 
这里存在商业模式和技术的挑战,或许也是下一个创业的机会。
 
第三类典型的案例可能与经济价值无关,是利用电信运营商的大数据与学术可研机构来发现与社会、经济有关的规律,体现数据的社会价值。这个方向是我近期非常感兴趣的。因为它更加直接地回馈社会。
 
比如在《大连接》中描述的社交网络,这就可以利用电信运营商的数据资产进行很好的测量和分析。
 
我们可以分析不同地区、行业和人群的社交网络构成和连接模型,分析事件和属性在社交网络中传播的规律(类似PageRank等在社交网络中的迭代计算),区分强连接和弱连接,计算不同圈子中的联通度,计算影响力等。
 
通过这种方式分析的影响力非常接近实际情况。我们曾经将一个技术部门的内部社交网络做了出来。利用电话和短信的拨打模式。
 
然后分析出来的影响力和方向几乎与实际部门架构一致。很有意思的。我们一个淘气的小组据此设计了一个模型,叫做怕老婆模型,把我笑得打滚。
 
更简单一点的还有通过群体客户的时空特征来理解、预测和控制流行病;识别恐怖分子;交通道路设计;公共设施选址。这部分的需求已经有很多。有了这些数据资产进行支持,我们就可以更好地进行分析,真正将数据给科学家。
 
此外,还可以根据通信密度、频率等绘制一些社会指数,这个是我们正在做的一件事情,后续可能会作为企业的社会责任定期发布。
 
在这方面,或许三大运营商应该联合起来有一个专门关注公益的机构,能搭建开放平台让更多的科学家能分析这些数据,发现社会规律。
 
个人觉得这比搞点什么吸引眼球的慈善活动更加有意义,是真正能改变企业形象的事情,真正带来社会价值的东西。
 
看到时间还有点充裕,再谈一个案例。关于商业WIFI运营的。
 
去过日本旅游的人可能会记得,在火车站、公交站、咖啡馆、购物场所等地方可以搜索到一个免费的Wi-Fi热点,就是wi2。它不仅给日本本国的国民,更是给到日本旅游,又希望省钱的外国国民带来了极大的方便。
 
wi2由日本运营商KDDI控股,在大东京都市圈部署了2万个左右的热点。这些热点可以免费提供使用,但wi2何以盈利呢?
 
Wi2盈利模式与国内电信运营商wifi盈利模式不一样,是典型的互联网“前向免费、后向收费”的模式。
 
通过为客户免费提供Wi-Fi访问的方式,积累了大量的客户数据,包括位置、终端和访问内容,然后将这些信息打包为数据产品提供给商家,同时也基于这些信息部署展示类或效果类精确广告,实现盈利。
 
值得注意的是,wi2在用户免费使用Wi-Fi的协议中,明确了对数据的所有权和使用权,这是免费使用Wi-Fi的一个交换条件。
 
这一点很重要哦:)
 
Wi2提供了两款大数据产品:Ideal-insight和wifig。
 

 
这个图就是Ideal-insight
 
懂日文的男同学可以去他们的网站上看,好奇怪的Ideal-insight只有日文介绍,英文网页就不介绍,可能是他们的B端客户都是日本商人吧:)
 
Ideal-insight是提供给wi2的热点附近的商家的一项数据产品。它将从2万个wi2热点中获取用户时间序列、使用的终端、网络访问的内容;wi2客户端(wi2 connet)中收集的个人信息、GPS信息;政府公开数据中的天气数据;商家自己上传的POS收银数据进行联合分析。
 
告诉商家顾客的来源、国别,顾客曾经光顾和停留过的地点,附近人流的趋势和特征,帮助商家更好地进行市场营销。
 
同时,通过wi2的客户端,商家也可以根据顾客特征为顾客推送优惠券信息。Ideal-insight在为商家提供上述信息的同时实现盈利。
 
注意到推送渠道了么???这个很中国要哇!!!君不见那么多DSP都是赚辛苦钱啊。最赚钱的确实哪些媒体方,比如阿里[大哭]因为他们有渠道,有推送。
 
Wifig是另一款数据产品。它主要针对外国来日本旅游的用户。由于wi2分析了用户的访问记录,因此可以从网页的URL或编码信息中知道用户来自哪个国家。因此可以分析不同国家的人的旅游、住宿和娱乐偏好,因此可以帮助旅游公司、巴士公司和纪念品商家进行更好的规划。
 
他们演示的时候我在场,可惜没有照片下来,否则可以给大家展示一下韩国游客和中国大陆游客的不同行为轨迹。
 
真的有很大差异哦!
 

 
这个是WIFIG的截图。这个太厉害了。我认为比Ideal-insight厉害多了。
 
更加直接的是,根据分析到的用户特征。wi2可以在客户端中推送,或者在Wi-Fi登录的首页面放置交通、旅游、娱乐的推荐信息,这种效果类广告定向投放非常精准,为wi2公司带来的收益也颇为可观。
 
群里面搞旅游的专家们可能更加清楚。这种识别出高价值小众客户,且具备推送渠道是多么有价值的一件事情。
 
值得一题的是,wi2是整合了原有国内3-4家Wi-Fi提供商来提供无线上网服务,后端的分析和推荐功能完全部署在AWS的云计算之上,采用EMR进行日志的加工和汇总,采用Mahout来进行推荐和预测。wi2无需建设大数据基础设施,便可快速灵活开展业务,其核心是大数据算法和大数据的商业思维。
 
比如阿里收购的树熊网络,小米、腾讯、大众点评投资的迈外迪,以及”潮WIFI”。他们或采用直营的模式,或采用加盟的模式,部署了数万热点的商业WIFI网络。与支付宝签报、微信等APPS结合或直接与商家CRM对接来实现免费接入、商品信息展示、信息推送和交易等功能。
 
虽然免费WIFI存在安全性隐患,但是有其细分市场存在。前向免费后向收费的互联网商业模式使其具备颠覆性技术的特征,它将是又一个重要的流量入口,或者说是下一个“风口”也说不定。
 
却是免费wifi,然后后向数据服务是个很好的商业模式
 
回归到今天分享的最后一点吧
 
谈谈感受。14年了吧。我做BI和DW,或者说现在的大数据。
 
有三点想说的
 
第一就是“数据为王”。这个概念大家应该都非常熟悉,但的确是我这几年最深刻的感受。
 
原本我们视为负担的数据现在是资产,是财富,因此我们还能不竭尽可能地收集它们吗?还能去定期删除它们吗?
 
即使是电信运营商自身拥有了一定的数据资产,还应该通过购买、交换的方式让自己的数据资产更多,因为数据不同于实物,交换使用使得双方都能实现更大的价值。
 
第二就是“平台战略”。
 
大数据最显著区分与传统数据分析和BI的就是它具有外部性。
 
采集和拥有数据的企业很难预料这些数据最终的应用场景,因此这些企业理所当然地缺乏这些数据变现场景下所需的专业知识。
 
比如广告为什么要与DSP合作呢?因为设计广告、与广告主建立关系、分析和优化投放这些不是电信运营商所擅长的。
 
合作能发挥彼此的优势,通过平台的方式,能使得“长尾”部分的数据变现更容易,更加快速地进行尝试,失败成本更低。
 
第三就是商业道德和底线必须坚持。在相关法律缺位的情况下,必须要有“有所为有所不为”的决心。做人这样,企业也这样。
 
小结一下今天分享的内容
 
电信大数据的应用潜力还有很大的挖掘空间。这是由两方面的原因决定的。
 
一方面,电信网络与用户联系的广度和深度是其他行业所不具备的,随着网络智能化程度的进一步提升,电信网络获取的大数据将越来越丰富,并且这些数据都能某种程度上映射为用户的身份或行为;
 
另一方面,整个商业在从生产主导向消费主导转移,各行各业都希望加强消费者洞察进而驱动数字化转型,对大数据的需求也百花齐放,电信大数据的价值将进一步提升。
 
我们要走进良性的循环
 
电信大数据的应用过程中必须注意客户隐私保护的问题。从法理上需要获得数据的所有权或使用权,需要履行收集那些数据、用于合作用途的告知义务;从技术上必须实现最高等级的安全管理,并通过匿名化手段构筑最后防线。
 
我们现在是1+31的数据变现模式。再次强调一下变现不是要变成钱哈。经济价值和社会价值,都是我们考虑的。还有数据交换哦。
 
我们正在尝试更多发挥大数据经济价值和社会价值的方式,希望我们能多交流和碰撞,希望能与各位合作!

研报深度:运营商大数据蓄势待发

唐半张 发表了文章 0 个评论 1289 次浏览 2015-10-19 11:43 来自相关话题

电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面 ...查看全部
电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面前的一条出路便是管道智能化。通过大力推进“智能管道”建设,增加附加值,大规模地发展增值服务。由于拥有大量数据资源,运营商通过产业链的广泛合作,相关产业链的公司与运营商共建平台,仍然有着巨大的发展空间。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也大有可为。
大数据运营成必然选择
对于运营商来看,被以BAT为代表的互联网巨头及OTT企业“管道化”的趋势已不可避免,同时互联网巨头凭借自身庞大的数据资产已在数据变现的道路上大踏步前进,这将进一步边缘化运营商的地位。摆在运营商面前的一条出路,便是管道智能化。
随着网络建设的不断发展,运营商的语音业务收费越来越低,甚至呈现逐渐免费的趋势,数据流量经营将成为运营商的主要方向。从率先开展4G建设的中移动业务结构变化便可窥视。2014年前三季度中移动语音和短信、彩信业务继续下滑,总通话分钟数比上年同期下降0.3%,短信使用量比上年同期下降20.2%;但同期移动网络数据流量比上年同期增长98.6%,几乎是去年同期的两倍,流量业务在营收中占据的比例越来越大。按照现有数据预测,到2016年,中移动语音、短信收入占比将从2011年的67%降至40%,而数据流量和数字服务的收入将增至60%,成为业务收入主体。数据流量经营对运营商的重要性越来越大,关系到运营商的生存价值甚至是生存问题。
我们认为运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由流量经营进入大数据运营已成为大势所趋
从目前的情况看,电信运营商与以BAT为代表的互联网企业在增值服务上并不具有竞争优势,但从后向的行业应用及大量的数据资源来看,运营商通过产业链的广泛合作仍然有着巨大的发展空间。同时,由于涉及到政策模糊、用户隐私、技术成本等因素影响,运营商大数据掘金之路目前仍然曲折。但不可否认的是,运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由语音经营走向流量经营进而进入大数据运营已成为大势所趋,空间巨大。
大数据运营基础架构
目前,运营商在大数据经营方面尚未形成明确的盈利模式,还处于“摸着石头过河”阶段。借鉴国外运营商的运行模式,结合信令数据、DPI技术、B+O域数据整合等可洞析大数据运营可能的方向。
全球运营商已经开始为掘金大数据做准备。电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示,全球120家运营商中约有48%的运营商正在实施大数据业务,大数据业务成本平均占到运营商总IT预算的10%,并且在未来五年内将升至23%左右(我国运营商目前投入占比不足1%),成为运营商的一项战略性优势。国外运营商已经做了一些很好的尝试,美国AT&T位置数据货币化、日本NTT Docomo创新医疗行业的社会化整合、Verizon数据仓库促进精准营销、德国电信智能网络培育新增长点、Telefónica大数据支撑用户体验优化、Vodafone动态数据仓库支持商业决策、法国电信数据分析改善服务水平、KDDI商业WiFi运营等,都是有借鉴意义的案例。
信令数据用以实现网优及获取位置信息。信令实际上就是一种用于控制的信号。语音经营时代,通话质量对运营商来说是至关重要的指标。运营商通过对信令进行监测,深层次支撑网络优化、精确故障定位。随着2G、3G、4G的逐步建设,运营商进入流量经营时代,通过信令数据可以规划基站和热点的建设,还可以对已有基础的效率和成本进行评估,用以增减基站建设以实现更高的网络效率。流量经营时代,上网流量的监测需求变得更为突出,但信令数据作为网络优化必不可缺的环节,加之通过进一步发掘信令数据所采集的位置信息,对运营商大数据运营提供了非常有意义的基础数据。基于这些数据的价值挖掘,是目前较为清晰的一个发展方向。
DPI已经在流量管理、安全和网络分析等方面成功开展,同时能够对网络数据包进行内容分析。通常的DPI解决方案能够为不同的应用程序提供深度数据包检测。DPI能够检测出数据包的内容及有效负载并且能够提取出内容级别的信息,如恶意软件、具体数据和应用程序类型。运营商均已充分认识到DPI的巨大价值,早已开始大规模招标建设、与第三方服务机构合作,4G带来的流量爆发更为DPI发挥巨大价值提供了广阔空间,因此,充分挖掘DPI的巨大潜力将给运营商带来巨大的效益。
运营商网内数据主要来源于业务平台、基础网络、支撑系统(包括O域(运营域)、B域(业务域)、M域(管理域))三大IT支撑系统。每个域由多个子系统组成,各域数据分别存放在多个生产数据库中,目前数据库的总量已达上百个,B+O域有效数据存储量占总量的80%以上。通过整合B域和O域的数据,可大幅提升信息共享能力,提高网络优化和规划建设的效率和有效性,有利于进一步的数据分析,尤其是对流量经营有着重要的意义,提升数据业务流量经营的用户行为与业务洞察能力,通过平台建设初步形成“大数据”洞察的跨域(B域/O域)分析架构。
大数据产业链清晰
运营商大数据产业链主要分为四层:即大数据采集、大数据管理、大数据应用及大数据运营
大数据采集是大数据产业链的底层基础。目前政策要求数据全采全监,包括通话记录及内容、短信记录、位置的轨迹信息等管道内特有数据,所以数据采集成为了运营商的刚性需求。政策及4G助力采集市场率先爆发。而大数据采集对进一步做大数据管理、应用及运营有着最直接的支撑。
大数据管理通过数据共享平台实现。数据共享平台主要由数据汇集、数据支撑、数据接入点三层组成,向下可以支撑数据采集层,向上支撑外部数据应用系统。在数据采集过程中,有时一个口有超过十套系统在采集,比较杂乱。大数据共享平台是趋势,即将采集好的数据放在共享数据池中,实现共享避免重复采集,这也是运营商比较偏好的方式。
大数据应用主要包括基础应用和行业应用。基础应用,包括网络管理和优化及客户关系管理;行业应用,包括企业业务运营监控和经营分析。
大数据运营终极目标增值业务和精准营销增值业务:利用特定的网络数据,创新增值应用,增加运营业务收入。简单来说,数据采集阶段形成了最全面、最及时的数据,通过具体时间段、具体地点(实际或虚拟)客户行为的趋势性分析,即可形成非常有价值的判断,再通过指定的要求来分析,即会形成更有指导意义的结论。精准营销:通过对移动互联网用户的行为分析,进行用户偏好分群进而建立精确的用户画像,并开展针对性的市场营销及配套服务。
对于数据采集公司来讲,面向核心网各个功能域采集数据。通过对移动、固网中控制数据和用户数据的采集分析,并对监测报告进行深度解析,发现数据应用的潜在特征进行识别。
中国移动设备数据流量2014年增幅接近50%。根据工信部数据,包括智能手机在内,中国各类移动设备2014年的平均流量首次超过200MB。但根据思科的统计,全球智能手机2014年平均数据流量达到819MB。这从侧面显示,我国平均流量水平还有很大的提升空间。
三大运营商中,中国移动2013年底率先拿到TD-LTE牌照,拉开了我国进入4G时代的序幕。中国联通和中国电信2015年2月底才拿到FDD-LTE牌照,4G建设将全面铺开。4G时代对运营商的重大变化即为,传统数据(信令)采集业务也将由过去的2G、3G以语音和短信为主全面向4G数据(上网)业务拓展,而4G大量的图片、视频信息也将在采集规模上远远超过2G、3G。
据我们测算,在2G-3G时代,电信及联通在信令和DPI采集领域投入约20亿-40亿元。随着FDD牌照的发布,三大运营商均进入4G时代,都在加大数据采集领域的资本开支。我们之前预计,今年三大运营商规划的采集规模或达25亿元,其中以中国移动4G为主。但从年初招标的情况来看,竞争相当激烈,移动一期的招标最终成交价可低至最初规划的1/10水平。预计今年最终合计将在15亿-20亿元之间的水平。当然,各厂家在初期血拼是为了“圈地”,即进入运营商集采或是省分的供应链体系,这样才能够获得后续扩容,并通过扩容来实现盈利。随着4G渗透率的大规模提升,数据采集的需求量将现指数级增长。
随着三大运营商都大力推进4G建设进程,其共同发力将进一步提升4G的普及率,数据量级的增长将相当显著,我们认为运营商数据“采集”业务将在未来几年出现大规模爆发。
共建平台探索发展模式
国内运营商都已认识到大数据运营对其未来发展的重要性,纷纷展开了各种尝试,发展方向包括基于位置信息获取收入、根据客户需求研究分析、出具报告以及帮助DSP更加精确地投放广告
基于位置信息获取收入方面,由此所能带来的商业价值相当可观,通过位置信息,可以分析受众人群的情况,可以直接实现广告定价的问题(通过测算广告牌的流量可为运营商提供定价的测算依据)。游客的趋势性信息对每个景区都非常重要,能对其提高运营水平、规划商业决策行为提供非常有价值的数据。拓展来看,不仅对景区,各类商圈都有类似的需求。因此,基于位置信息的服务才刚刚开始,非常有望成为运营商未来的发力点。
根据用户的特定需求进行研究分析,并就研究分析结果出具研究报告,是国外咨询公司采用的一种模式,也是非常高效的一种模式。这里我们要强化一个概念,数据属于运营商,而个人隐私不容侵犯,因此报告必须是趋势性的、群体性的,属于分析处理的内容,而非原始数据,更不能涉及具体的个体。我们认为这对运营商来说将是有广阔空间的领域,而且运营商不仅可以自己来做,更可以通过和第三方机构展开合作,开拓更广阔的市场。
RTB或将成为运营商大数据的大舞台。对于运营商来说,对自己的数据资产进行DPI解析,全方位分析广告受众的长期喜好和短期关注(DMP),可以识别用户的Cookie、IMEI、计费代码等信息,将这些客户标签信息以实时的方式提供给广告平台(DSP)作为实时竞价的依据之一,可以有效帮助DSP更加精确地投放广告。
值得特别说明的是,运营商对于精准营销的数据商用持非常谨慎的态度,因为涉及到用户隐私等问题。基于群体用户行为的分析是比较可行的。而对于B2C的精准营销,如个人短息推送等,运营商是比较慎重的。
而在盈利模式方面,我们认为相关产业链的公司与运营商共建平台并进行分成的模式将会是较为合理的一种情形。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也将与运营商形成更好的互补效应,进而形成合作共赢的较好突破口。
我们认为,在大数据运营这座巨大金矿面前,运营商更多的选择将是合作共赢,扶持自己可管可控的产业链,靠自己单打独斗是无法满足行业的巨大需求和产业链过长带来的专业化分工要求。因而过去聚焦于运营商CP/SP领域的增值服务商同样值得关注。
多样化的运营商数据来源
结构化数据包括:
账单数据 通话和短信
网络和位置数据 客户邮件
呼叫数据包括呼叫详细记录(CDRs) 及每个呼叫测量数据(PCMD) 社交媒体
非结构化数据包括:
工程和网络工具信息 网上论坛
库存和物流数据、 网页浏览记录
CRM 客户服务记录
客户服务和销售服务活动 IVR日志
销售会计记录,包括订单历史、产品类型和服务广告样稿 内部客户反馈或其他内部文件
外部调查
媒体下载、应用程序的使用和交互、图片和视频
系统日志和传感器数据
资料来源:Informa,中信建投证券研究发展部
运营商数据资产分类
业务支撑系统的数据: 这部分数据由CRM、计费、客服、渠道等IT系统在服务客户的过程中产生。例如用户资料、使用记录(话单)、费用记录(账单)、付费关系、客户咨询和投诉的语音和文字记录、电子渠道的交互信息(交易信息、JS插码、SDK数据等)。
网络系统产生的数据 :来自电路域(CS)和分组交换域(PS)中信令分析的结果。比如位置信令(包括15分钟左右的周期位置更新和呼叫过程中的位置切换信令)、开关机信令(在其中有开关机的地点,使用的终端等信息)、漫游信令。
运营商自有的互联网和移动互联网产品的数据 :来自WEB和APP客户端的数据,一般通过JS插码或SDK的方式收集;来自后台的访问日志和交易记录、收藏、关注等信息;UGC数字内容等信息;监测数据等。

电信运营商大数据应用和实践

唐半张 发表了文章 0 个评论 1388 次浏览 2015-10-19 11:42 来自相关话题

  本文为中国移动通信研究院业务支撑研究所所长孙少陵先生,在“首届中国大数据应用论坛”上发表的《电信运营商大数据应用和实践》专题演讲实录。   各位领导、各位嘉宾大家好。非常高兴有这个机会跟大家交流大数据基础和应用发展。刚才宁老师的报告从大数据对人 ...查看全部
  本文为中国移动通信研究院业务支撑研究所所长孙少陵先生,在“首届中国大数据应用论坛”上发表的《电信运营商大数据应用和实践》专题演讲实录。
  各位领导、各位嘉宾大家好。非常高兴有这个机会跟大家交流大数据基础和应用发展。刚才宁老师的报告从大数据对人类社会带来的各种各样的影响,从非常高的视角去阐述。我本人虽然研究大数据也有几年了,但是我觉得也是非常受启发。我今天谈得话题是局限于电信运营商,我们如何使用大数据,如何在我们生产过程当中提高生产效率。
  主要有几方面跟大家分享:第一,大数据处理技术发展概况;第二,运营商大数据需求;第三,中国移动在这大数据方面做的事件。
  什么是大数据?刚才王主任、宁老师也都提到了。实际上大数据它的最主要特征就是“大”。我感觉现在整个业界对于大数据都没有一个非常的明晰的认识。维基百科收录着IBM最先提出来的解释,大数据有三个特征:首先是规模大,大家也都认同,比如说YouTube、Facebook,每天在数据处理、数据存储量能远超过历史的数据,所以规模大是其基本特征;第二个特征就是种类繁多。除了传统数据库、数据仓库处理的结构化数据以外,其实很多半结构化,甚至是说非结构化的数据在大数据处理当中都变成非常重要的原材料。尤其是像话音、视频、文本等等,这些原来并不是机器所能识别处理的。而在大数据时代这是基本要求;第三个特征就是处理速度要提高。我们都知道,传统上来说分析型系统某种意义上是一个非实时、后台型的系统,但是现在很多应用它实际上要求联机分析、在线分析,对于实时性要求就会有很大提高。比如说Google、百度,它搜索引擎实际上随着互联网上信息更新速度越来越快,比如说门户网站上的信息几分钟可能就更新一次。那我们要求几分钟之内就要找到相关新闻。做搜索引擎的,要重算一遍计算量会非常大的,像Google、百度会有实时索引的系统,可以通过增量的方式在几秒钟之内就把新的索引上线,这就是大数据处理实时性要求高的典型案例。
  首先看一下,对于大数据量增长的历史背景。我们理解,数据量之所以有很大的增长会有两个方面的驱动,第一个就是数据产生量是不断增加的;现在网络带宽是成数量级的往上提升,同时我们产生数据,从原来的PC,现在到了手机,当然对物联网传感器也是数据产生一个很重要的来源。此外,像Web2.0等等,包括博客、微博等等这样的一些新技术和模式使每个人甚至说每个传感器都变成了数据产生来源,所以说数据增长量是越来越快的。
  第二,信息存储时间要求也越来越长。也就是说,信息对于每个企业来说,它慢慢地变成战略资产,很多企业希望数据永远不删除。那么这就对于数据处理和存储能力带来了很高的要求。比如像中国移动,我们有一些数据必须要求长时间保存,有的是因为企业为了做经营分析、决策支持方面的要求,像美国股市等等有审计要求,还有国家提出来的一些要求。总体上来说,数据保存时间要求越来越长,这要求我们存储数据量会不断增大。
  实时性要求方面,传统大规模数据处理是通过数据仓库来实现的。数据仓库发展过程经历了几个阶段,一个阶段它是一个统计系统,从数据仓库里面的数据去发现到底现在已经发生了什么事情,这是一个最基本的基础统计查询功能。第二个阶段就是为什么发生这些事情?这就是一个分析过程。数据动态分析查询,是这么一个过程。第三个阶段,将会发生什么事情?这里就提出了对于数据挖掘的要求。刚才宁主任也对数据挖掘方面做了很多阐述。数据挖掘它能根据我们过去经验导出未来可能会发生什么事情,它是这样一个技术。第四个阶段,需要数据能够快速更新,并且能够快速地了解正在发生什么事情。第五个阶段,要实现我们希望发生什么事情。这个愿望,我们需要通过什么样的举措达成?就是一个事件驱动的概念。
  我觉得这几个发展过程同样适用于大数据。大数据在实时性方面的要求,目前应该说这方面要求非常迫切。它的主要实现技术包括几个方面,有一些基于内容的分析。有些公司,像SAP它有一个系统,通过内存实现快速地分析,能够实现秒级结果的呈现。还有一个并行计算的技术,当然这个并行计算还包括图计算、类似于像流计算并行计算的框架,这些都是一些关键技术。还有一个是非结构化数据的管理。国内有一些人在大数据三个“V”基础之上曾经加过一个“V”,就是说大数据价值密度比较低。但我个人不认同这个观点。非结构化数据不是说信息密度低,而是说它有很多信息我们是无法抽取和使用的。这个状况在十几年发展过程当中有了一个很大的变化,我们可以看下,1996年的数据。1996年的时候非结构化数据它的量超过了结构化数据的量。我们可以看到左边的图非结构化数据价值基本接近于零,很少,也是受限于当时的技术手段,当时非结构化数据处理技术并不成熟,所以我们没有办法使用它。2006年,右边的图,这个时候我们的非结构化数据它的价值,这个价值是计算整个全世界市场上,非结构化数据无论从制造、使用以及最终服务,总体的市场价值,它的价值已经是超过了结构化数据。所以说非结构化数据使用对于整个人、机器智能、类信息处理等发展会起到越来越重要的作用。
  非结构化数据处理主要的一些技术包括了低成本、海量数据存储管理。非结构化数据量大,所以我们存储成本要低。再一个就是有一些搜索引擎当中,搜索引擎发展过程当中所发展出来的一些技术,例如自然语音处理。处理文本信息涉及到分词,对于自然语言理解等等。这个对非结构化处理有非常重要的作用。现在对于视频、文本等等的处理技术,发展速度也很快。现在有很多系统,比如说苹果提供的SIRI等等里面都涉及了自然语言方面的技术。这就为非结构化数据的积极处理带来了很大方便。还有一点是大规模并行计算进行非结构化数据处理。这个在产业当中包括在我们中国移动生产过程当中也用到了很多,包括对于视频渲染分布式处理等技术。
  在大数据领域,现在有一个开源系统大家应该比较熟悉,就是Hadoop,它已经变成了大数据领域的事实标准。Hadoop最开始是由Yahoo团队资助建立起来的,目前全球有很多制造商、互联网公司都在贡献自己的代码,也是作为Hadoop的重要用户。它的拓展性特别好,一个集群可以达到四千个节点。再一个是通用性比较强,可以处理各种数据。支持MapReduce的接口。通过MapReduce基本上可以通过各种各样的编程语言实现很多分布式计算处理的工作。再一个就是系统可靠性非常高,数据通过多副本方式实现。同时支持自动负载均衡等功能。此外易于管理。再一个现在的社区也是非常活跃。目前除了有很多公司是在致力于免费的Hadoop的开源开发工作,还有很多公司他们通过改写、重写Hadoop提供商业产品、商业服务。目前Hadoop产业是越来越壮大和成熟了。
  互联网公司以及全球很多制造商、运营商目前都在积极使用Hadoop。包括百度、淘宝等等,都是Hadoop很大的用户。像IBM、英特尔等等也都有Hadoop的解决方案。现在几大运营商都在使用Hadoop做一些大数据的处理工作。
  下面谈一下运营商对于大数据的需求。运营商传统上对于海量数据存储处理依赖于数据库和数据仓库,它发展过程当中面临着拓展不足的问题。比如说省的大公司比如说它的交易系统、分析系统之类的,由于这个问题面临着分库问题,分库之后也带来了很多问题,比如数据资源利用不均、管理复杂等等问题。还有传统数据仓库对于非结构化数据处理能力比较有限。
  运营商在大数据处理应用可以总结出四个模型,比如准实时批处理应用。这一类是批量的输入数据,输出结果不需要立即呈现。这类典型应用包括内容计费、网间结算、话单文件计费等等。这些实际上都是属于这一类的准实时批处理应用。再一类就是非实时的批处理应用,这一类可以允许小时级别的返回结果。典型应用比如ETL数据处理、KPI计算、各种网络和日志清晰、用户行为分析等等。第三类就是在线事务处理,必须要在秒级别内完成,而且交易可靠性要求也是非常之高,典型应用就是各种门户系统以及CRM系统、实时事件告警、积分平台、搜索引擎等都属于这一类。最后一个是在线分析应用,这逻辑要求比ORTP要高,对于数据库更新要求会低一些。这一类的应用主要体现在主题分析、数据多维分析、市场预测等等应用。
  之前也提到了,运营商大数据处理系统跟我们之前提到的大数据总体发展趋势是一样的。都是数据量越来越大,但是实时性要求越来越高,这就给技术实现难度带来了越来越大的挑战。
  下面介绍一下中国移动大数据方面的应用实践。中国移动在大数据处理方面是跟云计算研发工作齐头并进来做的。我们的研发主要是体现在我们自主开发的“大云系统”当中。我们有几个产品线。
  比如分析型PaaS产品,这是大数据处理的一个主要产品。里面包括Hadoop基础平台,这个Hadoop是我们根据自己应用的要求做了一些修改。第二就是基于Hadoop的大数据仓库。第三个是并行数据挖掘工具。第四个是搜索引擎系统。此外还有一个是商业智能系统。
  对于这几个系统我就分别做一下介绍。第一个就是BCHadoop。它跟传统的Hadoop相比有几个特点,首先是它的可用性会更高。我们知道Hadoop它的名字节点是单的,当然像一些厂家例如Facebook,分支是做了双名字节点,目前做的也是手动实现主备倒换。而我们可以做到自动的秒内的主备倒换。在多租户等方面也做了一些相关的东西,在Hadoop可管理方面也开发了一些相关的工具和系统。
  第二个就是BC-HugeTable。这个数据仓库的特点容量大支持PB级,再一个成本很低,存储是基于PC本地盘实现的。性能很高。我们支持索引的查询,所以像大部分查询工作都可以在秒级别完成。此外可靠性也是比较高的。同时我们支持一些定制化。现在我们支持了三到四种存储引擎,可以根据应用需求定制一些新的存储引擎和索引类型。在接口支持方面,我们支持传统的数据库,同时也提供MapReduce分布式编程接口。外围工具我们有开发了并行的数据加载、备份恢复等工具。
  数据挖掘这块,我们有一个产品叫做BC-PDM系统。支持45种ETL操作,支持15种主要的主流算法,当然这个主要算法还是基于我们电信应用的。同时支持数据统计、变量分析、海量数据探索等等功能。我们也支持了社交网络分析的算法。可以支持网络特征分析、社团发现、演化、展示等,这个对于运营商精准营销来说是一个非常重要的特点。同时还支持了很多数据接口,比如我们可以跟现在主流交易数据库进行数据交换,还支持一些开源系统。同时我们还支持SaaS和PaaS服务模式。这个系统是可以通过Web的方式,用户通过拖拉拽或者写一些脚本方式实现数据挖掘应用,数据上载到我们集中平台上,做完数据挖掘和分析之后,用户把结果拿回来。这种应用模式避免了用户为了临时的数据挖掘和分析的需求去采购大量基础设施的情况。
  我们还支持丰富的UI,包括图形化的拖拉拽的界面,现在每一个ETL操作和数据挖掘算法,我们都做了图标形式在系统上展现出来,用户把几个图标拖拽在一起定义它们之间的数据关系就可以形成应用,用起来非常方便。同时对于比较专业的用户提供了命令行等方式提供它的应用开发。此外还支持定制化的二次开发。
  搜索引擎这块跟大数据相关的,我们在网页采集、网页分析、自然语言处理这方面做了一些工作。网页采集方面,我们也测试了一下,跟开源的系统相比,我们效率可以提高一个数量级。
  商业智能,为了满足中国移动精分系统集中化建设的要求来实现的一个平台。精分系统,每个省都建了比较大的数据仓库,围绕其建设了很多专门数据提示,这对于基础设施投资以及系统资源利用上都不是一个很好的解决方案。现在我们开发的BI-PaaS,可以实现全网数据集中存储,并且提供一个应用运行环境、应用开发平台。用户的应用可以在本地开发,开发完之后提交到集中平台上执行。对后台数据进行操作,最后就可以得到你想要的分析结果。
  包括了两大部分,一个是开发套间,它是用户下载到本地,可以在本地进行各种应用模拟开发。第二个是BI PaaS Server,是后台一个比较大的分布式系统,集中存储各种各样的数据并且能够托管用户应用,并行执行之后尽可能快速返回结果。
  以上介绍了我们“大云”在大数据处理方面所做的研发工作。后面举几个案例。通过“大云”系统实现的应用。第一个是经营分析系统当中,通过BC-PDM和BC-ETL去代替ETL的工作。传统的ETL,当然有专门的ETL工具,但它不是主流。主流的方式一般都是ELT,把数据抽取以后先加载在数据仓库,在库内进行清晰转换,这是目前应用的一个主要方式。这种方式对于数据仓库容量造成了很大浪费,因为数据仓库价格还是比较贵的。所以我们通过BC-ETL把数据仓库内一些转换和清晰的工作卸载到BC-ETL系统中,可以大大降低投资。因为它是并行化系统,所以在实际应用过程当中就发现了,无论是成本方面还是应用性能方面,都有一个比较大的提升。
  第二个应用场景就是信令监测系统。运营商是经营网络的,在我们的系统当中有非常丰富的数据信息资源。比如说现在我们全网都在做信令监测系统,不光包括传统的电话交换的信令还包括了现在上网的信令等,这些信令当中也蕴含了一些丰富的信息,我们可以用它来进行网络优化。通过信令合成来看端到端,在哪一段我们的网络存在故障或者瓶颈。这个信令监测系统对于实时性要求比较高。比如说处理上亿条信令的挖掘和处理,要求是在一分钟以内去反馈。还有分组域的信令也蕴含着很多用户行为的数据,例如GPS等接口我们可以获取用户上网所有的数据。其实这些数据,我们对于用户行为分析、精准营销方面,是有很大价值的,同时这个量也是非常大的。所以说我们现在采用大数据的技术,在部分省是部署“大云”系统做大数据处理。同时硬件成本上也有降低。比如查询性能可以提高5到7倍。
  以上只是两个例子,其实还有很多例子,比如说详单查询,移动公司运营商以前是邮寄给你,或者你去营业厅打印。未来我们可以在网上给你提供服务,可以查找过去几年的数据,所以它是一个灵活分析系统、在线交易的一个综合功能的解决方案。这也是大数据处理的一个很重要的应用场景。
  以上举了一些案例,今天应该说在座的各位都是各行各业的CIO,做信息化方面的专家,我们也非常希望未来在各个领域信息化处理方面能够跟各位多交流,希望未来能够给各行各业提供更好的服务。我的演讲就到这,谢谢大家!

RTB,运营商大数据应用的新方向(案例解析)

唐半张 发表了文章 0 个评论 2086 次浏览 2015-10-19 11:09 来自相关话题

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据 ...查看全部

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”——麦肯锡
1、 运营商大数据及RTB发展
在互联网尤其是电商领域,大数据已经得到了较成熟的运用,并成功指导企业的生产和销售。而电信运营商是传统行业中的天然大数据公司,它的主要业务包括语音业务、数据业务、位置、网络和商务等增值业务,而这些业务决定了运营商在大数据产业链中的数据传递和交换中心的地位,并为其带来丰富的数据资源,能力开放和数据运营是电信运营商多元化发展的必然趋势。目前,全球120家运营商中,已经有48%的企业正在实施大数据战略。通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身。
RTB(RealTime Bidding)实时竞价,是一种利用第三方技术在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。实时竞价RTB主要特点在于基于大数据技术可以协助广告主投放过程更加精准、透明、高效、可控,规避了无效的受众到达,从而提高投放效果ROI。RTB目前逐渐成为未来互联网广告发展中无可争辩的主流趋势,在美国,RTB展示广告近5年的复合年均增长率为70.5%。Google认为展示广告的市场规模将从现在的200亿美金扩张到2015年的500亿美金,其中50%以上的展示广告将通过RTB模式完成,Google、Facebook等国际互联网巨头纷纷推出自己的RTB广告发布系统。国内互联网巨头BAT凭借资金、经验、技术和用户优势,引领RTB行业发展。
2、 国内外运营商大数据应用现状
最近几年,国外运营商已经开始对所拥有的大数据资源进行商业模式的探索,目前主要运用模式分为数据分析打包、现有业务改善、数据开放、数据销售等形式,这些模式尝试将为国内运营商的能力开放和数据运营提供良好的借鉴。如西班牙电信成立了大数据业务部门“数据洞察”,提供数据分析打包服务,并推出了首款产品名为智慧足迹(Smart Steps)。该产品可对某个时段、某个地点人流量的关键影响因素进行分析,并将洞察结果面向政企客户提供。该方案面向不同行业推出系列产品,例如包含交通流量管理功能的“Smart City”。Vodafone则将匿名数据开放给外部API,与LBS服务对接。通过开放API,向数据挖掘公司等合作方提供部分用户匿名地理位置数据,以掌握人群出行规律,有效地与一些LBS应用服务对接。
这两年,国内运营商也积极推进大数据的跨界合作和应用,中国移动在2013年年底提出了以“大数据、超细分、微营销”为核心,以大数据能力为基础,建立适应互联网时代的营销服务体系。中国电信则以综合平台、智能管道为依托,以丰富大数据为基础,聚焦重点大数据应用,特别是聚合更有价值的四大大数据商业应用模式,依托自身核心业务,以实现利润最大化。
2013年底,国内首个由运营商自主研发的互联网广告实时交易平台在中国电信浙江公司成功上线,浙江电信互联网广告实时交易平台的建成,标志着运营商探索大数据走出重要一步,相对于互联网企业,运营商在RTB最大的优势在于其拥有网络管道优势上的大数据,除了客户的基本属性之外,还有大量的、实时的客户互联网行为数据。运营商在移动互联网生态体系应充分发挥其优势,占据主导地位。
3、 国内运营商RTB应用案例
运营商RTB生态圈,主要包括DSP即需求方平台,以广告主和广告公司为主;SSP即供应方平台,主要指提供广告位资源的媒体,也包括现下的自媒体;DMP即数据管理平台,拥有客户属性及行为数据的分析管理平台;以及AdExchange,即RTB广告交易平台。

图1:系统整体架构
DMP即数据管理平台,这是运营商大数据应用的最核心平台,实时竞价中整个涉及受众购买的环境数据都需要DMP底层提供。数据管理平台通过对卖方的数据进行抽取,过滤,清洗,加密,分析,存储后,将卖方与买方的需求进行关联和匹配,实时判断买方和卖方出价,支撑实时竞价。数据管理平台会提供合理和科学的算法和分析依据来帮助买方(客户)和媒介执行机构(卖方)来判断什么样的受众才是高质量的,从而使营销推广的结果更加高效和更加出色。运营商DMP除了客户基本属性如手机号、性别、职业、省市、年龄等之外,更多关注的是客户互联网行为信息,包括搜索行为、网页浏览行为、兴趣偏好、活跃时间、当前位置、活动轨迹等,通过数据统计及建模方式按各个不同标签定义不同类型的人群,形成客户360度视图。

图2:客户数据挖掘流程
以App应用为核心的无线用户多维度画像为例,需要采集的数据包括:用户个人属性(用户注册信息、设备号、位置、网络、终端、区域、工作属性类型)、用户拨打电话特性(客户号码/400电话拨打记录、话费、主被叫特征、时长等)、用户上网行为(浏览内容/应用类型、用户访问记录、搜索关键词、交易记录等)、应用软件内容,信息传播路径:微博、短信、邮件、微信内容分析等。

图3:以App应用为核心的无线用户多维度画像
案例:移动端游戏类APP推广广告投放
1、案例背景:
推广内容:针对某游戏APP的推广活动
人群定向:16-36岁年轻群体(喜欢APP游戏人群)
投放周期:2014年:6月1日-2014年6月7日
2、投放过程:运营商客户群标签
年龄标签、性别标签
APP下载次数标签、APP使用活跃度标签、游戏类APP下载次数标签、游戏类APP使用时间标签等;
兴趣偏好模型、上网时间偏好模型、付费承受能力标签、最近十天搜索行为标签等;
3、投放效果:转化/点击效果提升3.8倍

 

研报深度:运营商大数据蓄势待发

唐半张 发表了文章 0 个评论 1312 次浏览 2015-10-19 11:06 来自相关话题

电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面 ...查看全部
电信运营商积累了庞大的数据资源,大数据金矿价值凸显。而互联网巨头已在数据变现的道路上大踏步前进,摆在运营商面前的一条出路便是管道智能化。通过大力推进“智能管道”建设,增加附加值,大规模地发展增值服务。由于拥有大量数据资源,运营商通过产业链的广泛合作,相关产业链的公司与运营商共建平台,仍然有着巨大的发展空间。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也大有可为。
大数据运营成必然选择
对于运营商来看,被以BAT为代表的互联网巨头及OTT企业“管道化”的趋势已不可避免,同时互联网巨头凭借自身庞大的数据资产已在数据变现的道路上大踏步前进,这将进一步边缘化运营商的地位。摆在运营商面前的一条出路,便是管道智能化。
随着网络建设的不断发展,运营商的语音业务收费越来越低,甚至呈现逐渐免费的趋势,数据流量经营将成为运营商的主要方向。从率先开展4G建设的中移动业务结构变化便可窥视。2014年前三季度中移动语音和短信、彩信业务继续下滑,总通话分钟数比上年同期下降0.3%,短信使用量比上年同期下降20.2%;但同期移动网络数据流量比上年同期增长98.6%,几乎是去年同期的两倍,流量业务在营收中占据的比例越来越大。按照现有数据预测,到2016年,中移动语音、短信收入占比将从2011年的67%降至40%,而数据流量和数字服务的收入将增至60%,成为业务收入主体。数据流量经营对运营商的重要性越来越大,关系到运营商的生存价值甚至是生存问题。
我们认为运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由流量经营进入大数据运营已成为大势所趋
从目前的情况看,电信运营商与以BAT为代表的互联网企业在增值服务上并不具有竞争优势,但从后向的行业应用及大量的数据资源来看,运营商通过产业链的广泛合作仍然有着巨大的发展空间。同时,由于涉及到政策模糊、用户隐私、技术成本等因素影响,运营商大数据掘金之路目前仍然曲折。但不可否认的是,运营商拥有任何移动互联网公司都无法比拟的海量数据,大数据金矿价值凸显,由语音经营走向流量经营进而进入大数据运营已成为大势所趋,空间巨大。
大数据运营基础架构
目前,运营商在大数据经营方面尚未形成明确的盈利模式,还处于“摸着石头过河”阶段。借鉴国外运营商的运行模式,结合信令数据、DPI技术、B+O域数据整合等可洞析大数据运营可能的方向。
全球运营商已经开始为掘金大数据做准备。电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示,全球120家运营商中约有48%的运营商正在实施大数据业务,大数据业务成本平均占到运营商总IT预算的10%,并且在未来五年内将升至23%左右(我国运营商目前投入占比不足1%),成为运营商的一项战略性优势。国外运营商已经做了一些很好的尝试,美国AT&T位置数据货币化、日本NTT Docomo创新医疗行业的社会化整合、Verizon数据仓库促进精准营销、德国电信智能网络培育新增长点、Telefónica大数据支撑用户体验优化、Vodafone动态数据仓库支持商业决策、法国电信数据分析改善服务水平、KDDI商业WiFi运营等,都是有借鉴意义的案例。
信令数据用以实现网优及获取位置信息。信令实际上就是一种用于控制的信号。语音经营时代,通话质量对运营商来说是至关重要的指标。运营商通过对信令进行监测,深层次支撑网络优化、精确故障定位。随着2G、3G、4G的逐步建设,运营商进入流量经营时代,通过信令数据可以规划基站和热点的建设,还可以对已有基础的效率和成本进行评估,用以增减基站建设以实现更高的网络效率。流量经营时代,上网流量的监测需求变得更为突出,但信令数据作为网络优化必不可缺的环节,加之通过进一步发掘信令数据所采集的位置信息,对运营商大数据运营提供了非常有意义的基础数据。基于这些数据的价值挖掘,是目前较为清晰的一个发展方向。
DPI已经在流量管理、安全和网络分析等方面成功开展,同时能够对网络数据包进行内容分析。通常的DPI解决方案能够为不同的应用程序提供深度数据包检测。DPI能够检测出数据包的内容及有效负载并且能够提取出内容级别的信息,如恶意软件、具体数据和应用程序类型。运营商均已充分认识到DPI的巨大价值,早已开始大规模招标建设、与第三方服务机构合作,4G带来的流量爆发更为DPI发挥巨大价值提供了广阔空间,因此,充分挖掘DPI的巨大潜力将给运营商带来巨大的效益。
运营商网内数据主要来源于业务平台、基础网络、支撑系统(包括O域(运营域)、B域(业务域)、M域(管理域))三大IT支撑系统。每个域由多个子系统组成,各域数据分别存放在多个生产数据库中,目前数据库的总量已达上百个,B+O域有效数据存储量占总量的80%以上。通过整合B域和O域的数据,可大幅提升信息共享能力,提高网络优化和规划建设的效率和有效性,有利于进一步的数据分析,尤其是对流量经营有着重要的意义,提升数据业务流量经营的用户行为与业务洞察能力,通过平台建设初步形成“大数据”洞察的跨域(B域/O域)分析架构。
大数据产业链清晰
运营商大数据产业链主要分为四层:即大数据采集、大数据管理、大数据应用及大数据运营
大数据采集是大数据产业链的底层基础。目前政策要求数据全采全监,包括通话记录及内容、短信记录、位置的轨迹信息等管道内特有数据,所以数据采集成为了运营商的刚性需求。政策及4G助力采集市场率先爆发。而大数据采集对进一步做大数据管理、应用及运营有着最直接的支撑。
大数据管理通过数据共享平台实现。数据共享平台主要由数据汇集、数据支撑、数据接入点三层组成,向下可以支撑数据采集层,向上支撑外部数据应用系统。在数据采集过程中,有时一个口有超过十套系统在采集,比较杂乱。大数据共享平台是趋势,即将采集好的数据放在共享数据池中,实现共享避免重复采集,这也是运营商比较偏好的方式。
大数据应用主要包括基础应用和行业应用。基础应用,包括网络管理和优化及客户关系管理;行业应用,包括企业业务运营监控和经营分析。
大数据运营终极目标增值业务和精准营销增值业务:利用特定的网络数据,创新增值应用,增加运营业务收入。简单来说,数据采集阶段形成了最全面、最及时的数据,通过具体时间段、具体地点(实际或虚拟)客户行为的趋势性分析,即可形成非常有价值的判断,再通过指定的要求来分析,即会形成更有指导意义的结论。精准营销:通过对移动互联网用户的行为分析,进行用户偏好分群进而建立精确的用户画像,并开展针对性的市场营销及配套服务。
对于数据采集公司来讲,面向核心网各个功能域采集数据。通过对移动、固网中控制数据和用户数据的采集分析,并对监测报告进行深度解析,发现数据应用的潜在特征进行识别。
中国移动设备数据流量2014年增幅接近50%。根据工信部数据,包括智能手机在内,中国各类移动设备2014年的平均流量首次超过200MB。但根据思科的统计,全球智能手机2014年平均数据流量达到819MB。这从侧面显示,我国平均流量水平还有很大的提升空间。
三大运营商中,中国移动2013年底率先拿到TD-LTE牌照,拉开了我国进入4G时代的序幕。中国联通和中国电信2015年2月底才拿到FDD-LTE牌照,4G建设将全面铺开。4G时代对运营商的重大变化即为,传统数据(信令)采集业务也将由过去的2G、3G以语音和短信为主全面向4G数据(上网)业务拓展,而4G大量的图片、视频信息也将在采集规模上远远超过2G、3G。
据我们测算,在2G-3G时代,电信及联通在信令和DPI采集领域投入约20亿-40亿元。随着FDD牌照的发布,三大运营商均进入4G时代,都在加大数据采集领域的资本开支。我们之前预计,今年三大运营商规划的采集规模或达25亿元,其中以中国移动4G为主。但从年初招标的情况来看,竞争相当激烈,移动一期的招标最终成交价可低至最初规划的1/10水平。预计今年最终合计将在15亿-20亿元之间的水平。当然,各厂家在初期血拼是为了“圈地”,即进入运营商集采或是省分的供应链体系,这样才能够获得后续扩容,并通过扩容来实现盈利。随着4G渗透率的大规模提升,数据采集的需求量将现指数级增长。
随着三大运营商都大力推进4G建设进程,其共同发力将进一步提升4G的普及率,数据量级的增长将相当显著,我们认为运营商数据“采集”业务将在未来几年出现大规模爆发。
共建平台探索发展模式
国内运营商都已认识到大数据运营对其未来发展的重要性,纷纷展开了各种尝试,发展方向包括基于位置信息获取收入、根据客户需求研究分析、出具报告以及帮助DSP更加精确地投放广告
基于位置信息获取收入方面,由此所能带来的商业价值相当可观,通过位置信息,可以分析受众人群的情况,可以直接实现广告定价的问题(通过测算广告牌的流量可为运营商提供定价的测算依据)。游客的趋势性信息对每个景区都非常重要,能对其提高运营水平、规划商业决策行为提供非常有价值的数据。拓展来看,不仅对景区,各类商圈都有类似的需求。因此,基于位置信息的服务才刚刚开始,非常有望成为运营商未来的发力点。
根据用户的特定需求进行研究分析,并就研究分析结果出具研究报告,是国外咨询公司采用的一种模式,也是非常高效的一种模式。这里我们要强化一个概念,数据属于运营商,而个人隐私不容侵犯,因此报告必须是趋势性的、群体性的,属于分析处理的内容,而非原始数据,更不能涉及具体的个体。我们认为这对运营商来说将是有广阔空间的领域,而且运营商不仅可以自己来做,更可以通过和第三方机构展开合作,开拓更广阔的市场。
RTB或将成为运营商大数据的大舞台。对于运营商来说,对自己的数据资产进行DPI解析,全方位分析广告受众的长期喜好和短期关注(DMP),可以识别用户的Cookie、IMEI、计费代码等信息,将这些客户标签信息以实时的方式提供给广告平台(DSP)作为实时竞价的依据之一,可以有效帮助DSP更加精确地投放广告。
值得特别说明的是,运营商对于精准营销的数据商用持非常谨慎的态度,因为涉及到用户隐私等问题。基于群体用户行为的分析是比较可行的。而对于B2C的精准营销,如个人短息推送等,运营商是比较慎重的。
而在盈利模式方面,我们认为相关产业链的公司与运营商共建平台并进行分成的模式将会是较为合理的一种情形。另外,产业链相关公司垂直化拓展其数据挖掘、分析及营销能力也将与运营商形成更好的互补效应,进而形成合作共赢的较好突破口。
我们认为,在大数据运营这座巨大金矿面前,运营商更多的选择将是合作共赢,扶持自己可管可控的产业链,靠自己单打独斗是无法满足行业的巨大需求和产业链过长带来的专业化分工要求。因而过去聚焦于运营商CP/SP领域的增值服务商同样值得关注。
多样化的运营商数据来源
结构化数据包括:
账单数据 通话和短信
网络和位置数据 客户邮件
呼叫数据包括呼叫详细记录(CDRs) 及每个呼叫测量数据(PCMD) 社交媒体
非结构化数据包括:
工程和网络工具信息 网上论坛
库存和物流数据、 网页浏览记录
CRM 客户服务记录
客户服务和销售服务活动 IVR日志
销售会计记录,包括订单历史、产品类型和服务广告样稿 内部客户反馈或其他内部文件
外部调查
媒体下载、应用程序的使用和交互、图片和视频
系统日志和传感器数据
资料来源:Informa,中信建投证券研究发展部
运营商数据资产分类
业务支撑系统的数据: 这部分数据由CRM、计费、客服、渠道等IT系统在服务客户的过程中产生。例如用户资料、使用记录(话单)、费用记录(账单)、付费关系、客户咨询和投诉的语音和文字记录、电子渠道的交互信息(交易信息、JS插码、SDK数据等)。
网络系统产生的数据 :来自电路域(CS)和分组交换域(PS)中信令分析的结果。比如位置信令(包括15分钟左右的周期位置更新和呼叫过程中的位置切换信令)、开关机信令(在其中有开关机的地点,使用的终端等信息)、漫游信令。
运营商自有的互联网和移动互联网产品的数据 :来自WEB和APP客户端的数据,一般通过JS插码或SDK的方式收集;来自后台的访问日志和交易记录、收藏、关注等信息;UGC数字内容等信息;监测数据等。

原来是这么玩,解析全球十大电信巨头如何玩大数据

唐半张 发表了文章 0 个评论 1337 次浏览 2015-10-19 11:01 来自相关话题

    对于电信运营商而言,没有哪一个时代能比肩4G时代,轻松掌握如此海量的客户数据。4G时 ...查看全部

    对于电信运营商而言,没有哪一个时代能比肩4G时代,轻松掌握如此海量的客户数据。4G时代,手机购物、视频通话、移动音乐下载、手机游戏、手机IM、移动搜索、移动支付等移动数据业务层出不穷。它们在为用户创造了前所未有的新体验同时,也为电信运营商挖掘用户数据价值提供了大数据的视角。数据挖掘、数据共享、数据分析已经成为全球电信运营商转变商业模式,赢取深度商业洞察力的基本共识。
目前,全球120家运营商中,已经有48%的企业正在实施大数据战略。通过提高数据分析能力,他们正试图打造着全新的商业生态圈,实现从电信网络运营商(Telecom)到信息运营商(Infocom)的华丽转身。从曾经的“管道”到大数据战略融合,电信运营商到底该如何善用大数据?全球10强电信“大佬们”的大数据应用之道及其培育的新经济增长点启示颇多。1.AT&T:位置数据货币化
    T&T是美国最大的本地和长途电话公司,创建于1877年。2009年,AT&T利用全球领先的数据分析平台、应用和服务供应商Teradata天睿公司的大数据解决方案,开始了向信息运营商的转变。
在培育新型业绩增长点的过程中,AT&T决定和星巴克开展合作,利用大数据技术收集、分析用户的位置信息,通过客户在星巴克门店附近通话或者其他通信行为,预判消费者的购物行为。为此,AT&T挑选高忠诚度客户,让其了解AT&T与星巴克之间的这项业务,并签署协议,将客户隐私的管理权交给客户自己。在获得允许情况下,AT&T将这些信息服务以一定金额交付给星巴克。星巴克通过对这些数据的挖掘,可以预估消费者登门消费的大概时间段,并且预测个人用户行为,并做出个性化的推荐。此外,在iPhone上市伊始,为了解iPhone的市场反响,AT&T还选择与Facebook结成战略联盟,通过对Facebook的非结构化数据进行分析,发现用户对价格、移动功能、服务感知等产品指标的体验情况,从而推出更加准确的电信捆绑服务。2.NTT:创新医疗行业的社会化整合
NTT是日本最大电信服务提供商,创立于1976年。它旗下的NTTDOCOMO是日本最大的移动通讯运营商,也是全球最大的移动通讯运营商之一,拥有超过6千万的签约用户。
    自2010年,NTTDOCOMO利用大数据解决方案,实现了医疗资源的社会化创新,培育了医疗信息服务增长点。面对日本社会的老龄化趋势,NTTDOCOMO想到了通过搭建信息服务平台,满足用户的个性化医疗需求。因此,NTTDOCOMO和Teradata天睿公司进行充分合作,利用其大数据解决方案,建立自己的资料库。通过开设MedicalBrain和MD+平台,聚合大量的医疗专业信息,网聚了大批医疗行业专业人士。这使用户和各种专业医疗和保健服务提供商共同拥有了符合标准的、安全可靠的生命参数采集和分发平台。在这个平台上,NTTDOCOMO能够根据用户的以往行为洞察其个性化需求,再将这些需求反馈至对应的医疗人员,帮助用户获得高价值的信息反馈。     3.Verizon:数据仓库促进精准营销
    Verizon是美国最大的本地电话公司、最大的无线通信公司之一,也是全世界最大的印刷黄页和在线黄页信息提供商。它在美国、欧洲、亚洲、太平洋等全球45个国家经营电信及无线业务。
随着年轻一代用户成为电信消费主力人群,通过多媒体、社交媒体等渠道了解他们的消费行为成为Verizon的营销重点。因此,Verizon成立精准营销部门(PrecisionMarketingDivision),利用Teradata天睿公司的企业级数据仓库,对用户产生的结构化、非结构化数据进行挖掘、探索和分析。在大数据解决方案的帮助下,Verizon实现了对消费者的精准营销洞察,并且向他们提供商业数据分析服务,同时在获得允许情况下,将用户数据直接向第三方交易。此外,这些对用户购买行为的洞察也为Verizon的广告投放提供支撑,实现精准营销。凭借着获取的消费者行为的洞察力,Verizon还决定进军移动电子商务,形成自己全新的业绩增长点。4.德国电信:智能网络培育新增长点
    德国电信是欧洲最大的电信运营商,全球第五大电信运营商。旗下T-Systems是全球领先的ICT解决方案和服务供应商。
    正是T-Systems将德国电信带上了大数据的发展快车道。基于拥有全球12万平方米数据中心的优势,T-Systems提出了“智能网络”的概念。通过实时获得汽车、医疗以及能源企业的数据,T-Systems先后开发了车载互联网导航系统、交通意外自动呼叫系统以及声控电邮系统,以及能源网开发解决方案,实现电量的供需平衡。此外,它还通过设计安全的传输方式和便捷的解决方案,将医生和患者对接,提供整合的医疗解决方案。           5.Telefónica:大数据支撑用户体验优化
    Telefónica创立于1924年,是西班牙的一家大型跨国电信公司,主要在西班牙本国和拉丁美洲运营,它也是全球最大的固定线路和移动电信公司之一。
    Telefónica一直将用户体验视为企业发展重点。Telefónica启动一个针对移动宽带网络的端到端用户体验管理项目,并建立了一个包含60多个用户体验指标的系统,支持无线网络控制器(RNC)、域名系统(DNS)、在线计费系统(OCS)、GPRS业务支撑节点(SGSN)、探针等各种网络节点的信息采集。所有采集来的信息经过整合后存储到数据库中,为后续的用户体验测量提供数据支撑。6.Vodafone:动态数据仓库支持商业决策
    沃达丰是跨国性的移动电话运营商,现为全球最大的流动通讯网络公司之一。
    Vodafone在大数据应用方面取得了丰硕成果。早在2009年,旗下SmarTone-Vodafone就委托Teradata天睿公司为其完成动态数据仓库的部署,使企业所有管理人员可以根据信息轻松制定最佳决策。它主要通过开放API,向数据挖掘公司等合作方提供部分用户匿名地理位置数据,以掌握人群出行规律,有效地与一些LBS应用服务对接。这些大数据解决方案极大提高了SmarTone-Vodafone的市场领导力。7.中国移动:客户投诉智能识别系统降低投诉率
    中国移动通信集团公司是中国规模最大的移动通信运营商,也是全球用户规模最大的移动运营商。
    在中国移动近实现客户数量迅猛增长的同时,相应也带来了客户投诉量的增长。
    为了辨别客户投诉的真实原因、发现问题、改进产品、提升服务体验,中国移动和Teradata天睿公司进行了密切合作。Teradata为其配置了基于CCR模型的客户投诉智能识别系统,以投诉内容为源头,通过智能文本分析,实现了从发现问题到分析问题,再到解决问题以及跟踪评估的闭环管理。经过一段时间使用,仅中国移动某省级公司,就实现全网投诉内容的智能识别:769个投诉原因被识别;配合业务部门提出37个产品优化建议,协助优化11个产品;优化不满意点58个,消除368,295客户的潜在不满隐患;每年节约成本达540万。8.法国电信:数据分析改善服务水平
    法国电信是法国最大的企业,也是全球第四大电信运营商,拥有全球最大的3G网络Orange。
    为了优化用户体验,法国电信旗下企业Orange采用Teradata天睿公司大数据解决方案,开展了针对用户消费数据的分析评估。Orange通过分析掉话率数据,找出了超负荷运转的网络并及时进行扩容,从而有效完善了网络布局,给客户提供了更好的服务体验,获得了更多的客户以及业务增长。同时,Orange承建了一个法国高速公路数据监测项目。面对每天产生500万条记录,Orange深入挖掘和分析,为行驶于高速公路上的车辆提供准确及时的信息,有效提高道路通畅率。9.意大利电信:数据驱动的个性化业务
    意大利电信是欧洲最大的移动运营商之一,同时也是基于单一网络提供GSM系列服务的领先欧洲运营商。
    面对固网业务的下滑,意大利电信构建了面向全业务运营的客户数据仓库,以适应市场、销售、客户服务等领域的业务规则和需要。通过对客户数据的洞察,有效地预测收入状况与客户行为的关联性,推出了诸多个性化产品满足客户需求。意大利电信推出的NapsterMobile音乐业务就提供包括手机铃声、艺术家肖像墙纸以及接入NapsterMobile歌曲目录等个性化服务,直接拉动了企业业绩。10.KDDI:数据管理服务是核心
    KDDI是日本知名的电信运营商,在世界多个国家设有子公司。
    通过大数据资产,提供数据管理服务是KDDI的核心业务之一。KDDI利用自身优势,以数据中心为核心,向企业提供包括云计算服务在内的信息通讯综合服务。KDDI于2000年开始在中国开展为日系及当地企业提供数据管理服务,业务发展迅猛。2012年,KDDI在北京经济技术开发区建设了当地最大规模数据中心,占地2.5万平米,试图实现2015年海外营业额为2010年2倍的目标。
以4G为代表的移动互联网时代,令信息、互联网行为数据、话单数据、WAP日志/WEB日志、互联网网页、投诉文本、短信文本等结构化数据以及非结构数据呈现几何式增长。面对新型海量数据,传统电信运营商正面临越来越大的挑战:
  • 客户与内容服务提供商联系更加紧密,但对电信企业的忠诚度反而下降;
  • 企业无法通过流量内容服务提供商业价值,盈利能力持续下降;
  • “管道化”严重弱化对承载信息的掌控,丧失创新产品、业务发展的基础。

    电信运营商需要凭借数据分析来竞争,实现数据价值货币化。同时,利用大数据实现企业从电信网络运营商到信息运营商的转型。通过对数据的分析,了解客户流量业务的消费习惯,识别客户消费的地理位置,洞察客户接触不同信息的渠道等等,电信运营商将获得深度商业洞察力,打造基于大数据的租售数据模式、租售信息模式、数字媒体模式、数据使能模式、数据空间运营模式、大数据技术提供商等全新商业模式。

大数据在电信行业的应用

唐半张 发表了文章 0 个评论 1281 次浏览 2015-10-19 10:49 来自相关话题

电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果 ...查看全部

电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示,全球120家运营商中约有48%的运营商正在实施大数据业务。该调研公司表示,大数据业务成本平均占到运营商总IT预算的10%,并且在未来五年内将升至23%左右,成为运营商的一项战略性优势。可见,由流量经营进入大数据运营已成为大势所趋。
电信运营商拥有多年的数据积累,拥有诸如财务收入、业务发展量等结构化数据,也会涉及到图片、文本、音频、视频等非结构化数据。从数据来源看,电信运营商的数据来自于涉及移动语音、固定电话、固网接入和无线上网等所有业务,也会涉及公众客户、政企客户和家庭客户,同时也会收集到实体渠道、电子渠道、直销渠道等所有类型渠道的接触信息。整体来看,电信运营商大数据发展仍处在探索阶段。大数据在电信行业应用的总体情况
目前国内运营商运用大数据主要有五方面:(1)网络管理和优化,包括基础设施建设优化和网络运营管理和优化;(2)市场与精准营销,包括客户画像、关系链研究、精准营销、实时营销和个性化推荐;(3)客户关系管理,包括客服中心优化和客户生命周期管理;(4)企业运营管理,包括业务运营监控和经营分析;(5)数据商业化指数据对外商业化,单独盈利。
第一方面:网络管理和优化。此方向包括对基础设施建设的优化和网络运营管理及优化。
(1)基础设施建设的优化。如利用大数据实现基站和热点的选址以及资源的分配。运营商可以通过分析话单和信令中用户的流量在时间周期和位置特征方面的分布,对2G、3G的高流量区域设计4G基站和WLAN热点;同时,运营商还可以对建立评估模型对已有基站的效率和成本进行评估,发现基站建设的资源浪费问题,如某些地区为了完成基站建设指标将基站建设在人际罕至的地方等。
(2)网络运营管理及优化。在网络运营层面,运营商可以通过大数据分析网络的流量、流向变化趋势,及时调整资源配置,同时还可以分析网络日志,进行全网络优化,不断提升网络质量和网络利用率。
利用大数据技术实时采集处理网络信令数据,监控网络状况,识别价值小区和业务热点小区,更精准的指导网络优化,实现网络、应用和用户的智能指配。由于用户群的不同,不同小区对运营商的贡献也不同。运营商可以将小区的数据进行多维度数据综合分析,通过对小区VIP用户分布,收入分布,及相关的分布模型得到不同小区的价值,再和网络质量分析结合起来,两者叠加一起,就有可能发现某个小区价值高,但是网络覆盖需要进一步提升,进而先设定网络优化的优先级,提高投资效率。
  • 德国电信建立预测城市里面的各区域无线资源占用模型,根据预测结果,灵活的提前配置无线资源,如在白天给CBD地区多分配无线资源,在晚上,则给酒吧地区多分配无线资源,使得无线网络的运行效率和利用率更高。
  • 法国电信通过分析发现某段网络上的掉话率持续过高,借助大数据手段诊断出通话中断产生的原因是网络负荷过重造成,并根据分析结果优化网络布局,为客户提供了更好的体验,获得了更多的客户以及业务增长;
第二方面,市场与精准营销。此方向包括客户画像、关系链研究、精准营销、实时营销和个性化推荐。(1)客户画像。运营商可以基于客户终端信息、位置信息、通话行为、手机上网行为轨迹等丰富的数据,为每个客户打上人口统计学特征、消费行为、上网行为和兴趣爱好标签,并借助数据挖掘技术(如分类、聚类、RFM等)进行客户分群,完善客户的360度画像,帮助运营商深入了解客户行为偏好和需求特征。(2)关系链研究。运营商可以通过分析客户通讯录、通话行为、网络社交行以及客户资料等数据,开展交往圈分析。尤其是利用各种联系记录形成社交网络来丰富对用户的洞察,并进一步利用图挖掘的方法来发现各种圈子,发现圈子中的关键人员,以及识别家庭和政企客户;或者分析社交圈子寻找营销机会。如在一个行为同质化圈子里面,如果这个圈子大多数为高流量用户,并在这个圈子中发现异网的用户,我们可以推测该用户也是高流量的情况,便可以通过营销的活动把异网高流量的用户引导到自己的网络上,对其推广4G套餐,提升营销转化率。总之,我们可以利用社交圈子提高营销效率,改进服务,低成本扩大产品的影响力。(3)精准营销和实时营销。运营商在客户画像的基础上对客户特征的深入理解,建立客户与业务、资费套餐、终端类型、在用网络的精准匹配,并在在推送渠道、推送时机、推送方式上满足客户的需求,实现精准营销。如我们可以利用大数据分析用户的终端偏好和消费能力,预测用户的换机时间尤其是合约机到期时间,并捕捉用户最近的特征事件,从而预测用户购买终端的真正需求,通过短信、呼叫中心、营业厅等多种渠道推送相关的营销信息到用户手中。(4)个性化推荐。利用客户画像信息、客户终端信息、客户行为习惯偏好等,运营商可以为客户提供定制化的服务,优化产品、流量套餐和定价机制,实现个性化营销和服务,提升客户体验与感知;或者在应用商城实现个性化推荐,在电商平台实现个性化推荐,在社交网络推荐感兴趣的好友。第三方面,客户关系管理。此方面包括客服中心优化和客户生命周期管理。(1)客服中心优化。客服中心是运营商和客户接触较为频繁的通道,因此客服中心拥有大量的客户呼叫行为和需求数据。我们可以利用大数据技术可以深入分析客服热线呼入客户的行为特征、选择路径、等候时长,并关联客户历史接触信息、客户套餐消费情况、客户人口统计学特征、客户机型等数据,建立客服热线智能路径模型,预测下次客户呼入的需求、投诉风险以及相应的路径和节点,这样便可缩短客服呼入处理时间,识别投诉风险,有助于提升客服满意度;另外,也可以通过语义分析,对客服热线的问题进行分类,识别热点问题和客户情绪,对于发生量较大且严重的问题,要及时预警相关部门进行优化。(2)客户关怀与客户生命周期管理。客户生命周期管理包括新客户获取、客户成长、客户成熟、客户衰退和客户离开等五个阶段的管理。在客户获取阶段,我们可以通过算法挖掘和发现高潜客户;在客户成长阶段,通过关联规则等算法进行交叉销售,提升客户人均消费额;在客户成熟期,可以通过大数据方法进行客户分群(RFM、聚类等)并进行精准推荐,同时对不同客户实时忠诚计划;在客户衰退期,需要进行流失预警,提前发现高流失风险客户,并作相应的客户关怀;在客户离开阶段,我们可以通过大数据挖掘高潜回流客户。国内外运营商在客户生命周期管理方面应用的案例都比较多。如SK电讯新成立一家公司SK Planet,专门处理与大数据相关的业务,通过分析用户的使用行为,在用户做出离开决定之前,推出符合用户兴趣的业务,防止用户流失;而T-Mobile通过集成数据综合分析客户流失的原因,在一个季度内将流失率减半。第四方面,企业运营管理。可以分为业务运营监控和经营分析。(1)业务运营监控分可以基于大数据分析从网络、业务、用户和业务量、业务质量、终端等多个维度为运营商监控管道和客户运营情况。构建灵活可定制的指标模块,构建QoE/KQI/KPI等指标体系,以及异动智能监控体系,从宏观到微观全方位快速准确地掌控运营及异动原因。(2)经营分析和市场监测。我们可以通过数据分析对业务和市场经营状况进行总结和分析,主要分为经营日报、周报、月报、季报以及专题分析等。过去,这些报告都是分析师来撰写。在大数据时代,这些经营报告和专题分析报告均可以自动化生成网页或者APP形式,通过机器来完成。数据来源则是企业内部的业务和用户数据,以及通过大数据手段采集的外部社交网络数据、技术和市场数据。分析师转变为报告产品经理,制定报告框架、分析和统计维度,剩下的工作交给机器来完成。第五方面,数据商业化。数据商业化指通过企业自身拥有的大数据资产进行对外商业化,获取收益。国内外运营商的数据商业化都处于探索阶段,但相对来说,国外运营商在这方面发展的更快一些。(1)对外提供营销洞察和精准广告投放。
  • 营销洞察:美国电信运营商Verizon成立了精准营销部门Precision Marketing Division。该部门提供精准营销洞察(Precision Market Insights),提供商业数据分析服务。如在美国,棒球和篮球比赛是商家最为看中的营销场合,此前在超级碗和NBA的比赛中,Verizon针对观众的来源地进行了精确数据分析,球队得以了解观众对赞助商的喜好等;美国电信运营商Sprint则利用大数据为行业客户提供消费者和市场洞察,包括人口特征、行为特征以及季节性分析等方面。
  • 精准广告投放:Verizon的精准营销部门基于营销洞察还提供精准广告投放服务;AT&T提供Alert业务,当用户距离商家很近时,就有可能收到该商家提供的折扣很大的电子优惠券。
(2)基于大数据监测和决策支撑服务。
  • 客流和选址:西班牙电信于2012年10月成立了动态洞察部门DynamicInsights开展大数据业务,为客户提供数据分析打包服务。该部门与市场研究机构GFK进行合作,在英国、巴西推出了首款产品名为智慧足迹(Smart Steps)。智慧足迹基于完全匿名和聚合的移动网络数据,帮助零售商分析顾客来源和各商铺、展位的人流情况以及消费者特征和消费能力,并将洞察结果面向政企客户提供客流分析和零售店选址服务。
  • 公共事业服务:法国最大的运营商法国电信,其通信解决方案部门Orange Business Services承担了法国很多公共服务项目的IT系统建设,比如它承建了一个法国高速公路数据监测项目,每天都会产生几百万条记录,对这些记录进行分析就能为行驶于高速公路上的车辆提供准确及时的信息,有效提高道路通畅率。

总的来看,电信行业的大数据依然处于探索阶段,未来几年,无论是内部大数据应用还是外部大数据商业化都有很大的成长空间。但电信行业大数据最大的障碍是数据孤岛效应严重,由于国内运营商的区域化运营,电信企业的数据分别存储在各地区分公司,甚至分公司不同业务的数据都有可能没打通。而互联网和大数据则是没有边界。日本最大的移动通信运营商NTT Docomo 2010年以前就开始着手大数据运用的规划,NTT Docomo相对国内运营商有一个很大的优势是全国统一的数据收集、整合形式,因此NTT Docomo可以很轻易拿到全国的系统数据。Docomo不但着重搜集用户本身的年龄、性别、住址等信息,而且制作精细化的表格,要求用户办理业务填写更详细信息。对于国内电信运营商,要真正的利用大数据,数据的统一和整合是最为重要的一步。我们已经看到中国移动已经开始着手准备这方面的工作,相信未来几年,在互联网企业的竞争压力下,中国的电信行业大数据将发展的更快,变革会更彻底。

精准营销是什么意思

唐半张 发表了文章 0 个评论 1388 次浏览 2015-10-10 10:22 来自相关话题

精准营销是什么意思 其实这个就是精准营销的范畴,什么是精准营销,举个简单的例子,你家人都是移动的卡,你比较喜欢上网,你爸爸打电话比较多。移动公司后台的只能分析系统(CR ...查看全部
精准营销是什么意思 其实这个就是精准营销的范畴,什么是精准营销,举个简单的例子,你家人都是移动的卡,你比较喜欢上网,你爸爸打电话比较多。移动公司后台的只能分析系统(CRM),通过1-几个月的数据分析,判断出你喜欢上网,然后下发流量套餐的营销或者活动短信,你爸爸不会收到,因为系统判定他不是流量用户。
这就是精准营销,通过大数据获取对象的喜好,行为偏好,对不同对象进行不同营销的过程,叫做精准数据营销。
信令监测,呼叫质量分析,网络优化,3G与WAP业务分析,话单结算,用户行为分析,漫游分析,流量流向分析,沙盘推演,社交分析等