金融大数据

金融大数据

你还在考CFA?大数据都“占领华尔街了”!

回复

ChinaHadoop 发起了问题 1 人关注 0 个回复 1885 次浏览 2015-12-14 16:57 来自相关话题

未来金融之美:客户成为中心,大数据驱动业务

唐半张 发表了文章 0 个评论 1431 次浏览 2015-10-19 10:29 来自相关话题

随着移动互联网时代和大数据时代的到来,银行的服务模式正在改变;物联网和产业互联网的出现,令未来金融的业态轮廓逐步明显;智能科技在银行网点的应用,加快了未来金融进入我们社会的步伐。未来金融的本质就是以用户为中心,金融企业提供的不再是产品而是金融服务,银行服务将不 ...查看全部
随着移动互联网时代和大数据时代的到来,银行的服务模式正在改变;物联网和产业互联网的出现,令未来金融的业态轮廓逐步明显;智能科技在银行网点的应用,加快了未来金融进入我们社会的步伐。未来金融的本质就是以用户为中心,金融企业提供的不再是产品而是金融服务,银行服务将不断下沉,同其他服务一起渗透到人们生活之中。未来金融的表现形式是酷炫科技、极致体验、融合服务、快捷支付。数据在未来金融服务中起到了至关重要的作用,利用大数据技术,银行可以建立针对客户的风险管理视图,帮助银行进行风险管理和金融决策。因此可以认为未来金融是客户成为中心,数据驱动业务。

未来金融究竟同现在传统金融服务有何不同?本文将几个小故事入手,向大家介绍未来金融的魅力。
移动金融平台成为客户互联网服务入口
李先生清晨习惯地打开自己未来银行的移动APP,这已经是他的每天的习惯,登陆移动金融平台不是为了看自己的资产负债表,而是为赚取连续登陆积分,这些积分可以换取他每天空余时间玩的小游戏的金币,更多的积分还可以提升自己等级,享受更多的金融服务。同时积分也可作为一种虚拟货币来来支付一些服务费用。例如李先生昨天就利用积分加上一部分费用,为自己预约了健康体检,由于体检机构服务很好,减少了李先生排队时间,他已经连续三年使用移动金融平台健康体检服务了,另外它还可以利用此服务为自己母亲进行预约医院挂号,不需要母亲到医院排长队挂号了。
上午李先生在移动金融平台预定了自己出差的旅店和机票,费用都由公司支付,但是赚取的积分归自己。中午有客户来到访,李先生需要预定一个吃饭的位置,他打开移动金融平台商户地图,选取餐饮服务,挑了一个有特色餐厅,看了看点评,最后在排队系统上面预约了一个号码,省去了中午吃饭排队的时间,如果李先生知道客户的口味,还可以将菜点好,并通过移动金融平台支付费用,又可以赚取不少积分了。下午李先生的太太打来电话,说暑假全家想去旅游,李先生登陆移动金融平台,了解了一下旅游产品,正好有一款刚刚推出的自助游产品适合他们全家,并且积分可以抵扣部分酒店费用,并且还支持分期付款。李先生立即订购了旅游服务,又有不少积分进帐。
晚上李先生登陆移动金融服务平台,为自己家的宝宝选了一个在线教育课程,利用积分先体验一次,如果宝宝喜欢就,就继续订购。李太太喜欢看话剧,这个周末正好有时间可以同她一起去看话剧,于是李先生在服务平台上顶了两张优惠票。睡觉前看到了平台上银行即将举办的家庭聚会,小孩子可以参加一些游戏活动,太太们可以分享一下厨艺,李先生可以同朋友们打打球,同时也听一下有关出国留学和夏令营的活动介绍,活动在两周后的周末举行,只需支付积分就可以报名,无需其他费用,李先生立即就报了名。
李先生之所以选择未来银行的移动金融服务平台,除了其服务平台可以提供物超所值的服务之外,主要的原因是移动金融平台设计简洁,用户体验很棒,移动金融平台上每一项金融服务最多只需要选择三次,不像其他网上银行出现的十多个菜单,几十个产品。李先生选择的移动金融平台只会出现三个大的图标,汇款、投资、服务。颜色、按钮形状以及视图,都可以依据李先生自己的喜好进行选择,目的就是体现一个时尚和酷,让李先生与众不同,彰显个性。常用的金融服务功能可以依据李先生的使用频率自动放到突出位置,采用醒目的字体和颜色。
移动金融服务平台的目标就是银行以客户为中心,为客户提供极致体验的金融服务。移动金融平台同大量优质的互联网服务合作,利用支付工具打通各种服务场景,渗透到客户的家庭娱乐、旅游度假、教育培训、健康服务、餐饮消费、娱乐游戏之中,增加客户粘稠度,帮助移动金融平台成为客户互联网消费行为的入口。
银行网点=极致体验+炫酷科技
王先生这两天一直在听朋友介绍说未来银行网点很酷,不像传统网点,环境冷冰地,办理业务时排队时间很长。王先生很久没有去银行网点了,正想体验一下,于是他先在移动平台上找到了离家近的网点,选了理财服务。移动平台里面有理财师的资历介绍,包含其历史业绩和客户评价,他选择了适合自己的理财师,并预约了时间。
王先生提前来到了网点,首先看到的是各种屏幕,顾客可以在大触摸屏面前选择自己需要的金融服务,填写电子表格,咨询相关问题,预约金融服务。大多数顾客在VTM机器前面办理存、取、汇业务,针对大额现金服务,银行服务屏幕提示可安排上门服务。银行的网点装修很现代,颜色搭配和空间布局更像一个休闲咖啡厅,让客户感到很亲切,顾客在开放的办公空间同银行的员工讨论需求,封闭的柜台仅仅面对大额现金交易。王先生刚进入网点,就被等候的客户经理热情地安排到了理财贵宾室,由他指定的理财师进行理财咨询,并针对王先生的投资风险偏好和资产情况,推荐三个方案,很快王先生就选定了适合自己的理财计划,20分钟之内办完了业务,愉快地离开了银行网点。
区别于过去的银行网点,未来金融网点利用酷炫科技来提高客户体验,改变了人们过去对银行网点的印象。在未来金融网点,客户很少看到冰冷的防盗窗,厚重的银行大门,忙碌的银行服务人员。客户看到的将是开放的服务柜台,温馨的环境,一对一的贴心服务,让客户感觉如同身处在自家的客厅。VTM设备屏幕上出现的永远是微笑的服务人员,通过生物识别装置、摄像头、专业后台服务人员VTM帮助客户短时间内完成服务。大尺寸触摸屏为客户提供金融服务咨询服务,通过互动了解客户需求,将金融产品的选择权从银行交给客户,提升了客户自我价值,提高客户体验。当客户进入服务大厅,客户经理手中的移动服务管理平台可以迅速提示,其是预约客户还是非预约客户,客户到网点的需求是什么,客户个人喜好等信息。客户经理将会客户提供专属的金融服务,体现了未来金融以客户为中心的服务精髓。
数据风险视图帮助银行定义风险偏好
孙行长作为主管企业信贷的支行行长,今天又有个老客户需要办一笔大额贷款,这个企业是他的老客户了,按照过去的经验,只要有抵押,银行就可以快速放款。但是孙行长习惯地打开了行内风险管理系统,调出了针对这个客户的风险管理视图,从资产负债表上看这个企业经营良好,但是从其他的维度却发现这家企业产品出现了严重的质量问题,几个大客户已经取消了订购合同,另外其产品在行业里已经缺少竞争力,未来市场需求将越来越小,这就意味着其企业未来发展风险较大。孙行长向客户打电话询问的一下其贷款用途,发现贷款是用于旧产品线扩大再生产的。最终孙行长果断地拒绝了客户的贷款申请,并友好地提醒客户其产品面临的问题,建议其引进新产品,银行愿意为参与其新产品的融资服务。
孙行长接下来处理另外一个企业贷款,从资产负债表上看出这个企业净资产较少,但是风险视图提示这个企业刚刚推出两个产品,吸引了大量的订单,其中包含银行的几个大客户,这个企业的产品具有较高的科技含量,毛利率高,有技术专利保护,行业技术壁垒较高。孙行长立即打电话咨询了这个企业的几个客户,在确认订单属实,产品领先的前提下,又通过风险管理试图调取了该企业管理人员的背景介绍和员工满意度调查表。下午孙行长还快速安排了一次现场调研,在确定风险可控的之后,两天内银行的资金到位,并且提供了额外白分之五十的授信额度。
在未来金融,银行将建立客户的风险视图,管理人员依靠风险视图可以快速识预见风险,识别风险,控制风险。数据分析将为银行提供新的风险纬度输入,提高银行预见未来风险的能力,科学定义自身风险偏好,帮助银行进行风险管理。未来金融的风险管理不仅仅是有效控制风险,还是为银行业务发展提供有力保障和支持。
数据分析报告为金融决策提供有效支持
张行长主管银行的资金业务,其刚刚接到了一个资金部门的电话,目前银行有空余头寸大概30亿元,有一个同业银行未来在两个月内需要拆借一笔80亿的资金,下属需问是否可以进行拆借,是否仅拆借30亿。张行长打开了风险管理系统,了解了未来银行的现金流,特别对房子抵押贷款视图进行了调阅,根据风险管理模型,在未来的两个月内,其行内的房产抵押的6 万个客户,有百分之八十的概率将提前还款,其还款的总金额可能最低不少于50个亿。张行长依据此信息,在资金管理系统里面批准了这项同行拆借的请求。两个月内其房地产抵押客户果然提还款70亿,银行顺利完成了同业拆借业务,客户提前还款的资金被及时利用,资金闲置时间减少了一个月,为银行增加资金的利息收入一千多万。
杨行长主持了银行月度例会时,各业务线的主管介绍了业务发展情况,其中一个业务主管要求增加农产品加工行业的贷款资金投入,主要由于农产品加工行业客户为了进行扩大再生产,提出了大量的贷款需求。杨行长咨询的数据事业部的主管,其给出了此行业发展报告,显示此行业产能过剩,其产量已经超过整体需求的百分之二十,原材料成本过高,利润空间大大压缩,农产品又具有不易长久保存的特点,因此数据事业部认为此行业风险较高,不建议增加贷款,对已有贷款需要重点观察。杨行长最后拒绝了在农产品加工行业继续增加贷款的请求。但根据数据事业部的另一份分析报告,增加了在工业机器人领域的贷款额度。
未来金融,重大行业的金融决策将会依赖行业发展调研报告,数据事业部提供的分析报告,将为金融决策提供数据支持;产业链金融服务、供应链金融服务将会以数据分析为基础,参考行业和企业发展趋势分析报告,做出正确的金融决策。在未来金融,数据分析将在预见市场风险和把握市场机会方面将起到更加重要的作用。(这里提到的数据分析是指大数据技术中的全局数据、高效数据和有价值的数据)
总之,未来金融之美体现在银行服务下沉,以客户为中心来建设银行网点,通过酷炫科技来提高客户体验,未来银行融入到客户日常社会生活中,为客户提供私人定制的金融服务。在未来金融,银行应向电商学习,充分利用大数据技术,建设数据管理平台,增加金融风险管理纬度,建立科学的风险视图,通过数据分析为金融决策提供有力支持。未来银行家不仅仅需要掌握综合的金融知识,还要了解数据分析工具,提高科学决策的能力。未来金融之美不仅仅体现在以客户为中心和数据驱动银行,更体现在如何利用科学技术来管理风险驾驭银行业务。

银行3.0时代:数据成为基础架构

唐半张 发表了文章 0 个评论 1403 次浏览 2015-10-19 10:28 来自相关话题

产品、渠道、客户、服务、技术、风险管理是银行竞争力集中表现,这六者缺一不可, ...查看全部

产品、渠道、客户、服务、技术、风险管理是银行竞争力集中表现,这六者缺一不可,并且相辅相成。在银行3.0时代,这六个方面在离不开数据,因此在继续银行3.0时代有关银行商业模式和竞争力的讨论前,将先会讨论数据,这里的数据不是指简单的数字,简单的量化,简单的统计。而是特指能够体现某些相关性的数据,具有商业价值的数据。业已认为,在银行3.0时代,数据将成为企业包括银行的核心竞争力之一。
银行的3.0时代数据成为基础架构
在讨论数据成为银行基础架构之前,先分享一下民生银行直销的案例:
直销银行已成为银行转型中的亮点
民生银行直销银行上线两个半月之后,其客户数已经达到35万户,资产规模超过140多亿元,这一成绩超出预期。民生银行直销银行2月28日正式上线,截至5月14日,民生银行直销银行有效客户数已达35万户,资产规模达140多亿。数据的构成或能更为直观地看到民生银行直销银行带来的突破。35万客户中,其中14万客户来自民生银行原有渠道,包括传统营业网点、手机银行等,在直销银行上线的第一个月,原有客户几乎占了全部;另有3万客户来自民生银行信用卡客户,16万客户来自中国电信翼支付客户,还有1万客户来自盛付通。要相对直观地衡量这一成绩,可以将其与一个支行网点对比。一个支行网点一年忙下来可能的增量也只有几万户。新增“外来户”占比正在逐步提高,5月13日一天,新增部分中仅有六分之一来自民生银行原有客户,其余全部为“外来客户”。这35万客户带来了140多亿元的资产,其中类余额宝产品“如意宝”占139亿元,活期存款1个多亿元,“随心存”3000多万元。140多亿元的资产中,仅有15亿元来自民生银行原有客户,其他均为“外来”客户,可见直销银行的强大竞争力。
数据证明了直销银行的竞争力,为民生银行直销银行发展提供数据支持
银行拥有大量的客户和交易数据,每天客户都在利用自己的资金进行交易,每个企业和客户商业行为,社会行为,个体行为在发过程中不可避免涉及金融交易,简单地说人们在价值创造和价值传递的过程中,金融需要是必不可少的。因此金融交易数据将会出现在大量社会场景中。银行掌握了这些数据,在未来的发展中,这些数据将发挥巨大的作用,利用这些数据可以分析其相关性、因果概率、风险定价、精准营销、客户管理,开发产品、拓展渠道、发现规律、建立模型等等。海量的数据分析将导致数据从量变到质变,基于商业需求,帮助银行提升竞争力和商业价值。
在阐述具体的数据分析理论先提出几个案例假设,来介绍数据为何可以创造价值,为何是银行未来发展的基础架构。
·信用卡精准营销
如果一个人在下午5点左右来加油,其可能有较大的概率在周围用餐,并且依据个人的过去的消费习惯,每次用餐费用不超过200元人民币,银行是否可以将周边符合客户消费习惯的餐馆推荐给他。并向商家收取部分费用,或者交换数据等等(来自于《大数据时代》维克托迈尔-舍恩伯格,肯尼思库克耶)
·贷款风险管理
如果银行依据数据发现,某个行业的人在35岁左右,收入将会大幅度提升,但是在55岁左右会大幅度下降,并且在32岁左右,大部分人需要贷款买房,并在38岁左右形成消费高峰,否银行可以依据此数据为此部分客人提供二十年期的住房贷贷款和消费贷款。
·企业融资需求
基于数据,一个企业每年都可以从一些大型企业收到货款,并且逐年增加,但是该企业帐面上的现金却逐渐减少,是否意味着这个企业正在扩张,但缺少资金支持,是否可以提高企业信用额度,并提供信用贷款等。
·季节消费信息
一些客户在每年某个月都会出去旅游,一些客户在某个月需要付钱给教育或培训机构,一些客户每年一段时间会支付一些费用给医疗机构。今年客户支付给学龄前教育机构的交易笔数相对去年有较大增长,今年客户支付到海滩旅游的交易笔数比去年有较大增长,客户买车的消费在过去几年一直在逐步增加等等这些都是具有商业价值的信息,无论对企业和银行,通过数据预知客户需要和消费趋势都是至关重要的。
·行业发展信息
用于房屋建设用的水泥、钢材、大型设备租赁等行业现金收入逐步减少是否意味着房地产行业出现了危机,是否要提高这个行业的风险等级。某一个市场份额占有巨大的公司将取消某个产品,未来主要生产另外一个产品,是否意味着旧产品的供应链厂商风险评级变换,现金流回出现变化,新产品的供应商是否可以提高风险评级,提供设备融资服务等。
以上的几个例子说明的数据如果加以利用,找出数据背后的价值,将会对银行的发展起到重要的作用。下面谈谈银行3.0时代如何进行数据价值挖掘和使用。由于本文仅仅用于阐述银行3.0,对大数据技术中基本概念不再介绍,重点阐述银行未来如何进行实践。
一、数据治理
一句经典的话,GarbageinGarbageout,数据质量没有保证。而保证数据质量,数据治理是必须的手段。数据如果需要体现价值则必须对数据进行统一定义,统一归口标准化,数据来源统一,汇总统一,数据覆盖全面。这里引用《DAMA数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。在有关数据的战略、组织、制度进行统一管理,将数据管理协同在一起,让银行的数据通过统一的视图展现。
二、数据分类
据分类属于数据治理范畴但是对其对数据挖掘十分重要,因此重点阐述,这里大部分采用数据治理专家。州利为软件合伙人,刘辰的分类方法。对于银行用户最重要的数据应分为基础数据(主数据),交易数据,参考数据,统计数据。元数据(metadata)由于太专业因此不再这里进行详细介绍
基础数据(主数据)
主要是指客户管理相关数据,记录了客户和企业的基本信息,包含个人企业识别信息,行业归类信息,客户主要特征信息,主要关注的是“人”和“物”,主数据管理(MDM)目的是建立统一视图,让客观世界里本是同一个人或物,在数据世界里也能做到唯一识别。
交易数据
主要是指银行系统或渠道中产生的交易行为,关注的是发生的事件,时间,地点、金额等,交易数据时BI分析的基础,
参考数据
主要是指交易行为发生原因,目的,金额、选择等是更细粒度的数据,是对“人”“事”“物”的某些属性进行规范性描述的,对参考数据的管理一般会与主数据管理同时进行,或与BI数据质量管理同时进行,因为指标维度和维值直接影响到BI数据质量;
元数据
一个包罗万象的概念,其本质是为数据提供描述,所以任何数据都有元数据。
统计分析数据(指标)
主要是在实施相关数据分析后产生的具有商业价值的数据,其来源主数据、交易数据、参考数据的商业化分析,体现为各种指标和报表的计算和展示。概率论,统计论很多知识用于此指标展示。
三、银行3.0时代数据特征
1.数据足够大并且覆盖范围广
银行3.0时代的数据分析中的数据来源因应覆盖各个纬度,数据来源的全面性将会对数据分析结果的覆盖范围和有效时间产生影响,数据来源可以基于客户,基于产品,基于交易时间,基于行业,基于交易类型等。样本空间足够大,数据充分,具有说服力。
2.数据隐私应受到保护
海量数据经过处理后可以体现商业价值,但是也是一把双刃剑,如果处理不好,将会造成客户隐私泄露,因此保护客户隐私成为重中之重。
3.数据用于相关性分析和战略支持
数据提供了具有价值的信息,但是绝对不能成为数据控,让数据来决定一切。数据只能作为一个产品或战略的辅助工具,来进行规律和趋势分析,起到辅助作用。产品开发、战略决策、风险管等等,都应该有具有经验和能力的金融专家来决定。千万不要让数据来决定,应为很多参考因素是不能被绝对量化的,需要人类的智慧来判断。数据分析虽然重要但是其仅仅是用于相关性分析,辅助因果分析的。银行3.0时代强调数据的重要,强调数据的价值,但是也更强调专业人才重要性。战略决策应由具有能力和胆识的银行专业人士决定,而不是数据。千万不要掉入数据统治的陷阱。
4.数据分析工具不同
银行3.0时代区别于以前的时代,面临的数据是海量的,非机构化的,相关性弱的数据。并且数据来源不仅仅来源于自身核心系统和产品渠道系统,还来源于移行互联网例如手机APP,客户LBS,客户社交行为,客户反馈,客户需求,以及外部购买的分析数据,外部提供的数据等等。面对如此复杂的数据,只能采用大数据的技术工具进行分析和计算。银行员工的大数据知识和思维至关重要。
既然谈到了大数据,就谈谈大数据时代典型了三种公司类型。
1)拥有大数据并且可以利用大数据的公司。例如Mastercard和亚马逊
2)大数据技术提供公司例如埃森哲,IBM
3)大数据思维公司例如goolge和Salefore
对于银行来讲在3.0时代,其是大数据掌控公司,但是必须借助于大数据技术公司的技术和产品,以及大数据思维来实现数据创造价值。银行业务人员和科技人员的产品的了解、商业逻辑、市场判断、风险管理专业知识、大数据思维都至关重要。
最后对本文进行一个总结
1.数据是未来银行的重要基础架构因为其可以帮助银行开发产品,提高风险管理能力,提升客户体验,降低成本,提升效率,进行决策支持。
2.数据应该覆盖全面,需要进行数分类和数据治理
3.在利用数据的同时,客户隐私的保护也同样重要
4.应具有大数据思维,采用专业数据公司的产品和技术,进行数据挖掘
5.数据的来源不局限于银行系统,还应来源于客户社交数据
6.认清数据的重要性,但是不让数据统治一切,其仅提供决策支持
7.数据主要用于规律,趋势等相关性分析,因果分析应取决于专业人士
本人并不是金融行业的专家和学者,完全是利用自己的一些金融常识,从业经验及互联网知识,基于自身爱好来进行创作。可以说是半个外行人士看内行发展。部分观点可能仅看到了一个点,没有系统地阐述,缺少扎实的金融知识作为支撑,只是从表面上来进行讨论,没有涉及到一些专业、本质的问题。欢迎阅读的人士提供宝贵的意见,我将查阅资料进行学习和提高

如何判断一笔交易是否属于欺诈 数据挖掘算法与现实生活中的应用案例

唐半张 发表了文章 0 个评论 1488 次浏览 2015-10-19 10:24 来自相关话题

相对于武汉,北京的秋来的真是早,九月初的傍晚,就能够感觉到丝丝丝丝丝丝的凉意。 最 ...查看全部

相对于武汉,北京的秋来的真是早,九月初的傍晚,就能够感觉到丝丝丝丝丝丝的凉意。
最近两件事挺有感觉的。
看某发布会,设计师李剑叶的话挺让人感动的。“**的设计是内敛和克制的…。希望设计成为一种,可以被忽略的存在感”。
其次,有感于不断跳Tone的妇科圣手,冯唐,“有追求、敢放弃”是他的标签。
“如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的著作是否出自某位名家之手”、“如何判断一个细胞是否属于肿瘤细胞”等等,这些问题似乎都很专业,都不太好回答。但是,如果了解一点点数据挖掘(Data Mining)的知识,你,或许会有柳暗花明的感觉。
的确,数据挖掘无处不在。它和生活密不可分,就像空气一样,弥漫在你的周围。但是,很多时候,你并不能意识到它。因此,它是陌生的,也是熟悉的。
本文,主要想简单介绍下数据挖掘中的算法,以及它包含的类型。然后,通过现实中触手可及的、活生生的案例,去诠释它的真实存在。一、数据挖掘的算法类型

一般来说,数据挖掘的算法包含四种类型,即分类、预测、聚类、关联。前两种属于有监督学习,后两种属于无监督学习,属于描述性的模式识别和发现。
(一)有监督学习
有监督的学习,即存在目标变量,需要探索特征变量和目标变量之间的关系,在目标变量的监督下学习和优化算法。例如,信用评分模型就是典型的有监督学习,目标变量为“是否违约”。算法的目的在于研究特征变量(人口统计、资产属性等)和目标变量之间的关系。
(1)分类算法
分类算法和预测算法的最大区别在于,前者的目标变量是分类离散型(例如,是否逾期、是否肿瘤细胞、是否垃圾邮件等),后者的目标变量是连续型。一般而言,具体的分类算法包括,逻辑回归、决策树、KNN、贝叶斯判别、SVM、随机森林、神经网络等。
(2)预测算法
预测类算法,其目标变量一般是连续型变量。常见的算法,包括线性回归、回归树、神经网络、SVM等。
(二)无监督学习
无监督学习,即不存在目标变量,基于数据本身,去识别变量之间内在的模式和特征。例如关联分析,通过数据发现项目A和项目B之间的关联性。例如聚类分析,通过距离,将所有样本划分为几个稳定可区分的群体。这些都是在没有目标变量监督下的模式识别和分析。
(1)聚类分析
聚类的目的就是实现对样本的细分,使得同组内的样本特征较为相似,不同组的样本特征差异较大。常见的聚类算法包括kmeans、系谱聚类、密度聚类等。
(2)关联分析
关联分析的目的在于,找出项目(item)之间内在的联系。常常是指购物篮分析,即消费者常常会同时购买哪些产品(例如游泳裤、防晒霜),从而有助于商家的捆绑销售。二、基于数据挖掘的案例和应用
上文所提到的四种算法类型(分类、预测、聚类、关联),是比较传统和常见的。还有其他一些比较有趣的算法分类和应用场景,例如协同过滤、异常值分析、社会网络、文本分析等。下面,想针对不同的算法类型,具体的介绍下数据挖掘在日常生活中真实的存在。下面是能想到的、几个比较有趣的、和生活紧密关联的例子。

(一)基于分类模型的案例
这里面主要想介绍两个案例,一个是垃圾邮件的分类和判断,另外一个是在生物医药领域的应用,即肿瘤细胞的判断和分辨。

(1)垃圾邮件的判别
邮箱系统如何分辨一封Email是否属于垃圾邮件?这应该属于文本挖掘的范畴,通常会采用朴素贝叶斯的方法进行判别。它的主要原理是,根据邮件正文中的单词,是否经常出现在垃圾邮件中,进行判断。例如,如果一份邮件的正文中包含“报销”、“发票”、“促销”等词汇时,该邮件被判定为垃圾邮件的概率将会比较大。
一般来说,判断邮件是否属于垃圾邮件,应该包含以下几个步骤。
第一,把邮件正文拆解成单词组合,假设某篇邮件包含100个单词。
第二,根据贝叶斯条件概率,计算一封已经出现了这100个单词的邮件,属于垃圾邮件的概率和正常邮件的概率。如果结果表明,属于垃圾邮件的概率大于正常邮件的概率。那么该邮件就会被划为垃圾邮件。
(2)医学上的肿瘤判断
如何判断细胞是否属于肿瘤细胞呢?肿瘤细胞和普通细胞,有差别。但是,需要非常有经验的医生,通过病理切片才能判断。如果通过机器学习的方式,使得系统自动识别出肿瘤细胞。此时的效率,将会得到飞速的提升。并且,通过主观(医生)+客观(模型)的方式识别肿瘤细胞,结果交叉验证,结论可能更加靠谱。
如何操作?通过分类模型识别。简言之,包含两个步骤。首先,通过一系列指标刻画细胞特征,例如细胞的半径、质地、周长、面积、光滑度、对称性、凹凸性等等,构成细胞特征的数据。其次,在细胞特征宽表的基础上,通过搭建分类模型进行肿瘤细胞的判断。
(二)基于预测模型的案例
这里面主要想介绍两个案例。即通过化学特性判断和预测红酒的品质。另外一个是,通过搜索引擎来预测和判断股价的波动和趋势。
(1)红酒品质的判断
如何评鉴红酒?有经验的人会说,红酒最重要的是口感。而口感的好坏,受很多因素的影响,例如年份、产地、气候、酿造的工艺等等。但是,统计学家并没有时间去品尝各种各样的红酒,他们觉得通过一些化学属性特征就能够很好地判断红酒的品质了。并且,现在很多酿酒企业其实也都这么干了,通过监测红酒中化学成分的含量,从而控制红酒的品质和口感。
那么,如何判断鉴红酒的品质呢?
第一步,收集很多红酒样本,整理检测他们的化学特性,例如酸性、含糖量、氯化物含量、硫含量、酒精度、PH值、密度等等。
第二步,通过分类回归树模型进行预测和判断红酒的品质和等级。
(2)搜索引擎的搜索量和股价波动
一只南美洲热带雨林中的蝴蝶,偶尔扇动了几下翅膀,可以在两周以后,引起美国德克萨斯州的一场龙卷风。你在互联网上的搜索是否会影响公司股价的波动?
很早之前,就已经有文献证明,互联网关键词的搜索量(例如流感)会比疾控中心提前1到2周预测出某地区流感的爆发。
同样,现在也有些学者发现了这样一种现象,即公司在互联网中搜索量的变化,会显著影响公司股价的波动和趋势,即所谓的投资者注意力理论。该理论认为,公司在搜索引擎中的搜索量,代表了该股票被投资者关注的程度。因此,当一只股票的搜索频数增加时,说明投资者对该股票的关注度提升,从而使得该股票更容易被个人投资者购买,进一步地导致股票价格上升,带来正向的股票收益。这是已经得到无数论文验证了的。
(三)基于关联分析的案例:沃尔玛的啤酒尿布
啤酒尿布是一个非常非常古老陈旧的故事。故事是这样的,沃尔玛发现一个非常有趣的现象,即把尿布与啤酒这两种风马牛不相及的商品摆在一起,能够大幅增加两者的销量。原因在于,美国的妇女通常在家照顾孩子,所以,她们常常会嘱咐丈夫在下班回家的路上为孩子买尿布,而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。沃尔玛从数据中发现了这种关联性,因此,将这两种商品并置,从而大大提高了关联销售。
啤酒尿布主要讲的是产品之间的关联性,如果大量的数据表明,消费者购买A商品的同时,也会顺带着购买B产品。那么A和B之间存在关联性。在超市中,常常会看到两个商品的捆绑销售,很有可能就是关联分析的结果。
(四)基于聚类分析的案例:零售客户细分
对客户的细分,还是比较常见的。细分的功能,在于能够有效的划分出客户群体,使得群体内部成员具有相似性,但是群体之间存在差异性。其目的在于识别不同的客户群体,然后针对不同的客户群体,精准地进行产品设计和推送,从而节约营销成本,提高营销效率。
例如,针对商业银行中的零售客户进行细分,基于零售客户的特征变量(人口特征、资产特征、负债特征、结算特征),计算客户之间的距离。然后,按照距离的远近,把相似的客户聚集为一类,从而有效的细分客户。将全体客户划分为诸如,理财偏好者、基金偏好者、活期偏好者、国债偏好者、风险均衡者、渠道偏好者等。

(五)基于异常值分析的案例:支付中的交易欺诈侦测
采用支付宝支付时,或者刷信用卡支付时,系统会实时判断这笔刷卡行为是否属于盗刷。通过判断刷卡的时间、地点、商户名称、金额、频率等要素进行判断。这里面基本的原理就是寻找异常值。如果您的刷卡被判定为异常,这笔交易可能会被终止。
异常值的判断,应该是基于一个欺诈规则库的。可能包含两类规则,即事件类规则和模型类规则。第一,事件类规则,例如刷卡的时间是否异常(凌晨刷卡)、刷卡的地点是否异常(非经常所在地刷卡)、刷卡的商户是否异常(被列入黑名单的套现商户)、刷卡金额是否异常(是否偏离正常均值的三倍标准差)、刷卡频次是否异常(高频密集刷卡)。第二,模型类规则,则是通过算法判定交易是否属于欺诈。一般通过支付数据、卖家数据、结算数据,构建模型进行分类问题的判断。
(六)基于协同过滤的案例:电商猜你喜欢和推荐引擎
电商中的猜你喜欢,应该是大家最为熟悉的。在京东商城或者亚马逊购物,总会有“猜你喜欢”、“根据您的浏览历史记录精心为您推荐”、“购买此商品的顾客同时也购买了**商品”、“浏览了该商品的顾客最终购买了**商品”,这些都是推荐引擎运算的结果。
这里面,确实很喜欢亚马逊的推荐,通过“购买该商品的人同时购买了**商品”,常常会发现一些质量比较高、较为受认可的书。
一般来说,电商的“猜你喜欢”(即推荐引擎)都是在协同过滤算法(Collaborative Filter)的基础上,搭建一套符合自身特点的规则库。即该算法会同时考虑其他顾客的选择和行为,在此基础上搭建产品相似性矩阵和用户相似性矩阵。基于此,找出最相似的顾客或最关联的产品,从而完成产品的推荐。
(七)基于社会网络分析的案例:电信中的种子客户
种子客户和社会网络,最早出现在电信领域的研究。即,通过人们的通话记录,就可以勾勒出人们的关系网络。电信领域的网络,一般会分析客户的影响力和客户流失、产品扩散的关系。
基于通话记录,可以构建客户影响力指标体系。采用的指标,大概包括如下,一度人脉、二度人脉、三度人脉、平均通话频次、平均通话量等。基于社会影响力,分析的结果表明,高影响力客户的流失会导致关联客户的流失。其次,在产品的扩散上,选择高影响力客户作为传播的起点,很容易推动新套餐的扩散和渗透。
此外,社会网络在银行(担保网络)、保险(团伙欺诈)、互联网(社交互动)中也都有很多的应用和案例。

(八)基于文本分析的案例
这里面主要想介绍两个案例。一个是类似“扫描王”的APP,直接把纸质文档扫描成电子文档。相信很多人都用过,这里准备简单介绍下原理。另外一个是,江湖上总是传言红楼梦的前八十回和后四十回,好像并非都是出自曹雪芹之手,这里面准备从统计的角度聊聊。
(1)字符识别:扫描王APP
手机拍照时会自动识别人脸,还有一些APP,例如扫描王,可以扫描书本,然后把扫描的内容自动转化为word。这些属于图像识别和字符识别(Optical Character Recognition)。图像识别比较复杂,字符识别理解起来比较容易些。
查找了一些资料,字符识别的大概原理如下,以字符S为例。
第一,把字符图像缩小到标准像素尺寸,例如12*16。注意,图像是由像素构成,字符图像主要包括黑、白两种像素。
第二,提取字符的特征向量。如何提取字符的特征,采用二维直方图投影。就是把字符(12*16的像素图)往水平方向和垂直方向上投影。水平方向有12个维度,垂直方向有16个维度。这样分别计算水平方向上各个像素行中黑色像素的累计数量、垂直方向各个像素列上的黑色像素的累计数量。从而得到水平方向12个维度的特征向量取值,垂直方向上16个维度的特征向量取值。这样就构成了包含28个维度的字符特征向量。
第三,基于前面的字符特征向量,通过神经网络学习,从而识别字符和有效分类。
(2)文学著作与统计:红楼梦归属
这是非常著名的一个争论,悬而未决。对于红楼梦的作者,通常认为前80回合是曹雪芹所著,后四十回合为高鹗所写。其实主要问题,就是想确定,前80回合和后40回合是否在遣词造句方面存在显著差异。
这事让一群统计学家比较兴奋了。有些学者通过统计名词、动词、形容词、副词、虚词出现的频次,以及不同词性之间的相关系做判断。有些学者通过虚词(例如之、其、或、亦、了、的、不、把、别、好),判断前后文风的差异。有些学者通过场景(花卉、树木、饮食、医药与诗词)频次的差异,来做统计判断。总而言之,主要通过一些指标量化,然后比较指标之间是否存在显著差异,藉此进行写作风格的判断。

量化派基于Hadoop、Spark、Storm的大数据风控架构

唐半张 发表了文章 0 个评论 1663 次浏览 2015-10-19 10:23 来自相关话题

为了满足日益增长变化的业务,量化派在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,采用了Hadoop、Spark、Storm等热门的开源大数据计算引擎。 量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用 ...查看全部
为了满足日益增长变化的业务,量化派在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,采用了Hadoop、Spark、Storm等热门的开源大数据计算引擎。
量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性,但是目前中国对于个人方面的征信行业发展落后于欧美国家,个人消费金融的需求没有得到很好的满足。按照央行最新数据,目前央行征信中心的数据覆盖人口达到8亿人[1],但其中有实际征信记录的只有3亿人左右,有5亿人在征信系统中只是一个身份证号码。此外,我国还有5亿人跟银行从来没有信贷交易关系,这5亿人对金融部门来说是陌生人。这样算下来,有征信记录的人只占到全国人口数的23.7%,远低于美国征信体系对人口的85%的覆盖率。如何在信用记录缺失的情况下,做好多个人用户的风险定价,是个棘手的难题。量化派通过基于机器学习和互联网化的风险定价,整合互联网及传统数据源,对个人在消费金融应用场景里的信用风险进行评估。这篇文章就主要介绍一下量化派的大数据平台,以及机器学习在量化派的应用。一、互联网化的风控创新
量化派及“信用钱包”的核心任务是让用户可以凭借其良好的信用,而无需抵押或者担保就可以贷款。也就是说,用户仅凭信用即可开启财富之门。为了达到这个目的,信用钱包需要把用户个性化的需求与信贷产品信息精准匹配到一起。在帮助用户找到合适自己的信贷产品的同时,也帮助信贷产品公司找到了最合适的贷款用户,从而实现信贷消费者和信贷产品提供者的双赢。为了确保贷款的高成功率,为了更好的掌握用户需求以及对个人进行信用评级,我们需要大数据平台的支持。
目前,可以接入央行征信中心的金融机构仅仅只有银行、持牌照的第三方征信服务商以及部分地区的小贷公司,绝大多数的P2P平台还无法接入央行的征信数据,这无疑加大了P2P平台的风控难度。在征信思路上,传统征信是用昨天的信用记录来判断今天的信用价值,这未见得就是最合理的。在征信技术上,传统的方法是从线下采集信用数据,效率比较低。可以说,传统的线下征信技术限制了数据来源和信用评估思路,而互联网的技术、工具和思维则具备了改变这一切的可能性。回归到征信的本质,其实就在于解决两方面问题:信用能力和信用意愿,换而言之,即解决个人的还款能力和还款意愿,再追根溯源一点,即解决坏账和逾期两个问题[2]。量化派公司基于大数据的用户征信和传统征信殊途同归,所不同的是,传统征信中,数据依赖于银行信贷数据,而大数据征信的数据并不仅仅包括传统的信贷数据,同时也包括了与消费者还款能力、还款意愿相关的一些描述性风险特征,这些相关性描述风险特征的抽取与筛选是量化派的技术核心。相比于传统征信数据的强相关性,这些大数据征信的数据与消费者的信用状况相关性较弱,量化派就利用大数据技术,通过用户授权等方法搜集了更多的数据维度来加强这些弱相关数据的描述能力。这样就使大数据征信不依赖于传统信贷数据,就可以对传统征信无法服务的人群进行征信,实现对整个消费者人群的覆盖[3]。我们的数据来源如下图所示:

图一 量化派的数据来源二、量化派的大数据平台架构
量化派的信用钱包每天都会获取大量的用户的注册信息等结构化数据以及爬虫抓取的非结构化数据,还有第三方的接入数据,系统运行产生的日志数据等等,数据的形式多种多样,如何保护好、利用好这些数据,是公司重中之重的任务。量化派的业务也决定了公司是数据驱动型的。为了更好的满足公司日益增长变化的业务,在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,对数据平台中采用的开源软件进行了深度应用开发,同时还开发了很多契合业务需求的工具软件,很好的支撑我们去实现普惠金融的理想。量化派公司的数据平台架构如图二所示。

图二 量化派的数据平台架构
相比我国的网民数量,信贷用户只占其中的一小部分,所以我司产品的用户基数并不是非常大,但是,为了给信贷用户更准确的信用评级,对于每个信贷用户我们都会从多个渠道获取大量的有效数据,这些数据聚合起来也是海量数据规模。公司发展伊始,几乎将所有的数据都存放在Mysql关系数据库中,工程师使用标准SQL语句来存储或者调用数据资源。Mysql很快就遇到了性能瓶颈,虽然可以通过不停地优化整个Mysql集群以应对数据的快速增长,但是面对复杂的数据业务需求,Mysql显然无法提供最优的解决方案。所以我司最终决定将数据迁移到大数据平台上,Mysql仅用来存储需要经常变化的状态类数据。除了系统运行日志直接存放在HDFS之中,大量的数据利用HBase来进行管理。HBase中的数据按照不同的数据源存放在不同的表中,每张表按照业务和存储需求对rowkey进行精心设计,确保海量数据中查询所需数据毫秒级返回。
根据业务的不同特点,对于常规的数据ETL处理,我们使用MapReduce[4]框架来完成;BI和数据挖掘这些工作都放到了Spark[5]上。这样一来,依赖不同任务或不同计算框架间的数据共享情况在所难免,例如Spark的分属不同Stage的两个任务,或Spark与MapReduce框架的数据交互。在这种情况下,一般就需要通过磁盘来完成数据交换,而这通常是效率很低的。为了解决这个问题,我们引入了Tachyon[6]中间层,数据交换实际上在内存中进行了。而且,使用了Tachyon之后还解决了Spark任务进程崩溃后就要丢失进程中的所有数据的问题,因为此时数据都在Tachyon里面了,从而进一步提升了Spark的性能。Tachyon自身也具有较强的容错性,Tachyon集群的master通过ZooKeeper[7]来管理,down机时会自动选举出新的leader,并且worker会自动连接到新的leader上。
多维度的征信大数据可以使得量化派可以融合多源信息,采用了先进机器学习的预测模型和集成学习的策略,进行大数据挖掘。不完全依赖于传统的征信体系,即可对个人消费者从不同的角度进行描述和进一步深入地量化信用评估。公司开发了多个基于机器学习的分析模型,对每位信贷申请人的数千条数据信息进行分析,并得出数万个可对其行为做出测量的指标,这些都在数秒之内完成。三、不同场景的机器学习方法
上部分说到量化派首先需要对用户进行信用风险的评估,为了让用户可以仅凭信用,而无需抵押和担保就可贷款成功。美国有着很完善的征信体系,以及成熟的信用评估系统。通过几十年的发展,美国的三大征信局[8]对85%的公民有着详细的信用记录:包括信用卡,房贷,以往的住址,工作等情况都有记录在案。而且在找工作,租房时候也会查询个人信用记录,如果有违约等不良行为也会反馈给征信局。Fair Issac公司的FICO评分是业界应用最为广泛的评分,是建立在详细的个人征信记录上的预测系统。FICO从最开始的用图表画出的评分,到后来演化为logistic regression类的回归算法,用来预测用户在未来一段时间内违约的可能性。近年来,在predictive analytics 方面的发展,deep learning 在supervised learning里面得到了广泛应用。
中国由于在征信方面的数据缺失,需要通过更为自由的模式来创新和跨越式发展。宜信[9]作为国内最大的p2p机构,拥有多年的业务积累,以及一流的风控团队。传统上是通过线下风控的手段,对用户进行详尽的背景调查。收集用户的资料例如他们有的曾提交过信用报告、联系人信息、教育水平、工资单、银行流水等一系列传统征信数据。这样的贷款审核流程耗时较长,贷款申请人往往需要少则几天,多则数月的等待。时间成本过大,流程繁琐,是用户痛点所在,造成了潜在贷款用户的大量流失。提高审核效率,优化贷款流程,把申请人贷款体验做到极致,最终做到极速放贷是大势所趋。到目前,宜信也开始从传统的线下业务,开始往线上做业务拓展,宜信的瞬时贷通过大数据进行实时授信,用户授权系统读取信用卡账单邮箱、电商、运营商相关记录信息,得到有关你性格、消费偏好的个人画像。同时进行交叉验证形成风控机制,进而计算出每一个用户的风险评分,最终判断是否应该放款,以及该用户的授信额度、 还款周期等并最快达到10分钟放款。另外,蚂蚁金服的芝麻信用[10],根据个人淘宝、支付宝等交易数据以及其他授权数据,对个人进行信用评分。芝麻信用综合考虑了个人用户的信用历史,行为偏好,履约能力,身份特质,人脉关系等五个纬度的信息得出的。于此同时,腾讯系的腾讯征信都会考虑到一些信贷之外的一些信息。除了微信支付、QQ钱包绑定的银行卡外,腾讯还能够从更大范围获取数据,比如很多银行都在微信上开通了公众号,向用户发送消费数据;微信的社交状况也能够对个人的资质进行有效的评估。
量化派对用户的信息整合也包括了用户的社交信息,不光包含了用户的画像 (性别、职业、爱好等等),也包含了用户之间的关系。如果说每个人是图中的一个节点,那么人与环境所形成的关系就是两点间的线。当把“点和线”综合起来分析时,我们对个人的性格特征、信用状况、财富属性都会有更深层、更全面的理解。Google 的 PageRank 算法考虑到了web页面的相关性来提高页面的质量,例如权重高的页面指向链接的页面对应的权重相对来说会比较高。类似来说,信贷风险低的用户的常用联系人的小圈子,个人资质的也应该是比较好的。
另一个方面,“信用钱包”需要把用户个性化的需求与信贷产品信息精准匹配到一起。帮助用户找到合适自己的信贷产品,实现信贷消费者和信贷产品提供者的双赢。我们对信贷产品向用户做了基于协同过滤的和基于产品信息匹配的推荐。在对用户做了较为准确的信用评价之后,我们的分发平台(如图三所示)会根据贷款用户的贷款需求来分派给相应的贷款产品,这样就出现了一个客户面对多款信贷产品的情况。我们会根据批贷额度、贷款利率、承诺放款速度等因素在多个信贷产品中选出最适合用户的产品。

图三 分单平台系统四、美国的风控系统案例
打造一流的风控系统不是光靠数据分析师团队能够做到的,整个风控是需要在公司的DNA里面。美国的Capital One是最早利用大数据分析来判断个人借款还款概率的公司,本文的作者都曾经在Capital One 工作过,并在金融危机发生的时候也在那边,目睹了他是如何发展壮大成第五大银行的。在危机开始的时候,非常果断的把有潜在问题的GreenPoint Mortgage整体出售,并在危机发生的时候,谨慎挑战风险政策来控制风险,并在危机发生的时候以非常低廉的价格收购华盛顿地区的Chevy Chase 银行, ING Direct, HSBC Card北美分部。并完善其Local Banking, Global Lending的策略。
Capital One的风控系统是通过多年的积累和演变而形成的。Capital One 的 Analytics 部门里面分为几个种类,Data Analyst, Business Analyst, Statistician/Modeler. 不仅仅是分析师专注的做模型,做风控来对模型进行大数据分析。所有的决策者,包括商务的总监,运营副总等,所有的决策都会有大量的数据分析,模型策略做支撑。
Capital One在各个业务部门都有很多的决策引擎和模型来支撑。在获取用户时,根据不同的业务线prime, subprime, 汽车金融等,有专门的 customer model,risk model等。在用户关系管理方面,有cross-sell model, customer contact model等。除此还有专门的反欺诈模型,包含identify-fraud model, payment fraud model等等。不同的业务线有着这么多种类的模型,对于这些模型的监管也都是有一套系统的流程的。对于每个模型,模型开发人员会对模型开发写出详细的文档,有着一套类似于code review, unit test的检验机制。公司层面,部门设有专门的中高级别scoring officer (模型官), 负责定期对模型进行监管和监测。除了对于整体模型的效果的监管,整体评分的分布的稳定性;还包括在变量层面的监管,监测模型的重要变量的稳定性。 Capital One 用到的大量征信局的数据和在自身平台上沉淀的用户数据,根据以往的用户的个人行为和违约记录,建立的用户风险决策模型对用户进行评估,模型的效果会比FICO分数高40%以上。
面向个人消费的风控体系的搭建是一个长期的,系统的工程。在中国目前的市场情况,缺失的个人信用风险和高速发展的互联网金融,以及未被满足的普惠金融需求是十分矛盾的。移动互联网时代的到来,对个人风险评估带来了崭新的视角。大数据平台和机器学习的结合能够带来多样化的创新,量化派的使命就是通过这两者的结合来服务互联网金融机构,降低全行业的风险。

从银行、保险到证券,揭开大数据在金融行业的应用

唐半张 发表了文章 0 个评论 1567 次浏览 2015-10-19 10:20 来自相关话题

数据显示,中国大数据IT应用投资规模以五大行业最高,其中以互联网行业占比最高,占大数据IT应用投资规模的28.9%,其次是电信领域(19.9%),第三为金融领域(17.5%),政府和医疗分别为第四和第五。 ...查看全部
数据显示,中国大数据IT应用投资规模以五大行业最高,其中以互联网行业占比最高,占大数据IT应用投资规模的28.9%,其次是电信领域(19.9%),第三为金融领域(17.5%),政府和医疗分别为第四和第五。

根据国际知名咨询公司麦肯锡的报告显示:在大数据应用综合价值潜力方面,信息技术、金融保险、政府及批发贸易四大行业潜力最高高。具体到行业内每家公司的数据量来看,信息、金融保险、计算机及电子设备、公用事业四类的数据量最大。
不同行业应用大数据技术潜在价值评估

数据来源:麦肯锡《大数据的下一个前沿:创新、竞争和生产力》报告
可以看出,无论是投资规模和应用潜力,信息行业(互联网和电信)和金融行业都是大数据应用的重点行业。由于上一篇《BAT互联网企业大数据应用》已经重点介绍了互联网行业的大数据应用情况,本文将讲点介绍行金融行业大数据应用情况,下一篇文章将重点介绍电信行业的大数据应用情况。
金融行业大数据应用投资分布

从投资结构上来看,银行将会成为金融类企业中的重要部分,证券和保险分列第二和第三位。接下来,我们将分别介绍银行、保险和证券行业的大数据应用情况。Part1 银行大数据应用
国内不少银行已经开始尝试通过大数据来驱动业务运营,如中信银行信用卡中心使用大数据技术实现了实时营销,光大银行建立了社交网络信息数据库,招商银行则利用大数据发展小微贷款。总的来看银行大数据应用可以分为四大方面:
第一方面:客户画像应用。
客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等;企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是,银行拥有的客户信息并不全面,基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如,如果某位信用卡客户月均刷卡8次,平均每次刷卡金额800元,平均每年打4次客服电话,从未有过投诉,按照传统的数据分析,该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博,得到的真实情况是:工资卡和信用卡不在同一家银行,还款不方便,好几次打客服电话没接通,客户多次在微博上抱怨,该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据,更应考虑整合外部更多的数据,以扩展对客户的了解。包括:
1)客户在社交媒体上的行为数据(如光大银行建立了社交网络信息数据库)。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图,从而进行更为精准的营销和管理;
(2)客户在电商网站的交易数据,如建设银行则将自己的电子商务平台和信贷业务结合起来,阿里金融为阿里巴巴用户提供无抵押贷款,用户只需要凭借过去的信用即可;
(3)企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据,可以更好掌握企业的外部环境发展情况,从而可以预测企业未来的状况;
(4)其他有利于扩展银行对客户兴趣爱好的数据,如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。第二方面:精准营销。
在客户画像的基础上银行可以有效的开展精准营销,包括:
(1)实时营销。实时营销是根据客户的实时状态来进行营销,比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销(某客户采用信用卡采购孕妇用品,可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务);或者将改变生活状态的事件(换工作、改变婚姻状况、置居等)视为营销机会;
(2)交叉营销。即不同业务或产品的交叉推荐,如招商银行可以根据客户交易记录分析,有效地识别小微企业客户,然后用远程银行来实施交叉销售;
(3)个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐,如根据客户的年龄、资产规模、理财偏好等,对客户群进行精准定位,分析出其潜在金融服务需求,进而有针对性的营销推广
(4)客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型,对流失率等级前20%的客户发售高收益理财产品予以挽留,使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。第三方面:风险管控。包括中小企业贷款风险评估和欺诈交易识别等手段。
(1)中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析,量化企业的信用额度,更有效的开展中小企业贷款。
(2)实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式(如转账)等,结合智能规则引擎(如从一个不经常出现的国家为一个特有用户转账或从一个不熟悉的位置进行在线交易)进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪,摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯第四方面:运营优化。
(1)市场和渠道分析优化。通过大数据,银行可以监控不同市场推广渠道尤其是网络渠道推广的质量,从而进行合作渠道的调整和优化。同时,也可以分析哪些渠道更适合推广哪类银行产品或者服务,从而进行渠道推广策略的优化。
(2)产品和服务优化:银行可以将客户行为转化为信息流,并从中分析客户的个性特征和风险偏好,更深层次地理解客户的习惯,智能化分析和预测客户需求,从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析,通过对还款数据挖掘比较区分优质客户,根据客户还款数额的差别,提供差异化的金融产品和服务方式。
(3)舆情分析:银行可以通过爬虫技术,抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息,并通过自然语言处理技术进行正负面判断,尤其是及时掌握银行以及银行产品和服务的负面信息,及时发现和处理问题;对于正面信息,可以加以总结并继续强化。同时,银行也可以抓取同行业的银行正负面信息,及时了解同行做的好的方面,以作为自身业务优化的借鉴。Part2 保险行业大数据应用
过去,由于保险行业的代理人的特点,所以在传统的个人代理渠道,代理人的素质及人际关系网是业务开拓的最为关键因素,而大数据在在新客户开发和维系中的作用就没那么突出。但随着互联网、移动互联网以及大数据的发展,网络营销、移动营销和个性化的电话销售的作用将会日趋显现,越来越多的保险公司注意到大数据在保险行业中的作用。总的来说,保险行业的大数据应用可以分为三大方面:客户细分及精细化营销、欺诈行为分析和精细化运营。
第一方面:客户细分和精细化营销
(1)客户细分和差异化服务。风险偏好是确定保险需求的关键。风险喜好者、风险中立者和风险厌恶者对于保险需求有不同的态度。一般来讲,风险厌恶者有更大的保险需求。在客户细分的时候,除了风险偏好数据外,要结合客户职业、爱好、习惯、家庭结构、消费方式偏好数据,利用机器学习算法来对客户进行分类,并针对分类后的客户提供不同的产品和服务策略。
(2)潜在客户挖掘及流失用户预测。保险公司可通过大数据整合客户线上和线下的相关行为,通过数据挖掘手段对潜在客户进行分类,细化销售重点。通过大数据进行挖掘,综合考虑客户的信息、险种信息、既往出险情况、销售人员信息等,筛选出影响客户退保或续期的关键因素,并通过这些因素和建立的模型,对客户的退保概率或续期概率进行估计,找出高风险流失客户,及时预警,制定挽留策略,提高保单续保率。
(3)客户关联销售。保险公司可以关联规则找出最佳险种销售组合、利用时序规则找出顾客生命周期中购买保险的时间顺序,从而把握保户提高保额的时机、建立既有保户再销售清单与规则,从而促进保单的销售。除了这些做法以外,借助大数据,保险业可以直接锁定客户需求。以淘宝运费退货险为例。据统计,淘宝用户运费险索赔率在50%以上,该产品对保险公司带来的利润只有5%左右,但是有很多保险公司都有意愿去提供这种保险。因为客户购买运费险后保险公司就可以获得该客户的个人基本信息,包括手机号和银行账户信息等,并能够了解该客户购买的产品信息,从而实现精准推送。假设该客户购买并退货的是婴儿奶粉,我们就可以估计该客户家里有小孩,可以向其推荐关于儿童疾病险、教育险等利润率更高的产品。
(4)客户精准营销。在网络营销领域,保险公司可以通过收集互联网用户的各类数据,如地域分布等属性数据,搜索关键词等即时数据,购物行为、浏览行为等行为数据,以及兴趣爱好、人脉关系等社交数据,可以在广告推送中实现地域定向、需求定向、偏好定向、关系定向等定向方式,实现精准营销。第二方面:欺诈行为分析
基于企业内外部交易和历史数据,实时或准实时预测和分析欺诈等非法行为,包括医疗保险欺诈与滥用分析以及车险欺诈分析等。
(1)医疗保险欺诈与滥用分析。医疗保险欺诈与滥用通常可分为两种,一是非法骗取保险金,即保险欺诈;另一类则是在保额限度内重复就医、浮报理赔金额等,即医疗保险滥用。保险公司能够利用过去数据,寻找影响保险欺诈最为显著的因素及这些因素的取值区间,建立预测模型,并通过自动化计分功能,快速将理赔案件依照滥用欺诈可能性进行分类处理。
(2)车险欺诈分析。保险公司够利用过去的欺诈事件建立预测模型,将理赔申请分级处理,可以很大程度上解决车险欺诈问题,包括车险理赔申请欺诈侦测、业务员及修车厂勾结欺诈侦测等。第三方面:精细化运营
(1)产品优化,保单个性化。过去在没有精细化的数据分析和挖掘的情况下,保险公司把很多人都放在同一风险水平之上,客户的保单并没有完全解决客户的各种风险问题。但是,保险公司可以通过自有数据以及客户在社交网络的数据,解决现有的风险控制问题,为客户制定个性化的保单,获得更准确以及更高利润率的保单模型,给每一位顾客提供个性化的解决方案。
(2)运营分析。基于企业内外部运营、管理和交互数据分析,借助大数据台,全方位统计和预测企业经营和管理绩效。基于保险保单和客户交互数据进行建模,借助大数据平台快速分析和预测再次发生或者新的市场风险、操作风险等。
(3)代理人(保险销售人员)甄选。根据代理人员(保险销售人员)业绩数据、性别、年龄、入司前工作年限、其它保险公司经验和代理人人员思维性向测试等,找出销售业绩相对最好的销售人员的特征,优选高潜力销售人员。Part3 证券行业大数据应用
大数据时代,券商们已意识到大数据的重要性,券商对于大数据的研究与应用正在处于起步阶段,相对于银行和保险业,证券行业的大数据应用起步相对较晚。目前国内外证券行业的大数据应用大致有以下三个方向:第一方面:股价预测
2011年5月英国对冲基金Derwent Capital Markets建立了规模为4000 万美金的对冲基金,该基金是首家基于社交网络的对冲基金,该基金通过分析Twitter 的数据内容来感知市场情绪,从而指导进行投资。利用 Twitter 的对冲基金 Derwent Capital Markets 在首月的交易中确实盈利了,其以1.85%的收益率,让平均数只有0.76%的其他对冲基金相形见绌。
麻省理工学院的学者,根据情绪词将twitter内容标定为正面或负面情绪。结果发现,无论是如“希望”的正面情绪,或是“害怕”、“担心”的负面情绪,其占总twitter内容数的比例,都预示着道琼斯指数、标准普尔500指数、纳斯达克指数的下跌;
美国佩斯大学的一位博士则采用了另外一种思路,他追踪了星巴克、可口可乐和耐克三家公司在社交媒体上的受欢迎程度,同时比较它们的股价。他们发现,Facebook上的粉丝数、Twitter 上的听众数和 Youtude 上的观看人数都和股价密切相关。另外,品牌的受欢迎程度,还能预测股价在10天、30天之后的上涨情况。
但是,Twitter 情绪指标,仍然不可能预测出会冲击金融市场的突发事件。例如,在2008年10月13号,美国联邦储备委员会突然启动一项银行纾困计划,令道琼斯指数反弹,而3天前的Twitter相关情绪指数毫无征兆。而且,研究者自己也意识到,Twitter 用户与股市投资者并不完全重合,这样的样本代表性有待商榷,但仍无法阻止投资者对于新兴的社交网络倾注更多的热情。第二,客户关系管理
(1)客户细分。通过分析客户的账户状态(类型、生命周期、投资时间)、账户价值(资产峰值、资产均值、交易量、佣金贡献和成本等)、交易习惯(周转率、市场关注度、仓位、平均持股市值、平均持股时间、单笔交易均值和日均成交量等)、投资偏好(偏好品种、下单渠道和是否申购)以及投资收益(本期相对和绝对收益、今年相对和绝对收益和投资能力等),来进行客户聚类和细分,从而发现客户交易模式类型,找出最有价值和盈利潜力的客户群, 以及他们最需要的服务, 更好地配置资源和政策, 改进服务,抓住最有价值的客户。
(2)流失客户预测。券商可根据客户历史交易行为和流失情况来建模从而预测客户流失的概率。如2012年海通证券自主开发的“给予数据挖掘算法的证券客户行为特征分析技术”主要应用在客户深度画像以及基于画像的用户流失概率预测。通过对海通100多万样本客户、半年交易记录的海量信息分析,建立了客户分类、客户偏好、客户流失概率的模型。该项技术最大初衷是希望通过客户行为的量化分析,来测算客户将来可能流失的概率。第三,投资景气指数。
2012年,国泰君安推出了“个人投资者投资景气指数”(简称3I指数),通过一个独特的视角传递个人投资者对市场的预期、当期的风险偏好等信息。国泰君安研究所对海量个人投资者样本进行持续性跟踪监测,对账本投资收益率、持仓率、资金流动情况等一系列指标进行统计、加权汇总后得到的综合性投资景气指数。
3I指数通过对海量个人投资者真实投资交易信息的深入挖掘分析,了解交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。在样本选择上,选择资金100万元以下、投资年限5年以上的中小投资者,样本规模高达10万,覆盖全国不同地区,所以,这个指数较为有代表性。在参数方面,主要根据中小投资者持仓率的高低、是否追加资金、是否盈利这几个指标,来看投资者对市场是乐观还是悲观。“3I指数”每月发布一次,以100为中间值,100—120属于正常区间,120以上表示趋热,100以下则是趋冷。从实验数据看,从2007年至今,“3I指数”的涨跌波动与上证指数走势拟合度相当高。
下图是2012年1月到2014年2月的3I指数(虚线)和上证综指运行(实线)走势图,注:3I指标在80以下表明个人投资者的投资景气度“低迷”,100以下表明“趋冷”。

资料来源:国泰君安
总的来看,大数据在金融行业的应用起步比互联网行业稍晚,其应用深度和广度还有很大的扩展空间。金融行业的大数据应用依然有很多的障碍需要克服,比如银行企业内各业务的数据孤岛效应严重、大数据人才相对缺乏以及缺乏银行之外的外部数据的整合等问题。可喜的是,金融行业尤其是以银行的中高层对大数据渴望和重视度非常高,相信在未来的两三年内,在互联网和移动互联网的驱动下,金融行业的大数据应用将迎来突破性的发展。

大数据在金融行业的应用

唐半张 发表了文章 0 个评论 1318 次浏览 2015-10-19 10:17 来自相关话题

一:风险控制(贷款偿还预测和客户信用评价) 有 ...查看全部

一:风险控制(贷款偿还预测和客户信用评价)
有很多因素会对货款偿还效能和客户信用等级计算产生不同程度的影响。数据挖掘的方法,如特征选择和属性相关性计算,有助于识别重要的因素和非相关因素。例如,与货款偿还风险相关的因素,包括货款率、资款期限、负债率、偿还与收入(payment—to—income)比率、客户收入水平、受教育程度、居住地区、信用历史等等。而其中偿还与收入比率是主导因素,受教育水平和负债率则不是。银行可以据此调整货款发放政策,以便将货款发放给那些曾被拒绝、但根据关键因素分析、其基本信息显示是相对低风险的申请者。
二:交叉销售(业务关联分析)
通过关联分析可找出数据库中隐藏的关联网,银行存储了大量的客户交易信息,可对客户的收入水平、消费习惯、购买物品等指标进行挖掘分析,找出客户的潜在需求;并对各个理财产品进行交叉分析,找出关联性较强的产品,从而对客户进行有针对性的关联营销,提高银行业绩。
三:客户市场细分
根据银行大量的客户资料以及客户存储款情况,利用有效的聚类或者协同过滤,将客户有效地划分为不同的组,使得具有相同存储和贷款行为的客户分为一组,从而可以对每一组总结各自每个组的特点,对每个组开展有针对性活动。
此外,针对不同的客户类型(例如大客户类型,潜在价值高,但是忠诚度很难保持)设计出量体裁衣的产品组合、沟通方式,以及客户服务,从而达到提高客户忠诚度、实现关联销售、最优化定价、产品直销、产品再设计,以及渠道管理的目的。而这些目标的实现,致使客户管理总体成本降低,客户关系得以改善,最终成功实现零售业务块利润率的提高。
四:客户价值分析
根据“二八原则”,找出重点客户,即对银行创造80%价值的20%客户实施最优质的服务,通过对客户金融产品的使用频率以及持续性等指标判断客户的忠诚度。
五:客户流失预警
根据客户属性特征、存储款、贷款、金融产品使用等数据,运用数据挖掘技术,找到流失客户的共同特征,从而针对具有相似特征的客户还未流失前,进行有针对性的弥补或者营销活动,从而起到避免客户流失到其他公司的作用,起到稳定本企业客户的作用。
六:新客户开发以及新产品推广
通过探索性的数据挖掘方法,如自动探测聚类和购物篮分析,可以用来找出客户数据库中的特征,预测对于银行营销活动的响应率。那些被定为有利的特征可以与新的非客户群进行匹配,以增加营销活动的效果。
数据挖掘还可从银行数据库存储的客户信息中,可以根据事先设定的标准找到符合条件的客户群,也可以把客户进行聚类分析让其自然分群,通过对客户的服务收入、风险、成本等相关因素的分析、预测和优化,找到新的可赢利目标客户。
七:贷款偿还预测
贷款偿还预测对银行业务相当重要的。贷款偿还风险相关的因素包括贷款率,贷款期限,负债率(月负债总额与月收入总额之比),偿还与收入比率(payment-to-income),客户收入水平,受教育水平,居住信息,信用历史等等,通过数据挖掘预测手段,可以提早预测哪些用户有可能偿还违约,哪些用户曾经贷款被拒但是预测结果却是低风险。
八:客户评分
评分技术是银行业广泛使用的一项技术,包括风险评分、行为评分、收益率评分、征信局评分以及客户评分等。评分技术是将客户的海量信息数据运用有效的数据挖掘和处理手段,对各种目标给出量化评分的一种手段,以征信局评分为例。要达到建立征信局评分的目标,首先要建立起集中的数据仓库,其中涵盖了申请人的各种特征,银行提供的所有产品,包括存款、贷款、信用卡、保险、年金、退休计划、证券承销,以及银行提供的其他产品,甚至包括水电煤气、电话费、租金的缴纳情况等。
九:反洗钱活动
金融交易活动是洗钱犯罪行为的一个重要环节,通过分析金融机构的客户信息和交易数据,运用合适的数据挖掘方法,介乎客户背景,识别出可疑金融交易记录,最后根据贝叶斯判定原理,综合各个层次的可疑信息,得到交易记录的整体可疑度,最终为反洗钱监测提供快速准确的参考。
十:其他决策支持
比如营销活动预演,理财产品收益以及效果评估,多维分析报告等等。

大数据在金融之二:数据来源和应用

唐半张 发表了文章 0 个评论 1316 次浏览 2015-10-19 10:11 来自相关话题

《大数据在金融》一篇 ...查看全部

《大数据在金融》一篇推出后得到了很多朋友的反馈,有的人认为大数据确实是一个新兴的产业机会,有的人认为大数据就是一个炒作概念,是一些科技公司和咨询公司的商业行为。其实不管大家的观点如何,大数据的产业机会正在到来,如果没有大数据概念的兴起,数据营销,数据分析、数据决策就不能如此快速发展。
在大数据分析一书中,迈克尔.梅内里介绍了商业技术应用发展历史。从技术发展时间轴来看,80年代之前是企业ERP时代,80年代到90年代进入客户关系管理时代,90年代到2000年进入电子商务年代,2000年到2010年逐步进入大数据分析时代。在没有进入大数据分析年代前,所有的商业技术的出发点是用于提升效率,通过自动化工具代替手工流程,无论是应用于供应链的ERP,还是应用客户管理管理的CRM其目的都是帮助企业提高内部的运营效率,降低库存,降低生产费用,快速处理客户建议,提高客户满意度,电子商务的应用是打破生产者和消费者之间的信息壁垒,减少中间的销售环节,本质还是提高商品的流通效率,降低销售成本。
大数据分析给企业带来的不仅仅是效率的提升,还有决策支持和差异化竞争。利用大数据分析技术,商家可以定位自己的客户,将产品以最低的营销成本送达到客户。同时商家也可以通过大数据分析了解客户要求,开发出满足客户需要的产品。大数据分析还可以降低企业运营成本,降低风险,节省时间,预防欺诈,提供自助服务等。其带给企业不仅仅是效率的提升还包含预测分析、决策支持、优化、模拟仿真等等。
广告、媒体、 电商、交通、电信、金融、医疗是数据应用较早的几个行业,由于涉及到个人隐私和公共安全的原因,很多数据还不能够公开,各个行业只能采用自己的数据进行商业应用,大数据整体协同效应不明显,但是还是可以看到其中的商业价值。
本文主要讨论金融行业的数据来源和应用,介绍金融行业,数据来源于哪里,自身具有哪些数据,需要哪些外部数据,这些数据的价值,如何获得和利用这些数据。数据来源是大数据在金融行业应用的基础。
金融行业的数据可以分为三大类别,并依据各个类别的特点来探讨其应用。本文举例以银行业为主,证券和保险也可以参考。金融行业的数据大多数来源于客户自身信息以及其金融交易行为。
一般来讲数据在金融行业可以分为以下三大类。
1、客户信息数据
可以称为基础数据,主要是指描述客户自身特点的数据。
  • 个人客户信息数据包括:个人姓名,性别,年龄,身份信息,联系方式,职业,生活城市,工作地点,家庭地址,所属行业,具体职业,收入,社会关系,婚姻状况,子女信息,教育情况,工作经历,工作技能,账户信息,产品信息,个人爱好等等。
  • 企业客户信息数据包括:企业名称,关联企业,所属行业,销售金额,注册资本,账户信息,企业规模,企业地点,分公司情况,客户和供应商,信用评价,主营业务,法人信息等等。
银行业这些信息来源于多个系统,包括客户管理系统,核心银行系统,贸易系统,保理系统,融资管理系统,信息卡系统、信贷管理系统等。银行应将这些割裂的数据整合到大数据平台,形成全局数据。对银行所有客户数据进行整合,按照自身需要进行归类和打标签,由于都是结构化数据因此有利于数据分析。金融行业可以将这些信息集中在大数据管理平台,对客户进行分类,依据其他的交易数据,进行产品开发和决策支持。例如可以依据客户年龄、职业、收入、资产等,针对部分群体推出信用消费,抵押贷款,教育储蓄,投资产品、养老产品等,为客户提供针对于人生不同阶段的金融服务。也可以检验已有产品的占有率,推广效果,以及采集客户的自身产品需求。企业客户也是同样道理,没有数据分析之前,产品开发依赖于产品经理自身能力和风险偏好,或者模仿行业其他竞争对手的产品,有了数据分析之后管理层可以决定推出何种产品,了解到产品实际销售情况,针对特定用户进行推广,降低营销费用,有利于降低风险。因此客户信息数据主要用于精准营销,产品设计,产品反馈、降低风险等。2、交易信息数据交易信息也可以称为支付信息,主要是指客户通过渠道发生的交易以及现金流信息。个人客户交易信息:包括工资收入,其他收入,个人消费,公共事业缴费,信贷还款,转账交易,委托扣款,购买理财产品,购买保险产品,信用卡还款等企业客户交易:包括供应链应收款项,供应链应付款项,员工工资,企业运营支出,同分公司之间交易,同总公司之间交易,税金支出,理财产品买卖,外汇产品买卖,金融衍生产品购买,公共费用支出,其他转账等这些信息大多存在银行的渠道系统里面,如网上银行,卡系统,信用卡系统,贸易系统,保理系统,核心银行系统,保险销售平台,外汇交易系统等。这些交易数据容量巨大,必须借助于大数据技术进行分析,形成全局数据、整体数据。银行利用这些数据对个人消费者进行消费行为分析,开发产品,提供金融服务。同时也可以利用这些数据提供供应链金融服务,建立自己的商品交易生态圈。。银行也可以依据交易数据为企业提供贸易融资或设备融资服务。整合后的数据可以用于银行对企业的信用评价,交易数据可用来进行风险给管理,提前介入风险事件,降低债务违约风险。现金流和支付信息数据量很大,如果大批量采用将会造成效率下降,因此对商业需求的了解将是进行大数据分析关键,有效的数据分类和取舍将会帮助银行高效利用大数据技术。银行在采集和使用交易数据时,其采用哪些数据,通过何种形式展现,数据分析报告输入维度和权重具有极大的挑战性。3、资产信息资产信息主要是指客户在银行端资产和负债信息,同时也包含银行自身资产负债信息。
  • 个人客户资产负债信息包括:购买的理财产品,定期存款,活期存款,信用贷款,抵押贷款,信用卡负债,抵押房产,企业年金等
  • 企业客户资产负债信息包括:企业定期存款,活期存款,信用贷款,抵押贷款,担保额度,应收账款,应付账款,理财产品,票据,债券,固定资产等
  • 银行自身端资产负债信息包括:自身资产和负债例如活期存款,定期存款,借入负债,结算负债,现金资产,固定资产,贷款证券投资等。

资产数据主要来源于核心银行系统和总帐系统,资产数据可以用于银行完整的风险视图,帮助银行对进行有效风险管理,通过资产数据的集中整合,针对每一个企业客户或个人客户,银行可以有效快速对客户进行风险评估和风险管理,提高客户体验,并结合现金流和交易数据,供应链数据为客户提供定制的理财产品或贷款产品。银行也可以利用自身资产负债信息来提高资金利用率,通过调整资产负债,来降低资金成本,提高资本收益。银行还可以对客户及自身资产负债配置信息进一步分析,通过调整产品来解决存款和贷款之间的时间匹配问题,降低流动性风险,提高资金利用效率。资产信息主要用于银行自身风险管理和资本效率提升,同时也可以帮助银行通过产品推广来合理调整资产负债,提高自身盈利能力。
除了上面提到的三大类银行自身的数据之外,如果银行进行大数据分析,为了赢得差异化竞争,就必须考虑其他的数据输入,这些数据是银行自身不具有的,但是对其数据分析和决策起到了很重要的作用。银行可以采用同大数据厂商合作的方式,通过自身平台来采集数据或购买第三方数据。前提是银行自身必须了解且业务需求和数据需求,借助于其他的数据平台和技术来完善自身的大数据平台和分析技术。下面简单介绍一下银行进行大数据分析时需要的其他数据。
1、行为数据
主要是指客户在互联网上的行为数据,包括APP应用上的点击数据,社交媒体和社交网络数据,电商平台的消费数据。银行可以购买这些用数据来完善自己的大数据分析输入,行为数据作为补充数据来为银行数据营销,产品设计,数据反馈,风险管理提供数据支持。但是行为数据可能涉及到消费者的个人隐私,因此银行在购买这行数据讲应该小心,建议和数据拥有者合作并得到客户的授权。
2、位置信息
主要是指银行客户使用的移动设备位置信息,客户自己所处的地理空间数据。包括其多频率的位置往返数据。银行可以利用其进行精准营销,结合商家推出优惠服务,同行也可以利用其信息提供理财产品介绍会,针对特殊人群的财富管理会议,为新增网点还是撤销网点提供决策支持等
3、供应链数据
主要是指企业同上下游企业之间的商品或货物的交易信息,银行自身的供应链信息不全,无法完全支撑对企业的供应链金融服务。银行需要和具有这些信息的电商平台例如阿里,京东等合作,根据完整的供应链信息来提供金融服务。
4、商业数据
主要是指经过分析整理的研究数据,包括消费者行为数据,行业分析报告,竞争与市场数据,宏观经济数据,特殊定制数据等。银行可以利用第三方的专业分析报告来制定自身风险偏好,同时为自身的大数据分析,产品开发,风险管理提供决策支持。
总之,银行在实施大数据战略时,应该了解银行内部都有哪些数据,需要对数据进行归类,通过大数据技术进行提取和取舍,了解这些数据背后代表着哪些商业价值,银行自身的大数据需求在哪里,还需要哪些外部数据,如何同已有数据进行整合。银行自身丰富的数据就是大数据应用的基础,大数据分析可以从银行自身数据出发,依据商业需求进行分析,为决策提供支持。外部数据的引入需要在大数据模型搭建过程中进行考虑,作为参考数据为大数据分析提供辅助支持作用。

大数据在金融:数据的价值

唐半张 发表了文章 0 个评论 1234 次浏览 2015-10-19 10:05 来自相关话题

移动互联网、大数据、金融三个热点词汇叠加在一起,将会爆发出多么大的想象力。大数 ...查看全部

移动互联网、大数据、金融三个热点词汇叠加在一起,将会爆发出多么大的想象力。大数据时代不是突然出现的,实际上过去的几十年间,数学家就已经涉猎金融行业了,如诺贝尔经济学奖获得者哈里.马克维茨、威廉.夏普,罗伯特,恩格尔都是数据家。他们通过数学模型对金融市场进行分析,利用计量经济学知识和金融市场数据来建立数学模型,预测金融市场产品收益同风险波动的关系。著名的信用卡巨头Master很早以前就开始利用起交易数据进行分析和风险管理,大通银行在90年代就利用决策数方法进行房产抵押贷款的风险管理。
数据分析和数据挖掘一直就存在于过去的商业活动中。大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说是移动互联网时代产生了海量的数据,大数据技术完美的解决了海量数据的收集、存储、计算的问题,因此大数据时代开启企业利用数据价值的另一个时代。本人将陆续推出有关大数据在金融的文章。文章从金融数据的商业价值和大数据分析技术入手,来同大家探讨数据在金融企业应用,主要介绍数据如何成为资产,数据如何帮助金融企业实现精准营销、产品创新、效率提升和风险管理等。计划推出如下几篇短文,文章的标题和内容可能会有些变化。
第一篇数据价值
主要讨论数据如何成为资产。数据为何具有价值?数据如何在产品创新,效率提升,风险管理等方帮助金融企业,具有价值的数据将是金融企业未来实现业务突破的一个重点。
第二篇数据来源和应用
主要讨论金融行业,数据来源于哪里,自身具有哪些数据,需要哪些外部数据,这些数据的价值,如何获得和利用这些数据。数据来源是大数据在金融行业应用的基础。
第三篇数据技术
主要谈谈常见的大数据采集和分析技术,相关数据提取和特征值分析,数据删除。金融行业的数据平台建设,数据组织架构的建设,数据治理建设等。
第四篇数据驱动业务
主要讨论大数据在金融行业的应用,数据驱动业务,还是业务需要数据支持。数据在金融行业发展过程中的作用,通过具体案例分析来介绍数据的作用。
第五篇大数据决策
决策树分析法介绍,学习的机器。大数据在业务决策中的作用,不要过分依赖大数据。大数据仅仅提供决策支持,不能直接决策。大数据的归纳和演绎,大数据提供的是一种大概率的决策支持。
第六篇数字银行
介绍基于移动互联网和大数据技术的数字银行,探讨数字银行的概念、功能、实现技术、发展阶段、同银行现有业务的融合、在未来银行发展中的作用。
第七篇大数据在金融的未来之路
介绍未来金融行业大数据技术的发展方向和发展特点,介绍金融大数据人才需求,同数据科学家的合作,大数据思维意识的建立,金融行业和其他行业的合作,大数据产业的融合之路。
第一篇数据价值
金融行业包含银行、保险、证券(包含基金),按照管理资产规模看,银行有160万亿的资产,占了整体金融行业资产超过了70%,因此我们将重点讨论银行的大数据应用。
大数据时代有三种类型的公司,1)拥有数据的公司例如银行、电信运营商。2)拥有技术的公司例如IBM,Oracle。3)拥有技术和数据的公司例如google,百度,阿里,facebook.
银行内部有客户信息、交易信息、信用信息、资产信息等,具有较全的数据,仅需要从外部引入较少的信息。证券公司内部有交易信息和资产信息,如果进行大数据应用,需要从外部引入大量信息。保险公司具有客户信息和资产信息,但是缺乏交易信息,更加依靠外部信息。
作为拥有数据的公司,必须要知道其有哪些数据,哪些具有价值的数据,数据同商业需求的相关性,如何提取其特征值进行度量,从而体现数据对于公司价值。
大数据对金融行业价值可以从以下几个方面进行讨论
1精准营销
大数据可以提供某些企业交易特点和资金需求特点,可以帮助业务部门对企业的资金需求进行分析和筛选,提供现金管理产品,帮助企业解决流动性问题。大数据可以帮助信用卡中心追踪热点信息,针对特定人群提供精准营销产品,增加新卡用户,例如热映电影、娱乐活动、餐饮团购等。银行针对特定人群推出定制的理财产品,保险公司可以根据大数据来为特定人群定制保险产品,证券公司可以依据大数据提供具有针对性的融资融券产品。
2社交化营销
人们的社交行为产生了巨大的数据,利用社交平台,结合大数据分析,金融行业可以开展成本较低的社交化营销,借助于开放的互联网平台,依据大量的客户需求数据,进行产品和渠道推广。通过互联网社交平台返回的海量数据,评测营销方案的阶段成果,实时调整营销能够方案,利用口碑传销和病毒式传播来帮助金融行业快速进行产品宣传、品牌宣传、渠道宣传等。
3信用风险评估
银行可以利用大数据增加信用风险输入纬度,提高信用风险管理水平,动态管理企业和个人客户的形用风险。建立基于大数据的信用风险评估模型和方法,将会提高银行对中小企业和个人的资金支持。个人信用评分标准的建立,将会帮助银行在即将到来的信用消费时代取得领先。基于大数据的动态的信用风险管理机制,将会帮助银行提前预测高风险信用违约时间,及时介入,降低违约概率,同时预防信用欺诈。
4欺诈风险管理
信用卡公司可以利用大数据及时预测和发现恶意欺诈事件,即使采取措施,降低信用开欺诈风险。保险公司可以利用大数据来发现恶意投保和索赔事件,降低欺诈带来的经济损失。银行可以基于大数据建立防欺诈监控系统,动态管理网上银行、POS机、ATM等渠道的欺诈事件,大数据提供了多纬度的监控指标和联动方式,可以弥补和完善目前反欺诈监控方式的不足。特别在识别客户行为趋势方面,大数据具有较大的优势。
5提升客户体验
银行可以依据大数据分析,可以对进入网点的客户提供定制服务和问候,在节假日为客户提供定制服务,预知企业客户未来资金需求,提前进行预约,提高客户体验。私人银行可以依据大数据分析报告,帮助客户进行金融市场产品投资,赚取超额利润,形成竞争优势,提高客户体验。保险公司可以依据大数据预测为客户提前提供有效服务,提高客户体验,同时增加商业机会。证券公司可以利用大数分析,快速推出行业报告和市场趋势报告,帮助投资者及时了解热点,提高客户满意度。
6需求分析和产品创新
大数据提供了整体数据,银行可以利用整体样本数据,从中进行筛选。可以从客户职业,年龄,收入,居住地,习惯爱好,资产,信用等各个方面对客户进行分类,依据其他的数据输入纬度来确定客户的需求来定制产品。银行还可以依据企业的交易数据来预测行业发展特点,为企业客户提供金融产品服务。保险行业可以依据外部数据倒入,根据热点词汇来判断市场对保险产品的需要。证券公司也可以依据外部数据判读投资者喜好,来定制投资产品,进行产品创新。
7运营效率提升
大数据可以展现不同产品线的实际收入和成本,帮助银行进行产品管理。同时大数据为管理层提供全方面报表,揭示内部运营管理效率,有力于内部效率提升。大数据可以帮助市场部门有效监测营销方案和市场推广情况,提高营销精度,降低营销费用。大数据可以展现风险视图控制信用风险,同时加快信用审批。大数据可以帮助保险行业快速为客户提供保险方案,提高效率,降低成本。证券行业也可以利用大数据动态提供行业报告,快速帮助投资人。
8决策支持
大数据可以帮助金融企业,为即将实施的决策提供数据支撑,同时也可以依据大数据分析归纳出规律,进一步演绎出新的决策。基于大数据和人工智能技术的决策树模型将会有效帮助金融行业分析信用风险,为业务决策提供有力支持。金融行业新产品或新服务推向市场前,可以在局部地区进行试验,大数据技术可以对采集的数据进行分析,通过统计分析报告为新产品的市场推广提供决策支持。
总之,进入大数据时代,金融行业的客户信息、交易信息、资产信息、信用信息等数据经过有效采集和整理分析,将会成为具有价值的数据信息。内部数据结合外部数据将形成具有重要价值的数据资产,可以有效帮助金融企业进行精准营销,降低运营费用,提高欺诈管理水平,提高信用风险管理水评,为决策提供有效支持,同时帮助金融企业了解客户需求,开发出符合客户需要,具有创新精神的新产品。简单的讲大数据将帮助金融行业提高运转效率,降低支出成本,提高风险管理水平,基于客户需求进行产品创新。

金融机构如何屹立数据浪潮?漫谈大数据在银行的七个业务潜在应用

唐半张 发表了文章 0 个评论 1304 次浏览 2015-10-19 10:03 来自相关话题

笔者专注于服务金融行业的客户,并就互联网金融和“大数据”进行了深入研究。在研究中 ...查看全部


笔者专注于服务金融行业的客户,并就互联网金融和“大数据”进行了深入研究。在研究中,笔者既感受到了“大数据”中所蕴藏的海量机会,同时也体会到了许多传统金融机构的举步维艰。本文将分享一些海外金融机构试水大数据的实践,并尝试走到现象的背后去理解金融机构在驾驭“大数据”的过程中遭遇艰难的原因。一、怎样理解大数据?

首先澄清我们如何定义“大数据”。在国内,这个概念已经被很广泛的应用,但大家对它的理解各异。波士顿咨询认为,成就大数据的不仅是传统定义中的三个“V”(Volume–量,Velocity–速度, Variety–多样性),而是“价值”,当人们从海量数据中能够汲取价值,并借助其推动商业模式发生内嵌式变革时,具备“3V”特点的数据才成为了“大数据”。
波士顿咨询就“大数据”专题成立了全球的虚拟事业部,汇聚了包括数据科学家、行业专家、资深咨询顾问在内的50 余名专家,支持遍布于全球各个行业的“大数据”相关项目。这些行业都是波士顿咨询的主要服务对象,包括金融、医疗、制药、消费品、工业品、能源等。本文将将着重讨论“大数据”在金融领域的应用。

金融行业的数据强度为上述各个行业之首。大数据理念在银行业十分流行,但其潜在价值尚未得到充分的开发和利用。以银行为例,每创造100 万美元的收入,一家银行平均产出约820GB 的数据。银行目前只用到一小部分与客户相关的数据,主要包括:
•交易数据
•客户提供的数据(出生日期、地址、婚姻状况等)
•评分数据
•渠道使用数据
还有许多可以利用的数据,有助银行提升业务价值:
•移动银行业务用户的定位数据
•社交媒体互动信息
•网站互动信息(交易前)
•交易数据,用于推测客户的行为
•往上搜索行为
•社交网络
•其他
我们的调研显示,真正能够在传统银行中得到应用的数据占比约为34%。

“大数据”无疑在金融领域有广泛的应用空间。仍旧以银行为例,波士顿咨询在银行的七大主要领域中发现了64 项潜在应用,遍布于零售业务、公司业务、资本市场业务、交易银行业务、资产管理业务、财富管理业务和风险管理。这64 个应用源自我们的项目经验,就是说,他们或多或少都已经被某些金融机构进行了尝试,其价值已经得到了初步的证实。
从海外金融机构应用“大数据”的整体情况来看,我们的经验是,有1/3 处在普及和理解大数据概念阶段,1/3 处在试点阶段,另外有约1/3 的金融机构已经谙熟于“大数据”的应用,正在按部就班地提升能力,并将“大数据”所要求的工作机制嵌入商业模式与运营模式中,进行了嵌入式变革阶段。总体而言,大数据在金融行业的应用还有很长的路要走。二、海外金融机构大数据应用举例
接下来分享几个我们与海外金融机构合作应用大数据的实际案例。

1. 某澳大利亚大型银行应用“大数据”分析为自己的小微企业客户提供了一项免费的增值服务,以提高客户粘性。在这项服务里,银行为这些客户免费提供它们自己的客户和竞争对手分析:客户的财富结构,购买偏好,与竞争对手客户结构的差异等。而分析的基础数据来自于该银行零售业务中的个人支付数据。由于银行掌握的数据海量而精准,这样的分析就比一般的市场分析机构的成果更富有洞察。此项服务不仅为该银行提高了存量客户的粘性,也成为它们吸引新客户的一个重要工具。
2. 某海外大型银行通过“大数据”分析为自己的企业客户提供营销支持。例如,他们为自己一个卖手机的零售商客户分析了其客户在购买手机前后的其他购买行为。发现客户在购买之前出现频率最高的地方是交通枢纽,而购买之后则最可能出现在食品杂货店里。这样的分析帮助手机零售商明确定义了营销的最佳地点,从而优化了客户的营销资源配置。
3. 某海外银行通过“大数据”分析优化了自己的客户细分。传统银行做客户细分的主要维度是年龄、性别、职业、财富水平等。基于这样的细分做营销和产品设计容易“误伤一片”,会浪费不少的资源。在“大数据”分析的帮助下,银行做客户细分的思路开阔了很多,而且细分对于行动的指导性也越来越强。这家银行按照一个客户使用产品的“广度”(即产品的数量)和“深度”(即使用产品的频率)进行细分。这样的细分帮助该银行发现了一些从前没有注意到的机会。例如,细分中发现了一类“临界点”客户,即很有可能换银行的客户。基于数据分析还发现,客户换银行一个重要原因是因为自己的朋友们都在使用目标银行。于是,稳住这些客户的一个手段就是营销他的朋友圈。
此外,该银行还发现了一个占比不大(约7%)但很有意思的客群,姑且称之为“败家族”。这类客群的财富水平不高,达不到银行的贵宾门槛,所以常常被银行忽略。但是,这类客户有个特点,就是交易行为非常活跃。他们的消费习惯能够为银行带来可观的价值。这个案例可以带来两个启示:第一,“大数据”发现的未必是“大机会”,即单个机会的价值未必很高,而是“大量机会”,即不断找出新的洞察,而充分实现大量机会就可以获得“大价值”。第二,“大数据”往往并没有给金融机构带来翻天覆地的改变,但它可以为金融机构带来新的视角。客户细分是金融机构一直在做的事,但是,“大数据”可以帮助金融机构深化、细化自己的认识,找出以往被忽略的价值点。
4. “大数据”帮助金融机构发现指导行动、创造价值的关联关系。例如,某西班牙大型银行就客户的兴趣爱好和其金融行为进行“大数据”分析时发现,高尔夫球爱好者为银行创造的价值最高,而足球爱好者的忠诚度最高。这样的分析不仅可以指导银行进行精准营销,也能够帮助银行进行更加有目的的数据收集。
5. “大数据”在零售银行业务中的应用十分引人注目。但其实,“大数据”在公司银行业务中同样可以大显身手。某加拿大银行对于自己的医药零售商客群做了一个分析。该银行首先将这些客户按照销售额分成八类,进而计算每个药店为银行带来的收入。分析发现,在同一类中,客户每百万销售额所产生的银行收入之间的落差可高达17 倍。这家银行意识到,特征类似的中小客户给银行带来的价值却可以差异巨大。于是,这家银行为每一类客户找到了“标杆”,即对于银行贡献居中的客户,并分析其金融产品的配置情况。然后,这家银行比对每个客户与自己的“标杆”之间的差距,并用这些差距来指导客户经理进营销。而且,客户经理还可以与客户分享这些比对结果,帮助他们认识到自己与同业相比在金融方面的潜在需求。这样的分析既提高了营销的有效性,也为客户带来了金融服务之外的增值。
6. “大数据”能够帮助金融机构提升风控能力。Bankinter 是西班牙的一家精品银行,他的单体客户利润往往比规模领先的大型同业高上几倍。该银行专注于中高端客群,并高度注重技术的应用。Bankinter应用亚马逊的云服务,借助“大数据”分析进行行业发展模拟以支持对于公司客户的风险控制。公司客户的信贷风险除了与企业自己的状况有关之外,还会极大地受到行业发展的影响。但是,行业模拟在过去的技术条件下并不能广泛应用。“大数据”极大地提高了这种分析的可行性。以前,这家银行做一个行业的宏观模拟分析,一次运算平均耗时可达23 个小时,而现在,同样的分析只用20分钟左右。
7. “大数据”催生了风险控制领域的创新创业。美国一家创业公司应用电梯数据和黄页数据帮助银行进行风险预警。电梯运行过程中一直会有数据留痕,例如在某栋楼的每一层停了多少次等。而黄页是公开信息,某栋楼的某一层是哪家公司可以很容易查到。匹配这些数据就可以得出某家公司每天电梯停靠的次数。该公司的“大数据”分析发现,如果某家公司的电梯数据突然发生异常变化,可能代表该公司出现了经营变化。电梯停靠次数异常减少可能意味着员工的减少或者客户拜访次数的减少,无论如何,这样的信号应该引起银行的及时关注。将这样的预警信号植入贷后管理流程无疑会比单纯进行每季度或每年的贷后检查要更有针对性。
Scor!是一家依托社交数据帮助银行进行个人信贷风险评估的“大数据”公司。银行将申请贷款的客户情况报给Scor!并向其购买评估结果。Scor!的评估结果被植入信贷审批流程,作为银行内评估的补充。这样的合作正在帮助客户提升审贷速度和准确性。
8. “大数据”助力银行优化贷中和贷后管理。以Wells Fargo(富国银行)为例,他们应用“大数据”分析识别客户的异常行为作为风险提示信号。分析的数据基础是银行自己的海量的交易数据,即个人的支付数据、企业的交易数据等。在贷后管理中,“大数据”分析正在帮助银行优化催收管理。通过量化分析我们发现,近三成的失败催收源于联系不到借款人。而“大数据”分析能够帮助银行提升联系借款人的成功率。
上述案例只是金融机构应用“大数据”潜在可能性的“一斑”。海量的机会仍然有待开发。但我们观察到,相比技术的蓬勃发展,金融机构对于大数据的实际应用仍然差强人意。原因究竟在哪里?波士顿咨询对海外20 多家金融机构做了调研。
研究的目的是找出:第一,从数据到价值的过程是什么?
第二,哪里是瓶颈?
结果显示,从数据到价值的过程包括七个步骤:数据收集、获得数据拥有者的许可和信任、储存和处理技术、数据科学/ 算法、协调、洞察、嵌入式变革。

而在这七步中有两个关键瓶颈:
一是获得数据拥有者的许可和信任,即是否能够把数据整合并用起来;
二是协调,即金融机构内部部门之间的协调问题。
例如,很多银行面临的问题是整合、打通散落在各个部门的数据,零售、对公、信用卡等。而在“协调”方面,金融机构常常要面对业务与技术沟通不畅的问题,数据难以转化为生产力。突破这些瓶颈的关键在于管理层面,而非技术。“大数据”之于传统金融机构,我们认为更大的意义在于它推动嵌入式变革的能力。

“大数据”时代要求试错、应变的机制,跨界复合型人才,开放灵敏的触角体系,这些都会挑战传统金融机构惯常的管理实践。这样的改变不仅对于汲取“大数据”的价值意义非凡,也是传统金融机构在以“互联网金融”为符号的变革时代里求生存、求发展的关键

专栏:大数据在金融行业的应用 及所带来的市场价值

唐半张 发表了文章 0 个评论 1222 次浏览 2015-10-19 10:01 来自相关话题

金融企业正在将大数据应用作为未来的重点,数据正在成为具有价值的资产,大数据思维 ...查看全部


金融企业正在将大数据应用作为未来的重点,数据正在成为具有价值的资产,大数据思维和大数技术正在成为主流。大数据被誉为新时代的经济石油,是企业赢得未来市场的法宝。大数据到底有何神力?大数据到底能为金融行业带来哪些价值?今天就让我们聊聊大数据如何玩转金融。
在聊聊大数据玩转金融之前,我们来看看大数据的三个关键词。连接(Connect )—大数据连接一切
百度连接了信息与读者,阿里连接了商品与消费者,腾讯连接了人与人。大数据则连接一切,BAT所有的连接都是建立在数据基础之上的。
数据连接了消费者和商家,数据连接了客户习惯,数据连接客户喜好,数据连接了客户,数据连接了位置,数据连接了时间和空间。数据连接了历史和现在,数据连接了万物。拥有了数据就拥有了和万物、时间、空间的连接。反馈(Feedback)—大数据反馈事物
连接一切的大数据将会反馈所连接的事物、空间和时间,通过数据记录来反馈物体的移动,消费习惯,个人爱好,行为习惯,活动轨迹,运动规律等。大数据所反馈的很多数据是过去互联网时代所不具备的,例如移动互联网数据,LBS数据,传感器数据,APP内部点击数据等。
最为重要的这些反馈的数据能够知道;你是谁,你爱好什么,你在干什么,你需要什么,你的运动轨迹,你的消费习惯,你的消费能力甚至你的社交圈,及未来你的想法等等。揭示(Disclose -)—大数据揭示相关性,带来价值
所有的人都被反馈的事物都被打上了一个或多个数据标签,这些具有价值的标签经过整理和分析,再结合其他的数据,将会揭示事物内部和外部的相关性。将这些相关性揭示了事物的真相和规律,将会为个人、商家、社会带来巨大价值。大数据的应用是大数定律的典型表现,不过分强调因果性,借助于相关性,重点关注大概率事件。
下面我们来简单的聊一聊大数据在金融行业的应用以及所带来的市场价值。
一、获客(未来金融行业,得客户者的天下)
未来金融行业,无论是银行、证券、保险、基金还是信托,获取新客户是最主要的任务,可以说得客户者得天下。金融行业的服务范围正在跨越地理空间的限制,在监管的鼓励下,很多客户的获取不再仅仅依赖于线下的市场活动,利用互联网获取客户正在成为可能,基金和证券开户已经成为事实,未来银行的在线开户也将成为事实。
80后、90后未来将会成为各金融行业争夺的目标,他们的爱好和习惯将会成为各大金融企业的关注重点,每年700多万的大学毕业生也将成为各大信用卡公司争夺的对象。
大数据可以为金融企业提供获客服务,利用大数据连接和反馈的功能,我们知道潜在的客户是谁,客户的联系方式,客户的商业需要,另外我们可以知道客户的爱好和习惯,为客户订制需要的金融产品。金融企业的获客`成本从50元到2000元甚至5000元不等,中国大数据获客的市场规模不少于2个亿。
二、精准营销(找到目标客户,用最少的钱办最大的事)
金融行业过去一直是广告市场的大客户,为了提高自身品牌形象和推广金融产品。各大金融企业不断的投入巨额广告,整体广告市场投入金额在百亿元人民币左右,金融企业经常作为各种商业活动的主要赞助商。例如F1赛车,网球大师赛,高尔夫球赛,各种媒体举办的会议和体育活动等。
在移动互联网时代,每个人使用移动设备的时间在逐渐增加,传统媒体的优势正逐步被新媒体取代,例如用户更多利用手机获取信息,利用平板电脑观看电影和电视剧,更多的年轻人开始玩手游,以及数字电视节目正在成为主流。金融行业加大了在数字媒体上的营销力度和广告投入,但是如何找到目标客户,将这些广告投到目标客户那里,传统媒体无法做到,但是在大数据的帮助下,新的数字媒体可以做得到,做的好。
大数据时代,移动互联网数据加上LBS数据可以确定客户的消费习惯和消费能力,帮助金融行业确定目标客户,在确定目标客户之后可以精准选择在客户经常观看的媒体或APP上来投放营销广告。同时利用大数据金融企业可以了解多少广告被客户主动点击,客户停留时间,客户购买产品的期望,客户的转化率等信息。借助于大数据的精准营销将会帮助金融企业花最少的钱,办最大的事。国外金融企业的精准营销早就成为主流,每年仅美国金融行业市场,精准营销带来的收益就超过了几十亿美金。在中国金融行业的竞准营销市场由于刚刚起步,其市场规模将在4亿人民币左右。
三、增加风险评估维度(风险定价能力永远是金融行业的核心竞争力)
金融企业之间最大的竞争力之一就是风险定价能力,准确的风险定价能力将会帮助金融企业获取更大的利润和稳健经营。任何一个金融企业缺少风险定价能力,其将会无法有效控制风险,容易被市场淘汰。
移动互联网时代无论是个人客户和企业客户,其风险纬度都是种类繁多和复杂的。风险评估所考虑的场景也是日益复杂,如果风险场景和风险纬度考虑不全,可能会对金融行业是个巨大的打击。
利用大数据的连接、反馈和揭示,金融企业可以充分考虑不同风险场景和风险纬度,利用大数据揭示事物规律和本质的特点来帮助金融行业进行更加全面的风险管理。
目前互联网金融企业和互联网巨头BAT进行的小额信贷就是利用大数据实施风险评估和管理。客户的社交数据,交易数据,LBS信息等数据,完全可以帮助金融企业例如银行,信用卡,保险公司,基金公司增加风险评估维度。中国的市场正在起步,市场份额不会少于一亿元人民币。
四、挖掘客户价值(在金融行业,已有的客户永远是最大的金矿)
金融行业的主要收入来源于已有的客户,其对金融企业的产品更加忠诚和信任。开发一个新客户的成本远高于让老客户购买产品。
利用大数据的连接、反馈、揭示等功能,金融企业可以利用客户交易数据来分析其消费习惯和爱好,定位其金融需求;利用企业之间的交易数据可以了解各个企业的运营情况,现金流情况,主要的资金流向等信息。通过相关性分析可以为客户推荐已有的产品或单独设计产品。目前金融行业消费贷款、供应链金融、融资融券、组合保险等产品都是利用了自身内部的数据进行分析,挖掘自身客户的需求而设计的。未来这种挖掘已有客户价值的趋势将会越来越明显。
移动互联网的数据在对客户分析方面更有价值,更能够反映出客户的特点和金融需求,金融行业应该购买移动互联网端数据。未来金融行业将至少投入上亿的资金来购买移动互联网侧的数据,来帮助其挖掘已有的客户价值。
五、增强用户体验(掌握互联网企业的法宝,赢得未来客户群体)
金融企业如果想获得新客户并且留住老客户,金融企业的自身移动APP应用和产品必须关注客户体验。这也是互联网企业的核心竞争力。借助于大数据金融企业可以了解客户使用APP的习惯,点击网页的习惯,移动应用中各个界面和菜单的使用情况。根据用户喜好来进行设计和更改,包括布局、图表形状、颜色搭配等。
大数据的反馈功能可以帮助金融企业了解客户,提高客户的体验,赢得未来80、90后客户。用户体验是金融企业未来一直需要重点关注的领域,无论是银行还是基金公司,吸引客户购买产品的动力除了产品自身的优秀还应包含平台使用的用户体验。
大数据在用户体验上的应用已经发展一段时间,未来金融行业在用户体验上的投入将会逐步增加,市场投入将会在十亿左右。
总结,由于互联网银行的出现,政府和监管对互联网金融企业的支持,互联网巨头BAT的跨界发展,中国金融行业将自2015年进入大数据应用的爆发期,大数据将会被金融行业作为重要的商业武器,在2015年迎来巨额投资,金融行业将会在大数据管理平台,大数据产品,大数据人才和大数据技术工具上投入巨大资金。
任何一个金融企业如果忽视了在移动互联网和大数据两大领域的投入,将会在未来被残酷的淘汰。不客气的说,未来金融企业之间的竞争,成败很大程度取决于对大数据和移动互联网技术的应用。在大数据时代,拥有移动互联网侧的数据和大数据技术平台,独立于BAT并具有高度商业敏感度的大数据公司将会成为未来市场的王者。

专栏:大数据金融进入2.0 时代

唐半张 发表了文章 0 个评论 1225 次浏览 2015-10-19 10:00 来自相关话题

36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。 ...查看全部

36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。
移动互联网和传感器促成了大数据时代的出现。大量非结构化数据的出现使数据处理面临了难题,在大数据时代初期,有关大数据应用重点聚集在如何收集数据,存储数据、处理数据,解决的是数据效率的问题。当数据效率问题被解决之后,大数据的价值问题将摆到面前,也就是说大数据即将进入2.0时代。本篇为大数据金融2.0时代的第一篇作品,今后将会陆续推出有关大数据金融2.0时代的作品,并结合案例介绍金融行业如何实现大数据变现。
大数据1.0 时代的特征
大数据1.0时代的主要特征是发现大数据,解决的是数据效率问题,大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V(Value价值),还没有得到良好的利用,因此很多学者都在唱衰大数据,认为大数据的炒作概念超过了实际应用价值,大数据的概念更像是美国IT巨头和咨询公司为销售其产品服务的炒作。Hadoop, Hive, Map reduce, Spark , Storm ,R语言,Python,Julia,Scala,Kafka,Octave,GO成为了大数据1.0时代的热点词语
大数据时代是历史的必然,特别是移动互联网出现之后,大量的用户行为数据产生了巨大的价值,这些具有价值的数据表明大数据时代的到来。其实回顾历史,在过去的几千年以来,人类社会就一直在利用数据的反馈来实现社会的进化,大数据时代的出现将会加速这种进化。
大数据金融时代
金融行业是个高度信息化的行业,特别是占了金融产业半壁江山的银行,从最初的核心银行系统到ATM取款机,从信用卡到网银系统,从固定的网点到直销银行,银行一直都是高度依赖信息系统和数据的行业。未来金融行业将通过移动互联网来降低渠道成本,通过大数据来获取客户,随着中国人投资和保险意识的成熟,未来金融行业如证券行业和保险行业将迎来黄金发展期。
大数据对于金融行业具有重要的意义,如果将金融行业比喻成一辆汽车,信息系统就是汽车的发动机,大数据则是燃油。金融行业借助于大数据,就将会获得更快的发展速度,更低的成本,更多的先发优势。目前金融行业的许多的大数据应用还处于初级阶段,大数据的价值还没有被充分发掘,特别是移动大数据没有被充分利用。金融大数据还是处于1.0的效率时代。大数据应用还是主要用于解决大数据的收集,存储和处理,数据挖掘也还以结构化数据为主,以自身数据为主,以报表应用为主。
大数据金融的2.0时代
2015年起,大数据金融将进入2.0时代,进入以价值获取为主的2.0时代。如果我们定义大数据1.0时代是大数据的效率时代,那么大数据的2.0时代就是实现大数据变现的价值时代,现在就让我们聊一聊大数据金融2.0 时代的主要特征。
1) 大数据金融平台(DMP)的出现。
金融行业沉淀了大量的数据,其在过去的信息系统建设中利用了各种技术来处理数据,包括处理交易和记账的核心银行系统,转发报文的渠道系统,以及存储数据的数据仓库,数据挖掘和分析的BI系统。
但是进入移动互联网时代后,基于互联网的网上银行系统正在转向移动互联应用APP,其产生的用户行为数据无法用已有的信息系统进行处理和分析。而这些用户行为数据恰恰就是对于金融行业有价值的数据。用户交易数据、用户信用数据,用户自身的APP行为数据,交易行为数据都将会对金融行业产生巨大的价值。
金融行业在大数据2.0时代需要一个能够将这些行为数据转化为价值的平台,其将成为金融大数据变现的平台DMP(如何翻译成中文名词是个难题,暂且称之为大数据平台)。其主要负责收集APP的行为数据,结合金融行业自身的数据,经过商业处理后,结合外部数据以及外部平台,将帮助金融行业实现大数据变现。DMP平台简单功能至少应改包括用户标签,用户画像,精准营销,自我算法优化,移动运营监控,数据可视化,外部数据引入,数据交易平台等。
DMP将成为大数据金融2.0时代的典型应用,也是金融行业进入大数据金融时代必备的平台,就像大数据1.0时代的Hadoop一样,DMP的出现将会加速金融行业大数据商业应用的进化,真正将大数据同金融行业的实际业务结合起来,为金融行业的业务发展提供加速能源。DMP承载了巨大的价值应用,其可以帮助金融行业短时间进行数据变现,体现大数据商业价值,就象我大数据玩转金融的文章里介绍一样,绝大多数的金融大数据的商业应用都可以通过DMP实现。
金融企业完全可以利用大数据平台DMP来取得商业领先优势,借助于DMP金融行业将可以有足够的实力来同互联网巨头BAT和互联网金融企业进行竞争。可以认为DMP(大数据金融平台)将会成为未来金融行业大数据应用的趋势,特别是引入了移动互联网大数据和DSP的大数据金融平台DMP将会成为金融行业大数据应用标准。
2) 移动大数据将作为基础数据
金融行业如果想在大数据金融2.0时代取得领先,就必须重视移动数据,除了将自身银行APP应用中行为数据进行收集和处理,金融行业必须要打破自身的数据闭环,象互联网企业一样,坚持开发心态,寻找具有价值的外部数据。
移动互联网数据或者称之为移动大数据应将成为金融行业大数据应用的基础数据。移动大数据具有金融行业传统数据不具备的特点。例如其是行为数据,用户习惯数据,LBS数据,标签数据等。金融行业应该同具有移动大数据的互联网厂商进行合作,坚持平等协作精神,共同开发开发自身数据金矿。
金融行业在选择合作伙伴时需要考虑的互联网三座大山的竞争(你懂得),同这些大数据巨头合作时需要谨慎考虑,由于金融行业不了解移动互联网的玩法,同三大巨头合作有可能是羊入虎口。建议同新兴的、独立的移动互联网大数据公司合作,掌握合作主动权和大数据应用控制权,实现大数据应用的双赢。
3) 标签成为大数据金融的重要武器
标签表述较为简单也较为复杂,简单的讲就是描述一类用户或行为属性集和,其具有相关性和大概率特点。标签可以很宽也可以很细,完全取决于标签创建者的经验。因此标签的精准定义成为大数据金融应用的关键所在。
标签作为大数据金融2.0时代的最基本元素,正在成为大数据金融的重要武器。
很多大数据金融的应用都依赖于标签,简单的讲标签的细化程度和覆盖范围都将体现金融企业的大数据应用的成熟度,标签可以分为基础标签,时效标签,相关标签,预测标签,个性标签等类型。定义标签的方法可以从社会人的特点和具体商业需求出发,定义出金融行业需要的客户群体信息。
大数据标签是用户画像、精准营销、风险监测等金融大数据应用的基础,金融行业大数据标签的定义是具有挑战的话题,并将成为大数据金融2.0时代的热点话题。
4) 用户画像将会CRM的必要信息
金融行业正在从以账户为中心的商业模式转向以客户为中心的商业模式,银行、证券、基金、保险企业纷纷上线CRM系统,将客户关系管理作为其主要的业务之一,并希望通过对客户需求的挖掘来推荐产品或开发产品。
在大数据金融2.0时代,CRM系统的数据除了用户的基本数据和信用数据之外,还需要增加用户画像信息。CRM应该包含以客户为中心的用户习惯特性,用户喜好特性,用户轨迹,用户消费趋势等信息,这些都需要大数据平台DMP提供。具有了用户画像信息的CRM将会大大增强金融行业的商业竞争优势,当金融行业客服人员或客户经理打电话同客户进行沟通时,用户画像将提供高价值信息,拉近金融企业同客户的距离,了解客户需求,提高客户满意度和市场营销转化率。
大数据金融2.0时代特征还包含算法的自我优化和移动APP运营监控等方面介绍,我将会在以后的文章中逐步介绍。本篇是大数据金融进入2.0时代的第一篇文章,今后几个月将会逐步分享打大数据金融2.0时代文章和案例介绍,敬请期待。
金融企业在大数据金融的2.0时代的先发优势
进入大数据金融2.0时代之后,拥有丰富数据的传统金融企业银行、证券、保险、基金面临来自互联网巨头、互联网金融企业、财富管理公司、消费金融公司的激烈竞争。数字化金融将是其取得领先优势的重要武器,在大数据金融2.0时代,金融行业应该积极拥抱移动互联网,拥抱大数据,积极建设DMP平台,持开放心态,同具有数据的企业进行合作,利用已有的数据,积极引入外部数据,来取得大数据金融2.0时代的先发优势。
客户是有限的,市场是有限的,财富是有限的,时间是有限的,空间是有限的。因此在大数据金融2.0时代,金融企业应该及时行动,建设DMP平台,积极进行大数据变现,敢于试错,敢于利用大数据的反馈进行自我优化,敢于借助于移动互联网数进行市场开拓。由于未来市场属于80后、90后,所以金融行业应该迅速了解客户行为和爱好,对已用商业模式和产品进行升级和进化。金融行业越早进入大数据金融2.0时代就会越早取得竞争优势,先发优势。
在大数据金融2.0时代背景下,大数据企业如何胜者为王
目前中国市场的大数据企业众多,大多数企业仍然以解决大数据金融1.0时代的效率问题为主,包括传统的国外大数据厂商,大多数以大数据收集、存储、处理为主,对企业已用的数据进行数据挖掘,提供商业报表和数据报表。缺少基于移动互联网的用户行为和用户习惯数据,大数据变现很难。
在大数据金融2.0时代,拥有移动互联网数据和DMP平台,以及大数据商业应用人才的大数据企业将会成为大数据金融2.0时代的王者。拥有了移动互联网侧的大数据就拥有了大数据商业应用的石油,其是金融行业实现大数据价值应用的必要前提。拥有了DMP大数据平台,其就拥有了大数据变现的能力,借助于平台和外部数据以及自我优化能力,DMP将会帮助金融行业迅速实现金融大数据的商业价值。拥有了大数据商业应用人才就拥有同客户的话语权,帮助客户迅速建设DMP平台,实现同客户的共赢。

大数据金融2.0系列:红包大战和移动金融的崛起

唐半张 发表了文章 0 个评论 1377 次浏览 2015-10-19 09:52 来自相关话题

2015年春节,抢风头的不再是春晚小品的热点词汇,抢微信红包成 ...查看全部


2015年春节,抢风头的不再是春晚小品的热点词汇,抢微信红包成了所有中国人关注的焦点。腾讯红包成了所有红包的代言词,发红包、抢红包,摇一摇成了大年三十中国人的全民运动。今天我们就从红包聊起,来聊一聊移动金融的崛起,也是大数据金融2.0系列文章的第二篇。

移动金融已经成为了金融产品的入口,借助于移动APP,金融企业将会为客户提供更加便捷的金融服务,用户体验和创新的金融产品将会成为移动金融取胜的关键点。更为重要的是,金融企业可以借助于移动金融APP采集大量数据,了解客户行为和点击习惯,为大数据金融提供强大的数据支持。一、移动互联网具有随时随地、定人定位的特点
移动互联网具有随时随地,定人定位的特点。相对于互联网,移动互联网借助于智能手机和WIFI在任何时间,任何地点帮助人们接入互联网,无论阅读、购物、读书、导航、打游戏、查询信息等。现在你会发现所有人不再惧怕排队,因为有智能手机;所有人不再拿一本书上厕所,因为有智能手机;所有人见面不再寒暄,因为有智能手机;所有人不再AA制付现钞,因为有智能手机;所有人不再看春晚,都在用手机抢红包。
智能手机的定位功能同手机号码相结合,很容易确定使用者的物理位置和具体用户。相对于传统互联网,移动互联网将通过位置信息来了解人们的生活轨迹和消费习惯。借助于移动数据统计分析平台,我们将会了解到过去很难统计的信息。例如发红包最多的省份,抢红包最活跃的省份,春节人口流入最多的身份,流出最多的省份等。大年三十的8点到12点,大家静下来不是为了看春晚而是在等红包。二、未来所有消费行为都将转向移动互联网
人们上网的行为正向移动互联网倾斜,所有同衣食住行相关的消费行为都正在转向移动互联网。现在我们正在使用智能手机进行聊天、购物、分享、听音乐、订饭、约会、买电影票、制定旅游计划等等,未来智能手机将成为我们生活的助手。所有客户生活轨迹、兴趣爱好、消费习惯都可以通过APP 的记录进行了解。
移动互联网将扩展互联网的边界,将互联网从PC端扩展到人们身边,人们使用互联网的时间将会逐步增加,互联网更象一个虚拟世界正在影响着人类的生活方式。
移动互联网正在进入人们的社会生活,在未来会成为一个强力的助手。三、移动金融成为金融企业必争之地
个人消费习惯转向移动互联网后,移动金融将会成为所有金融企业争夺的入口,借助于移动APP,金融企业将会提供便捷的金融服务。无论是传统的金融服务还是创新的金融产品,无论是客户服务还是客户体验,无论是市场营销还是客户拓展,无论是客户连接还是精准营销。移动金融都将成为金融企业必须重视的平台。
在未来,金融企业如果想提高客户满意度,赢得客户的青睐,提高金融产品份额,降低营销成本,设计出消费者喜欢的产品,移动金融是所有金融企业必须重视的平台。未来客户80后、90号上网习惯的改变,以及对金融产品需求的改变,金融企业的竞争将从传统的网点和互联网转向移动APP。移动金融平台将成为所有金融企业必须争夺的阵地,金融企业竞争将会更多的发生在移动金融平台。
如何玩转移动金融将成为所有金融企业必须面对的一个重要问题!四、如何玩转移动金融,移动运营统计分析平台是关键
移动金融区别于传统金融的渠道的主要特点是,移动APP记录了大量的非结构化数据,用户的使用习惯和点击行为被记录在APP中,如何利用这些非机构化数据,了解客户行为和偏好将成为玩转移动金融的关键。
金融企业可以利用移动APP的数据,了解APP运营情况,了解APP高峰使用时间,了解客户行为,UI的设计是否合理,营销的效果如何,投入是否有效,产品获客情况等。移动APP的数据经过采集和处理后,将会为金融企业的产品设计、市场推广、用户体验、精准营销、用户画像等提供重要数据支持。
移动运营统计分析平台将成为玩转移动金融的关键,移动APP运营统计分析平台来源于游戏行业。我们知道手游行业竞争十分激烈,手机游戏的生命周期很短,一般只有6个月左右。手游行业如何能在短时间内快速获取客户,并且迅速扩大市场份额,提高用户体验成为核心问题。借助于移动运营统计分析平台,手机游戏厂商很容易了解客户注册、登陆、激活的情况,另外借助于二次开发,游戏厂商会了解游戏中道具使用情况,哪些地图受欢迎,哪些宝物、人物、装备、道具受欢迎,UI的使用情况,游戏用户的反馈,用户的消费习惯。曾经就有游戏商利用统计分析平台,针对个别客户,出售了价值千万人民币的游戏装备,其平台的商业价值凸现。
互联网企业现在强势进入金融领域,其主要的竞争优势就是对客户数据的掌握和分析。如果金融企业在想在竞争中取得领先,金融企业必须向互联网企业学习技术和工具。
移动运营统计分析平台是移动互联网时代的一个重要工具,是互联网企业利用大数据玩转客户的一个基础工具。金融企业现在可以借助于移动运营统计分析平台取得同互联网企业同样的优势。如果金融企业想玩转移动金融,了解客户行为,提高客户体验,移动运营统计分析平台将成为关键。
目前一些领先的银行,如招商银行已经装备了移动运营统计分析平台,帮助监控移动APP的运行,采集用户行为数据,为大数据金融提供数据支持,已经取得了不错的效果。在未来,金融企业如果想取得移动金融的领先,取得同互联网的竞争优势,移动APP运营统计分析平台将会成为关键。五、移动运营指标意义
我在大数据玩转金融一文中曾经对大数据的价值提到了三个关键词:连接,反馈,揭示。移动运营指标就是这三个关键词的具体体现,本文主要介绍移动运营指标的意义,具体移动运营指标的设计和运营将会通过另外一篇文章具体介绍。
• 连接(Connect )—连接用户
移动运营指标连接了客户习惯,连接客户喜好,连接了客户点击,连接了用户的位置,连接了时间和空间。移动运营指标将客户和金融企业连接了起来,用户的行为数据通过指标统计的方式记录下来,方便金融企业进一部分析。
• 反馈(Feedback)—反馈用户
移动运营指标将会反馈所连接的事物、空间和时间,通过记录来反馈物体的移动,消费习惯,个人爱好,行为习惯,活动轨迹,运动规律等。移动运营指标所反馈的很多数据是过去互联网时代所不具备的,这些反馈的数据能够知道;你是谁,你爱好什么,你在干什么,你需要什么,你的运动轨迹,你的消费习惯,你的消费能力甚至你的社交圈,及未来你的想法等等。
• 揭示(Disclose)—揭示价值
所有的客户反馈的数据,经过分析后可以形成一个或多个数据标签,这些具有价值的标签经过整理和分析,再结合其他的数据,将会揭示事物内部和外部的相关性。将这些相关性揭示了事物的真相和规律,将会为金融行业带来巨大价值。大数据的应用是大数定律的典型表现,借助于相关性,重点关注大概率事件。
金融企业可以依据商业需要,设计自身的移动运营指标,这些移动运营指标将会帮助金融企业了解移动金融平台APP的运营情况,为金融企业在产品设计、市场营销、用户体验等方面提供数据支持。移动运营指标对于金融企业是一个新鲜事物,一直在不断完善中,但是所有的移动金融APP都具有共性,一些通用的移动运营指标可以帮助金融企业了解其移动金融平台的运营情况,形成具体的标准后,可以帮助金融企业了解自身APP的在行业中的运营水平,有助于行业的整体发展和进步。下一篇文章我将主要介绍金融行业移动运行指标体系建设和移动运行指标标准。
最后讲一句闲话,时代是我们的朋友也是我们的敌人,每个企业都没有办法打败时代趋势,无论其现在是多么强大,企业需要顺势而为

波士顿深度报告:回归价值本源-金融机构如何驾驭大数据(附PDF下载)

唐半张 发表了文章 0 个评论 1634 次浏览 2015-10-19 09:49 来自相关话题

内容概览 1、价值导向与内嵌式变革——BGG对大数据的理解 1.1 成就大数据的“第四个V” 1.2 变革中的数据运作与数据推动是内嵌式变革 ...查看全部
内容概览
1、价值导向与内嵌式变革——BGG对大数据的理解
1.1 成就大数据的“第四个V”
1.2 变革中的数据运作与数据推动是内嵌式变革
2、应用场景与基础设施——纵览海内外金融机构的大数据发展实践
2.1 大数据的金融应用场景正在逐步拓展
2.2 大数据要去金融机构重新审视自己的基础设施与环境
3、超越技术的管理视角——金融机构驾驭大数据的三个关键点
3.1 数据人为:建设团队是核心
3.2 高效行动:形成机制是保障
3.3 构筑优势:转变思维是根本
4、用实践引领思考——BGG在大数据方面的能力

推荐阅读:
横看成岭侧成峰,
远近高低各不同。
不识庐山真面目,
只缘身在此山中。
—苏轼《题西林壁》
无论是接受还是拒绝,中国金融业的大数据时代正在呼啸而至。据调查,经过多年的发展与积累,目前很多国内金融机构的数据量级已经达到100TB以上。而且,非结构化数据量正在以更快的速度增长。在高数据强度的金融行业,这一发展激起了巨大的想象空间。然而,要抓住这一机遇并非易事。
基于多年的研究与全球项目实操经验,波士顿咨询公司(BCG)系统梳理了大数据在全球金融行业的发展现状、潜在应用、关键瓶颈及应对方案,旨在协助金融机构从价值的角度更好地理解大数据,并在大数据迅速渗入金融业务各个层面的当下抓住发展机遇。
本报告主要观点:
成就大数据的不仅是传统定义中的“三个V”,即数量(Volume)、速度(Velocity)和种类(Variety)。对金融机构而言,更重要的是第四个V,即价值(Value)。大数据的价值不仅体现在对金融机构财务相关指标的直接影响上,也体现在对商业模式变革的推动能力上,即不断引发传统金融机构的内嵌式变革。
大数据从四个方面改变了金融机构传统的数据运作方式,从而实现了巨大的商业价值。这四个方面(“四个C”)包括:数据质量的兼容性(Compatibility)、数据运用的关联性(Connectedness)、数据分析的成本(Cost)以及数据价值的转化(Capitalization)。
大数据在金融业的应用场景正在逐步拓展。在海外,大数据已经在金融行业的风险控制、运营管理、销售支持和商业模式创新等领域得到了全面尝试。在国内,金融机构对大数据的应用还基本处于起步阶段。数据整合和部门协调等关键环节的挑战仍是阻碍金融机构将数据转化为价值的主要瓶颈。
数据技术与数据经济的发展是持续实现大数据价值的支撑。深度应用正在将传统IT从“后端”不断推向“前台”,而存量架构与创新模块的有效整合是传统金融机构在技术层面所面临的主要挑战。此外,数据生态的发展演进有其显著的社会特征。作为其中的一员,金融机构在促进数据经济的发展上任重道远。
为了驾驭大数据,国内金融机构要在技术的基础上着重引入以价值为导向的管理视角,最终形成自上而下的内嵌式变革。其中的三个关键点(“TMT”)包括:团队(Team)、机制(Mechanism)和思维(Thinking)。1. 价值导向与内嵌式变革—BCG对大数据的理解
“让数据发声!”—随着大数据时代的来临,这个声音正在变得日益响亮。为了在喧嚣背后探寻本质,我们的讨论将从大数据的定义开始。
1.1 成就大数据的“第四个V”
大数据是什么?在这个问题上,国内目前常用的是“3V”定义,即数量(Volume)、速度(Velocity)和种类(Variety)。
虽然有着这样的定义,但人们从未停止讨论什么才是成就大数据的“关键节点”。人们热议的焦点之一是“到底多大才算是大数据?”其实这个问题在“量”的层面上并没有绝对的标准,因为“量”的大小是相对于特定时期的技术处理和分析能力而言的。在上个世纪90年代,10GB的数据需要当时计算能力一流的计算机处理几个小时,而这个量现在只是一台普通智能手机存储量的一半而已。在这个层面上颇具影响力的说法是,当“全量数据”取代了“样本数据”时,人们就拥有了大数据。
另外一个成为讨论焦点的问题是,今天的海量数据都来源于何处。在商业环境中,企业过去最关注的是ERP(Enterprise Resource Planning)和CRM(Customer Relationship Management)系统中的数据。这些数据的共性在于,它们都是由一个机构有意识、有目的地收集到的数据,而且基本上都是结构化数据。随着互联网的深入普及,特别是移动互联网的爆发式增长,人机互动所产生的数据已经成为了另一个重要的数据来源,比如人们在互联网世界中留下的各种“数据足迹”。但所有这些都还不是构成“大量数据”的主体。机器之间交互处理时沉淀下来的数据才是使数据量级实现跨越式增长的主要原因。“物联网”是当前人们将现实世界数据化的最时髦的代名词。海量的数据就是以这样的方式源源不断地产生和积累。(参阅图1)

“3V”的定义专注于对数据本身的特征进行描述。然而,是否是量级庞大、实时传输、格式多样的数据就是大数据?
BCG认为,成就大数据的关键点在于“第四个V”,即价值(Value)。当量级庞大、实时传输、格式多样的全量数据通过某种手段得到利用并创造出商业价值,而且能够进一步推动商业模式的变革时,大数据才真正诞生。(参阅图2)

1.2 变革中的数据运作与数据推动的内嵌式变革
多元化格式的数据已呈海量爆发,人类分析、利用数据的能力也日益精进,我们已经能够从大数据中创造出不同于传统数据挖掘的价值。那么,大数据带来的“大价值”究竟是如何产生的?
无论是在金融企业还是非金融企业中,数据应用及业务创新的生命周期都包含五个阶段:业务定义需求;IT部门获取并整合数据;数据科学家构建并完善算法与模型;IT发布新洞察;业务应用并衡量洞察的实际成效。在今天的大数据环境下,生命周期仍维持原样,而唯一变化的是“数据科学家”在生命周期中所扮演的角色。大数据将允许其运用各种新的算法与技术手段,帮助IT不断挖掘新的关联洞察,更好地满足业务需求。
因此,BCG认为,大数据改变的并不是传统数据的生命周期,而是具体的运作模式。在传统的数据基础和技术环境下,这样的周期可能要经历一年乃至更长的时间。但是有了现在的数据量和技术,机构可能只需几周甚至更短的时间就能走完这个生命周期。新的数据运作模式使快速、低成本的试错成为可能。这样,商业机构就有条件关注过去由于种种原因而被忽略的大量“小机会”,并将这些“小机会”累积形成“大价值”。(参阅图3)

具体而言,与传统的数据应用相比,大数据在四个方面(“4C”)改变了传统数据的运作模式,为机构带来了新的价值。
1.2.1 数据质量的兼容性(Compatibility):大数据通过“量”提升了数据分析对“质”的宽容度
在“小数据”时代,数据的获取门槛相对较高,这就导致“样本思维”占据统治地位。人们大多是通过抽样和截取的方式来捕获数据。同时,人们分析数据的手段和能力也相对有限。为了保证分析结果的准确性,人们通常会有意识地收集可量化的、清洁的、准确的数据,对数据的“质”提出了很高的要求。而在大数据时代,“全量思维”得到了用武之地,人们有条件去获取多维度、全过程的数据。但在海量数据出现后,数据的清洗与验证几乎成为了不可能的事。正是这样的困境催生了数据应用的新视角与新方法。类似于分布式技术的新算法使数据的“量”可以弥补“质”的不足,从而大大提升了数据分析对于数据质量的兼容能力。
1.2.2 数据运用的关联性(Connectedness):大数据使技术与算法从“静态”走向“持续”
在大数据时代,对“全量”的追求使“实时”变得异常重要,而这一点也不仅仅只体现在数据采集阶段。在云计算、流处理和内存分析等技术的支撑下,一系列新的算法使实时分析成为可能。人们还可以通过使用持续的增量数据来优化分析结果。在这些因素的共同作用下,人们一贯以来对“因果关系”的追求开始松动,而“相关关系”正在逐步获得一席之地。
1.2.3 数据分析的成本(Cost):大数据降低了数据分析的成本门槛
大数据改变了数据处理资源稀缺的局面。过去,数据挖掘往往意味着不菲的投入。因此,企业希望能够从数据中发掘出“大机会”,或是将有限的数据处理资源投入到有可能产生大机会的“大客户、大项目”中去,以此获得健康的投入产出比。而在大数据时代,数据处理的成本不断下降,数据中大量存在的“小机会”得见天日。每个机会本身带来的商业价值可能并不可观,但是累积起来就会实现质的飞跃。所以,大数据往往并非意味着“大机会”,而是“大量机会”。
1.2.4 数据价值的转化(Capitalization):大数据实现了从数据到价值的高效转化
在《互联网金融生态系统2020:新动力、新格局、新战略》报告中,我们探讨了传统金融机构在大变革时代所需采取的新战略思考框架,即适应型战略。采取适应型战略有助于企业构筑以下五大优势:试错优势、触角优势、组织优势、系统优势和社会优势,而大数据将为金融机构建立这些优势提供新的工具和动力。从数据到价值的转化与机构的整体转型相辅相成,“内嵌式变革”由此而生。
例如,金融机构传统做法中按部就班的长周期模式(从规划、立项、收集数据到分析、试点、落地、总结)不再适用。快速试错、宽进严出成为了实现大数据价值的关键:以低成本的方式大量尝试大数据中蕴藏的海量机会,一旦发现某些有价值的规律,马上进行商业化推广,否则果断退出。此外,大数据为金融机构打造“触角优势”提供了新的工具,使其能够更加灵敏地感知商业环境,更加顺畅地搭建反馈闭环。此外,数据的聚合与共享为金融机构搭建生态系统提供了新的场景与动力。(参阅图4)
2. 应用场景与基础设施—纵览海内外金融机构的大数据发展实践
金融行业在发展大数据能力方面具有天然优势:受行业特性影响,金融机构在开展业务的过程中积累了海量的高价值数据,其中包括客户身份、资产负债情况、资金收付交易等数据。以银行业为例,其数据强度高踞各行业之首—银行业每创收100万美元,平均就会产生820GB的数据。(参阅图5)

2.1 大数据的金融应用场景正在逐步拓展
大数据发出的声音已经在金融行业全面响起。作为行业中的“巨无霸”,银行业与保险业对大数据的应用尤其可圈可点。
2.1.1 海外实践:全面尝试
2.1.1.1 银行是金融行业中发展大数据能力的“领军者”
在发展大数据能力方面,银行业堪称是“领军者”。纵观银行业的六个主要业务板块(零售银行、公司银行、资本市场、交易银行、资产管理、财富管理),每个业务板块都可以借助大数据来更深入地了解客户,并为其制定更具针对性的价值主张,同时提升风险管理能力。其中,大数据在零售银行和交易银行业务板块中的应用潜力尤为可观。(参阅图6)

BCG通过研究发现,海外银行在大数据能力的发展方面基本处于三个阶段:大约三分之一的银行还处在思考大数据、理解大数据、制定大数据战略及实施路径的起点阶段。还有三分之一的银行向前发展到了尝试阶段,也就是按照规划出的路径和方案,通过试点项目进行测验,甄选出许多有价值的小机会,并且不停地进行试错和调整。而另外三分之一左右的银行则已经跨越了尝试阶段。基于多年的试错经验,他们已经识别出几个较大的机会,并且已经成功地将这些机会转化为可持续的商业价值。而且这些银行已经将匹配大数据的工作方式嵌入到组织当中。他们正在成熟运用先进的分析手段,并且不断获得新的商业洞察。(参阅图7)

银行业应用举例1:将大数据技术应用到信贷风险控制领域。在美国,一家互联网信用评估机构已成为多家银行在个人信贷风险评估方面的好帮手。该机构通过分析客户在各个社交平台(如Facebook和Twitter)留下的数据,对银行的信贷申请客户进行风险评估,并将结果卖给银行。银行将这家机构的评估结果与内部评估相结合,从而形成更完善更准确的违约评估。这样的做法既帮助银行降低了风险成本,同时也为银行带来了风险定价方面的竞争优势。
相较于零售银行业务,公司银行业务对大数据的应用似乎缺乏亮点。但实际上,大数据在公司银行业务的风险领域正在发挥着前所未有的作用。在传统方法中,银行对企业客户的违约风险评估多是基于过往的营业数据和信用信息。这种方式的最大弊端就是缺少前瞻性,因为影响企业违约的重要因素并不仅仅只是企业自身的经营状况,还包括行业的整体发展状况,正所谓“覆巢之下,焉有完卵”。但要进行这样的分析往往需要大量的资源投入,因此在数据处理资源稀缺的环境下无法得到广泛应用,而大数据手段则大幅减少了此类分析对资源的需求。西班牙一家大型银行正是利用大数据来为企业客户提供全面深入的信用风险分析。该行首先识别出影响行业发展的主要因素,然后对这些因素一一进行模拟,以测试各种事件对其客户业务发展的潜在影响,并综合评判每个企业客户的违约风险。这样的做法不仅成本低,而且对风险评估的速度快,同时显著提升了评估的准确性。
银行业应用举例2:用大数据为客户制定差异化产品和营销方案。在零售银行业务中,通过数据分析来判断客户行为并匹配营销手段并不是一件新鲜事。但大数据为精准营销提供了广阔的创新空间。例如,海外银行开始围绕客户的“人生大事”进行交叉销售。这些银行对客户的交易数据进行分析,由此推算出客户经历“人生大事”的大致节点。人生中的这些重要时刻往往能够激发客户对高价值金融产品的购买意愿。一家澳大利亚银行通过大数据分析发现,家中即将有婴儿诞生的客户对寿险产品的潜在需求最大。通过对客户的银行卡交易数据进行分析,银行很容易识别出即将添丁的家庭:在这样的家庭中,准妈妈会开始购买某些药品,而婴儿相关产品的消费会不断出现。该行面向这一人群推出定制化的营销活动,获得了客户的积极响应,从而大幅提高了交叉销售的成功率。
客户细分早已在银行业得到广泛应用,但细分维度往往大同小异,包括收入水平、年龄、职业等等。自从开始尝试大数据手段之后,银行的客户细分维度出现了突破。例如,西班牙的一家银行从Facebook和Twitter等社交平台上直接抓取数据来分析客户的业余爱好。该行把客户细分为常旅客、足球爱好者、高尔夫爱好者等类别。通过分析,该行发现高尔夫球爱好者对银行的利润度贡献最高,而足球爱好者对银行的忠诚度最高。此外,通过分析,该行还发现了另外一个小客群:“败家族”,即财富水平不高、但消费行为奢侈的人群。这个客群由于人数不多,而且当前的财富水平尚未超越贵宾客户的门槛,因此往往被银行所忽略。但分析显示这一人群能够为银行带来可观的利润,而且颇具成长潜力,因此该行决定将这些客户升级为贵宾客户,深入挖掘其潜在价值。
在对公业务中,银行同样可以借助大数据形成更有价值的客户细分。例如,在BCG与一家加拿大银行的合作项目中,项目组利用大数据分析技术将所有公司客户按照行业和企业规模进行细分,一共建立了上百个细分客户群。不难想象,如果没有大数据的支持,这样深入的细分是很难实现的。然后,项目组在每个细分群中找出标杆企业,分析其银行产品组合,并将该细分群中其他客户的银行产品组合与标杆企业进行比对,从而识别出差距和潜在的营销机会。项目组将这些分析结果与该行的对公客户经理进行分享,帮助他们利用这些发现来制定更具针对性的销售计划和话术,并取得了良好的效果。客户对这种新的销售方式也十分欢迎,因为他们可以从中了解到同行的财务状况和金融安排,有助于对自身的行业地位与发展空间进行判断。
银行业应用举例3:用大数据为优化银行运营提供决策基础。大数据不仅能在前台与中台大显身手,也能惠及后台运营领域。在互联网金融风生水起的当下,“O2O”(Online To Offline)成为了银行的热点话题。哪些客户适合线上渠道?哪些客户不愿“触网”?BCG曾帮助西班牙一家银行通过大数据技术应用对这些问题进行了解答。项目组对16个既可以在网点也可以在网络与移动渠道上完成的关键运营活动展开分析,建立了12个月的时间回溯深度,把客户群体和运营活动按照网点使用强度以及非网点渠道使用潜力进行细分。分析结果显示,大约66%的交易活动对网点的使用强度较高,但同时对非网点渠道的使用潜力也很高,因此可以从网点迁移到网络或移动渠道。项目组在客户细分中发现,年轻客户、老年客户以及高端客户在运营活动迁移方面潜力最大,可以优先作为渠道迁徙的对象。通过这样的运营调整,大数据帮助银行在引导客户转移、减轻网点压力的同时保障了客户体验。
BCG还曾利用专有的大数据分析工具Network Max,帮助一家澳大利亚银行优化网点布局。虽然银行客户的线上活动日渐增多,但金融业的铁律在互联网时代依然适用,也就是说在客户身边设立实体网点仍然是金融机构的竞争优势。然而,网点的运营成本往往不菲,如何实现网点资源的价值最大化成为了每家银行面临的问题。在该项目中,项目组结合银行的内部数据(包括现有的网点分布和业绩状况等)和外部数据(如各个地区的人口数量、人口结构、收入水平等),对350多个区域进行了评估,并按照主要产品系列为每个区域制定市场份额预测。项目组还通过对市场份额的驱动因素进行模拟,得出在现有网点数量不变的情况下该行网点的理想布局图。该行根据项目组的建议对网点布局进行了调整,并取得了良好的成效。这个案例可以为许多银行带来启示:首先,银行十分清楚自身的网点布局,有关网点的经营业绩和地址的信息全量存在于银行的数据库中。其次,有关一个地区的人口数量、人口结构、收入水平等数据都是可以公开获取的数据。通过应用大数据技术来把这两组数据结合在一起,就可以帮助银行实现网点布局的优化。BCG基于大数据技术而研发的Network Max正是用来解决类似问题的工具。(参阅图8)

银行业应用举例4:创新商业模式,用大数据拓展中间收入。过去,坐拥海量数据的银行考虑的是如何使用数据来服务其核心业务。而如今,很多银行已经走得更远。他们开始考虑如何把数据直接变成新产品并用来实现商业模式,进而直接创造收入。例如,澳大利亚一家大型银行通过分析支付数据来了解其零售客户的“消费路径”,即客户进行日常消费时的典型顺序,包括客户的购物地点、购买内容和购物顺序,并对其中的关联进行分析。该银行将这些分析结果销售给公司客户(比如零售业客户),帮助客户更准确地判断合适的产品广告投放地点以及适合在该地点进行推广的产品。这些公司客户过去往往需要花费大量金钱向市场调研公司购买此类数据,但如今他们可以花少得多的钱向自己的银行购买这些分析结果,而且银行所提供的此类数据也要可靠得多。银行通过这种方式获得了传统业务之外的收入。更重要的是,银行通过这样的创新为客户提供了增值服务,从而大大增强了客户粘性。
2.1.1.2 大数据正在保险业全面渗透
与银行业在大数据应用方面的高歌猛进相比,保险业的相关动作稍显迟疑。从全球保险业来看,美国财产保险业对大数据的应用最为广泛深入,医疗保险紧随其后,寿险对大数据的应用则相对滞后。与美国竞争对手相比,欧洲保险机构在大数据能力的发展水平上存在一到两年的差距。尽管如此,大数据在保险行业主要价值链环节的潜在应用也已逐渐清晰。(参阅图9)

纵观海外保险机构,我们发现领先险企正在定价、营销、保单管理、理赔和反欺诈等不同领域对大数据应用进行积极的尝试和创新。这些创新对于保险业的商业与运营模式产生了革命性的影响。(参阅图10)

保险业应用举例1:用大数据预防或减少赔付。赔付会直接影响保险企业的利润,对于赔付的管理也一直是险企的关注点。而赔付中的“异常值”(即超大额赔付)是赔付额的主要驱动因素之一。以某海外险企的工伤补偿为例,不到20%的“异常值”带来了超过80%的赔付费用。但是,这些高额赔付的案例往往早有端倪,如果能够及早干预就可以在很大程度上控制事态的发展。比如,关注伤者的疾病发展过程并及时建议跟进治疗以避免慢性疾病的发生,尽早建议用人单位进行工作调整以减少误工等等。
大数据能够为险企及时、高效地采取干预措施提供良好的支持。一家领先的美国保险集团通过结合内部、第三方和社交媒体数据进行早期异常值检测,及时采取干预措施,从而使平均索赔费用下降了20%。该集团的预测模型使用了约1.4亿个数据点,其中既包括了客户的个人数据(健康状况、人口特征、雇主信息等),也包括了集团的内部数据(过往的理赔信息和已经采取的医疗干预信息等)。此外,这个模型可以随着新数据的加入而不断进行调整,以提升其准确性。
欺诈是影响赔付的另一个重要因素。而借助大数据手段,险企可以显著提升反欺诈的准确性与及时性。在美国,一家汽车保险公司通过大数据分析识别出诈骗规律,从而使车险诈骗案例减少了30%,误报率减少了50%,整体索赔成本降低了2-3%。一家大型财险公司通过大数据分析,发现了赔付总额高达2.3亿美元的诈骗嫌疑案,并将识别欺诈的时间提前了117天。
保险业应用举例2:用大数据支持差异化定价。对保费的定义是基于对一个群体的风险判断,而大数据无疑为这样的风险判断带来了前所未有的创新。一家澳大利亚保险公司通过分析客户的购物筐数据来预测驾驶风险。分析显示,饮用大量牛奶并食用大量红肉的客户具有较低的驾驶风险,而食用大量意大利面和米饭并在夜间开车和饮酒的客户则是高风险人群。英国保险公司英杰华集团(Aviva)运用网络数据来为保费设定提供支持。网络数据分析有效帮助该公司识别出申请者的潜在健康隐患及风险,其准确程度不亚于验血和尿检。
此外,大数据还能帮助险企优化定价体系。出于定价原因而导致价值流失有多种情况,比如在价格方面过于“一刀切”、当客户停止购买其中一种产品后还在延续捆绑折扣、不能及时更新定价、销售团队在提供折扣方面缺乏纪律性等。而大数据分析可以帮助险企及时、准确地发现问题并予以纠正,从而防止价值“渗漏”。
保险业应用举例3:用大数据实现差异化营销。大数据技术正在使客户细分不断走向深入,并日益成为精准营销的有力支撑。一家英国保险公司通过整合多元化的海量数据对5千多位客户进行了细分。在此基础上,该公司制定了高度差异化的营销和客户维护方案,最终在目标客群中收获了10倍的价值,并节省了近1亿英镑的成本。
此外,大数据正在为险企揭示营销工作中一些根深蒂固的误区。例如,许多销售人员认为涨价是客户流失的主要原因,于是竭力使用价格手段来留住客户,从而对利润造成了影响。然而,一家险企的大数据分析显示仅有三分之一左右的客户流失与价格有关。因此,采用更经济有效且具有差异性的方式来挽留客户就成为了海外险企保护价值的一个重要抓手。
2.1.2 国内现状:亟待破冰
在国内,大数据的发展可谓风起云涌。这样的热潮同样波及到金融行业,众多金融机构纷纷布局。以银行业为例,在大数据发展方面最为活跃的群体当属股份制银行,而大数据应用则主要集中在客户营销、产品创新、风险控制和运营优化等领域。例如,光大银行研发了“阳光理财”资产配置平台(APP)来整合数据,对客户投资需求进行细分,并设计了与之匹配的资产配置方案以支持营销。光大银行还推出基于大数据技术的风险预警平台以提升风控水平。此外,该行还基于大数据Hadoop技术构建起核心历史数据查询平台,使以往需要3-4天的查询时间缩短到当日即可完成,从而显著提升了运营效率。民生银行通过大数据分析来定义营销举措并防止客户流失。中信银行与银联商务合作开发出基于商户信息和POS流水交易数据进行风控的“POS贷”。
国内保险行业有三个经典“痛点”:与客户接触频率低,因而难以进行场景营销;数据基础差,从而限制了精算能力,进而对产品创新产生制约;运营整合难,从而影响了成本和客户体验。而大数据无疑为解决这些问题带来了契机。多家险企已经进行了布局,主要领域包括产品创新、风险控制和运营优化等。例如,淘宝的“运费险”保费低,购买频率高,理赔快。泰康人寿联手阿里小微金融服务集团推出国内首个针对电子商务创业人群的“乐业保”,并与可穿戴设备制造商咕咚合作推出互动式保险服务“活力计划”。平安借助金融集团的数据优势,通过分析信用卡的交易数据识别出车险的高风险人群。太平洋保险应用“大云平移”技术在其官方微信平台正式推出“大数据客户体验官(DEO)”概念,旨在提升运营与服务质量,优化客户体验。
保险业基于大数据的创新层出不穷,但其中最具突破性的发展当属2014年由中国保险保障基金有限责任公司出资20亿元人民币成立的大数据公司—中国保险信息技术管理有限责任公司,其意义在于催生出中国保险行业的数据共享平台。数据的整合与共享是发展大数据的基础,而这一点却是任何险企都难以独自实现的。这样的平台必将成为整个行业在大数据发展方面的一个有力支撑。
虽然已有诸多举措,但金融行业的大数据发展往往被形容为“雷声大、雨点小”,意指金融机构虽然投入不菲,但市场可感知的效果却十分有限。究竟是什么原因导致这一局面的产生?我们在与众多金融机构的接触过程中观察到三个阻碍数据转变为价值的现象:
数据虽多,但整合困难。国内金融机构虽然同样坐拥海量数据,但其数据的存在状态反映了整个组织的现状,即“部门分制”。数据在组织内部处于割裂状态—业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者,而这些拥有者之间却常常缺乏顺畅的共享机制。然而,成就大数据的是数据的“全量”,这就要求金融机构内部能够实现高度的数据共享与整合。这样的矛盾导致金融机构中的海量数据往往处于分散和“睡眠”的状态。虽然金融机构拥有的数据量“富可敌国”,但到真正利用时却“捉襟见肘”。
想法虽多,但动手困难。面对自己拥有的海量数据,金融机构真正敢“碰”的却很少。许多金融机构担心触犯监管或法律底线,或者担心擅自使用数据会侵犯客户的隐私权,又或是担心数据处理不当可能会给机构带来声誉风险和业务风险。因此,这些机构虽然积累了大量数据,并对应用模式进行了思考,但最终仍处于隔河观望的状态,难以付诸行动。海外金融机构也曾经面临同样的问题。在与海外金融机构的合作中,我们给出的建议十分简单:与数据拥有者坦诚沟通并征询他们的许可。BCG的大量项目经验表明,许多客户对于自己的数据被使用的接受度远比金融机构想象得要高。
资源虽多,但协调困难。“技术部门不作为!”“业务说不清到底要什么”—这样的相互指责在很多金融机构的业务部门与技术部门之间都曾出现。许多大数据项目就是在这种不顺畅的沟通中“夭折”,而不成功的经验只会加深双方的矛盾,导致新的合作更加艰难。这样的恶性循环在很多机构重复上演。我们发现,复合型人才的匮乏、合作机制的缺失以及工作方法的不当往往是造成这一局面的主要原因。
2.2 大数据要求金融机构重新审视自己的基础设施与环境
2.2.1 数据技术:融合提升
金融行业的数据强度在一定程度上决定了金融机构的技术强度。以银行业为例,在海外成熟市场,银行平均将营业收入的8%左右投入IT系统建设;而这一比例在国内稍低,但也可达到3%左右。如此重金打造的技术基础设施在大数据时代却面临着全面优化升级的挑战,这是因为数据的采集、存储和处理在大数据环境下发生了质的变化:日益开放的数据采集冲击着传统的结构化数据基础,常规的数据清洗在大数据面前失去了意义,海量数据的存储需要低成本的基础设施,实时性的分析要求新的数据处理技术……然而,挑战背后必有机遇。大数据同时为传统金融机构打造差异化竞争优势带来了宝贵的契机。那么,金融机构如何才能在技术层面上驾驭大数据时代?BCG认为,金融机构需要理解大数据分析的四个层次,关注13项核心技术,并做好两个决策。
大数据分析的四个层次及十三项技术:数据经过层层晋级成为可以指导行动的智慧,而技术在这一过程中贯穿始终。(参阅图11)

数据收集与存储层:这一层是基础所在。数据从各个渠道以各种形态涌入,其中包括结构化数据(如交易信息)、半结构化数据(如日志信息)、非结构化数据(如社交信息、多媒体、地理位置等信息)等。在这个层面上,数据被实时和非实时地清理、加工,并被归档存储为有效信息以供后续的分析处理。
结构化数据集成:即便是在大数据时代,结构化数据依然举足轻重。结构化数据的集成仍然是大数据技术体系中的重要组成部分,这样的技术目前已经非常成熟。
非结构化数据集成:为了满足不同业务场景的数据调用和分析需求,在大数据体系中需要融入能够应对数据的多样性与多时效性特点的集成技术。
分布式存储:与常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络调用企业中每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,为大规模的数据存储需求提供了低成本的手段。
流计算:由于业务发展不断提速,业务流程也日渐复杂,我们的注意力日益集中在“数据流”而非“数据集”上。决策者需要的架构应能处理随时发生的数据流,而当前的数据库技术并不适合数据流处理。
并行计算:并行计算能够充分利用各种计算和存储资源,把计算分布到多个计算节点上,再在指定节点上将计算结果汇总输出,轻松实现针对TB、PB级数据分析的秒级响应。
分布式计算:如果在分布式的数据环境中工作并希望在很短的时间内处理数据,这就需要分布式处理。在分布式处理领域广为人知的一个例子就是Hadoop。
内存计算:一般而言,内存访问速度要比磁盘访问速度快几百倍甚至上千倍。内存计算同时利用多个节点的计算能力和内存容量,CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速,是实现大数据分析的关键应用技术。
信息整合层:这一层是将数据转换为信息的关键。在这个层面上需要对数据进行去噪和增强处理,完成关系型信息和非关系型信息在一定程度上的整合。
关系型信息整合:关系型数据库发展已经相对成熟,具有良好的可扩展能力和较高的处理能力。
非关系信息整合:传统关系型数据库已无法满足需求,非结构化数据库不仅需要可以处理结构化数据,而且应当更适合处理非结构化数据(如文本、多媒体等信息)。
知识发现层:人工智能和数据挖掘技术在这一层面上大显身手,对在上一个层面整合好的信息进行分解、提炼,从中找出对目标对象有价值的信息点,完成从信息到知识的转化。
数据沙箱:按需收集各种实验数据,建立业务实验模型,是大数据架构下用于探索业务数据的一个分析平台。
实时决策:在不影响用户体验的情况下,从一组备选方案中选择一个合适的业务决策。
机器学习:这是大数据非常重要的能力,从信息反馈中获取新的知识或技能,重新组织已有的知识结构,并使之不断改善自身性能。
智慧汲取层:作为行动指导的洞察就诞生于这一层面。借助数据可视化工具,将经验、判断与知识相融合,使数据蜕变为智慧,开始为商业价值的创造提供指导。
数据洞察:借助数据可视化工具可以从知识中发现智慧,借助叙事可视化工具可以以独特的方式探索数据,而借助探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系—这是一种可视化的洞察力。
为了将大数据技术融入到自己现有的技术生态中,传统金融机构特别需要在基础设施和IT架构两大问题上进行权衡。(参阅图12)

基础设施:是否“在云端”以及如何“在云端”是众多传统金融机构在大数据时代需要做出的一个核心技术决策。从理论上来说,金融机构可以选择云端、本地或混合模式。如果选择云端,金融机构还需要在公共云和私有云之间进行选择。而在实践中,这样的决策并不容易,因为这不仅仅涉及到技术问题。对数据的掌控是金融机构安身立命的根本,而如何平衡风险控制与成本效率是这个决策的关键点。
IT架构:大数据的生命周期要求传统金融机构的IT架构对新的技术要求进行全链条的接纳:获取大数据源,建设大数据平台进行存储和处理,并开发基于大数据分析的创新应用。这一切对于历史演进而成的庞大复杂的存量架构无疑是一个巨大的挑战。
2.2.2 数据经济:尚未破题
当我们把数据看作是继土地、劳动力、资金之后的第四种生产资料时,就再也无法回避大数据所涉及的经济维度,也就是数据的所有权问题、定价问题和交易规则问题。纵览海内外,这些核心问题尚未得到一劳永逸的解决。然而,不断涌现的创新尝试无疑正在为这些核心问题寻找解决手段,使数据经济得以蹒跚运行。例如,数据中间商、数据汇聚商、价值链数据共享平台等都在努力使数据有理、有序、有价地得以共享。
在国内,传统金融机构同样是数据的拥有者之一。但要真正源源不断地汲取大数据所蕴含的价值,金融机构需要以开放的思维与整个数据生态有效对接。而构建这样的生态优势的出发点就是理解这个生态本身。在国内,这样的生态正在快速成长。传统金融机构不仅可以获益于这样的发展,更可以参与到这样的发展之中。3. 超越技术的管理视角—金融机构驾驭大数据的三个关键点
金融业虽然坐拥海量数据,但目前真正得到利用的数据仅为冰山一角。BCG多年的项目经验显示,金融机构对数据的实际利用率仅为34%,从而导致大量数据荒地的出现以及大量潜在机会处于沉睡状态。问题到底出在哪里?
为此,BCG对部分典型金融机构客户进行了调研。调查结果显示,从数据到价值的转化过程包含了七大步骤,其中“许可和信任”以及“协调”是关键瓶颈。(参阅图13)

步骤一:数据收集。与内部数据及外部数据形成对接,以获得丰富、全面的数据。
步骤二:许可和信任。获得客户的许可和信任,同意企业在不透露其个人信息的前提下对其信息进行整合、分析和应用。
步骤三:储存和处理技术。搭建合适的IT构架,以有效整理、存储和调用数据。
步骤四:数据科学。识别合适的分析工具,以进行大数据分析。
步骤五:协调。理解业务端需求,并将这些需求转化为具体的问题,指引技术部门和分析部门提供基础设施支持及数据分析工作。
步骤六:行动洞察力。正确解读数据分析结果,将答案转化为行动变革、产品开发和客户发展方案。
步骤七:嵌入式变革。将大数据分析和应用融入到整个机构组织的日常运作中,并确保每位员工都能参与实施变革。
这样的调研结果让我们深刻认识到,掣肘大数据在金融机构发展的关键因素存在于管理层面,而非技术层面。BCG根据自身在大数据和金融行业的咨询经验,总结了金融机构驾驭大数据的三个关键点(“TMT”),包括:团队(Team)、机制(Mechanism)和思维(Thinking)。在这三个关键点上进行突破应成为传统金融机构将数据转化为价值的核心抓手。
3.1 数据人为:建设团队是核心
尽管“专家将会消亡”、“大数据将取代人脑”的说法此起彼伏,但BCG认为,在大数据时代创造价值的主角仍是“人”。数据源自于人并服务于人。但大数据时代无疑对身处其中的从业者提出了新的要求。善于“跨界”的复合型人才在金融机构中是稀缺资源,因此构建复合型团队就成为了关键所在。然而,是否将具备业务视角或技术能力的人员组合在一起就能实现金融机构的大数据掘金梦想呢?我们的答案是否定的。若要让团队高效运作,配套机制不可或缺。
3.2 高效行动:形成机制是保障
大数据无疑在冲击传统金融机构惯常的工作方式与流程。大数据中蕴藏的大量“小机会”需要通过灵活、快速而又有纪律的工作机制才能最终形成“大价值”。对于传统金融机构而言,两项机制改革是关键。
3.2.1 引入试错机制
“错误”在传统金融机构中不是一个受欢迎的词。“不出错”甚至在很多机构中被看作是颠扑不破的生存法则。而在大数据时代,“试错”将成为必经之路。浩瀚的数据带来了无限的想象空间,同时也带来了极高的不确定性。一个关联发现究竟是真正的商机还只是噪音,只有试了才知道。成功的试错机制包括以下七个方面:
为创意的产生提供条件。在IT行业中,我们观察到有些公司开始给予员工“自由时间”,也就是说员工可以将10-15%的工作时间用于做自己感兴趣的项目。
增加探索和尝试的数据。在大数据中发现商机也是个几率问题,提高基数无疑非常重要。
降低成本,提高速度。“小步快跑”在大数据时代成为了值得推崇的工作方式。这意味着严格管理每一个试点的成本,将投入产出透明化,并大幅缩短每个试点的周期。
降低失败的代价。这里的代价既是对机构而言,也是对个人而言。组织内部需要能够合理“容错”,降低试错者的后顾之忧。而组织自身则需要清晰的“防火墙”,让试错在可控的环境中发生。
增强预判能力。在一个试点项目中往往存在一系列关键条件。密切关注这些关键条件的变化,尽早判断试点的成功几率是试错机制的关键一环。
快速推广放大。当一次试错呈现出商业潜力时,机构就需要迅速果断地将成果商业化、规模化,以便充分汲取其中的价值。
鼓励探索的文化。再完善的机制也会有“盲点”,而软性的文化则是填补空白的关键。
3.2.2 提高人才管理与组织管控的弹性
金融业一直是精英汇聚的行业。但在传统金融机构中,不仅数据呈现出“分治”的状态,人才的流动与重组往往也相当困难。而培养大数据时代所必需的复合型人才必然要求人才能够在组织内外灵活地流转和进出。此外,针对“业务”与“技术”对话不畅的问题,联合团队往往是有效的解决手段之一。而这样的跨部门工作机制要求在人才的选调、考核和职业发展等关键方面有相应的配套举措。只有在尝试中培养“创新的种子”,并不断将这些“种子”播种到有需求的土壤中去,才能使大数据真正融入机构的日常工作当中,持续发挥其作用,并为组织创造价值。
3.3 构筑优势:转变思维是根本
《大数据时代》(Big Data: A Revolution That Will Transform How We Live, Work,and Think)一书的作者指出, 在大数据价值链中“数据、技术与思维三足鼎立”。对于数据和技术的掌控在很大程度上取决于机构的商业模式。金融机构在这两个层面上已经拥有相当大的优势。然而,思维才是使数据中的价值持续爆发的力量。大数据的发展不仅作用于金融机构的商业模式及运营模式的方方面面,更直接对根深蒂固的传统理念构成挑战。采用关联而非因果的视角也可以帮助我们更好地理解世界。与封闭相比,开放可能是构筑商业壁垒的更有效的手段。这样的思维转变对于传统金融机构而言意味着一场异常深刻的变革,而这样的变革势必触碰到体制层面,因此也必然异常艰难。但胜者从来都是那些勇于拥抱变革并善于拥抱变革的机构。在金融行业,大数据带来的绝不仅仅是一场数据与技术的比拼。致胜因素将是机构触发、管理并固化变革的能力。
并非每个“热点”都将转瞬即逝。大数据是技术发展所带来的不可逆的大趋势,它所代表的是人类对世界的认知视角的演化,以及对世界的掌控能力的进步。对传统金融机构而言,从数据到价值的转化过程意味着新的思维在蓬勃发展,并驱动商业模式与运营模式进行深刻变革。这必将是一个漫长的过程,而且无捷径可寻。及早出发,积极、理性地试水投入,让整个机构能够借力大数据来尽快实现自我提升,这是传统金融机构将数据持续转化为生产力乃至竞争优势的必由之路。4. 用实践引领思考——BCG在大数据方面的能力
大数据是BCG倾力投入的重点领域之一。我们的全球大数据专题团队汇聚了资深咨询顾问、数据科学家、行业专家、技术专家和第三方战略合作伙伴,从战略与业务的视角出发为客户进行方案设计、实操数据分析以及试点落地。(参阅图14)

基于多年的项目经验,我们在大数据领域形成了精辟独到的见解以及科学实用的分析框架,并拥有经验丰富的团队。BCG能够在七个领域帮助客户驾驭大数据,包括:大数据战略、战略分析、平台分析、企业信息管理、业务模式转型、创新业务模式、业务数据能力建设。(参阅图15)




PDF下载:回归价值本源-金融机构如何驾驭大数据

大数据如何在金融企业变成Money?

唐半张 发表了文章 0 个评论 1233 次浏览 2015-10-19 09:40 来自相关话题

36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。 ...查看全部

36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。
大数据金融进入2.0时代之后,大数据如何进行变现成为金融企业讨论的问题。在过去,金融企业采用的都是静态的数据、不活跃的数据,这样的数据变现能力很差。大数据在金融行业的应用主要集中在数据集市和数据挖掘,主要作用是生成各种各样的财务报表和管理报表,让企业管理者从不同的角度和纬度了解企业的运行情况,寻找重大决策所需要数据支持。大数据的价值应用处于被动状态,大数据变现特点不明显。
移动互联网出现之后,消费者全面转向移动互联网,智能手机加APP构成了社会大众的主要消费场景。特别是即将成为消费主力的80后和90后,他们成了移动互联网的主体;平均每天智能手机使用时间超过了3个小时,所有的消费都通过智能手机APP来完成。进入移动互联网时代后,金融企业在进行大数据应用时应关注消费者行为的转变,需要充分考虑移动互联网的数据、活的数据,具有生命力的数据。在大数据金融2.0时代,金融企业的大数据变现将从移动互联网大数据开始。
移动互联网具有随时随地,定人定位的特点。相对于传统互联网,消费者可以通过于智能手机在任何时间、任何地点接入互联网,进行阅读、购物、读书、导航、打游戏、查询信息等。人们已经越来越依赖智能手机,你会发现所有人都不再惧怕排队,因为有智能手机的陪伴;上厕所不再拿一本书,只是带一台智能手机;见面不再寒暄问候,因为微信上该聊的都聊了。智能手机的定位功能LBS同手机号码结合之后,金融企业很容易确定使用者的物理位置和具体用户,移动互联网可以通过位置信息了解人们的生活轨迹和消费习惯。
移动互联网的数据特别是手机APP的数据正在成为具有价值的资产。大数据将成为金融企业未来发展的石油,是金融企业赢得未来市场的法宝。下面我们就简单介绍一下,大数据到底能为金融行业带来哪些价值?大数据在金融行业如何进行变现。
一、帮助金融企业获客(未来金融行业,得客户者得天下)
未来金融行业,无论是银行、证券、保险、基金还是信托,获取新客户是最主要的任务,可以说金融企业得客户者得天下。金融行业的服务范围正在跨越地理空间的限制,客户的获取不再仅仅依赖于线下的市场活动,移动互联网获客正在成为可能;基金和证券的互联网开户已经成为事实,未来银行的在线开户也将逐步变成事实。80后、90后将会成为各金融行业争夺的目标,他们的爱好和习惯将会成为各大金融企业的关注重点,每年700多万的大学毕业生也将成为各大信用卡公司争夺的对象。
移动大数据由于具有定人定为的特点,金融行业完全可以利用客户装载的APP进行精准营销,快速获取客户。消费者的手机号是需要保密的,但是其手机的设备号和上面装载的APP信息却是可以进行利用的。金融企业可以对自己的潜在客户进行画像,定义自己目标客户经常使用的APP,或者经常出现的地点,或者最近装载的APP(例如买车、租房、招聘、理财、股票交易、信用卡APP等),发现潜在的目标客户。
金融企业由于没有移动设备的数据,因此金融企业应该同移动大数据企业进行合作,购买这些数据。通过DSP定向进行广告投放,利用大数据连接的功能,获取新的信用卡、证券、基金、理财产品客户。另外可以进一步依据客户的消费习惯,活动轨迹为客户订制需要的金融产品。金融企业的获客`成本从50元到2000元甚至5000元不等,金融大数据获客的市场规模理论上不少于20个亿。
二、了解你的客户(增强用户体验,利用互联网企业的法宝来赢得未来客户群体)
未来是移动金融的天下,金融行业的APP将成为主要的客户入口。金融企业如果想了解客户喜好,了解用户的习惯,提高客户体验,提高客户的活跃度,留住更多的老客户,获得更新客户;金融企业就必须关注自身移动APP应用的运营情况,必须关注APP中的客户体验,必须了解APP中用户行为。这些也是互联网企业的核心竞争力。
金融企业可以借助于移动APP运营统计分析平台来了解移动APP的登陆情况,活跃程度,使用时间,客户使用偏好,客户喜欢的金融产品,客户经常点击的菜单,不活跃的菜单和产品等信息。金融企业可以根据用户的喜好来进行UI的设计和更改,包括布局、图表形状、颜色搭配等,提高客户体验和活跃度。同时金融企业可以通过移动APP运营统计分析平台的数据来决定下架哪些产品,增加哪些产品,进一步开发哪些产品。移动的APP空间界面有限,一定要摆放能够给金融企业带来巨大效益的产品,节约空间和时间,实现精细化产品运营。
借助于移动APP运营统计分析平台,大数据的反馈功能可以良好的体现出来。过去金融企业不了解的用户行为信息,通过平台进行采集和分析后,可以有效帮助金融企业了解客户,提高客户的体验,赢得未来80、90后客户。用户体验是金融企业未来一直需要重点关注的领域,无论是银行还是基金公司,吸引客户购买产品的动力除了产品自身的优秀外,还应包含平台使用的用户体验。大数据在用户体验上的应用已经发展一段时间,未来金融行业在用户体验上的投入将会逐步增加。
三、精准营销(用最少的钱办最大的事)
金融行业过去一直是广告市场的大客户,为了提高自身品牌形象和推广金融产品。各大金融企业不断的投入巨额广告,整体广告市场投入金额在百亿元人民币左右,金融企业经常作为各种商业活动的主要赞助商。例如F1赛车,网球大师赛,高尔夫球赛,各种媒体举办的会议和体育活动等。
在移动互联网时代,每个人使用移动设备的时间在逐渐增加,传统媒体的优势正逐步被新媒体取代,消费者更多利用手机来获取信息,多数的年轻人都在玩手游,利用平板电脑观看电影和电视剧,数字电视节目正在成为主流。由于客户行为的改变,金融行业应加大在数字媒体上的营销力度和广告投入。如何找到目标客户,将广告投到目标客户那里成立具有挑战的问题。过去传统媒体只能通过撒网式广告,无法做到定位目标客户。但是在大数据的帮助下,数字媒体可以做得到,做的很好。
大数据时代,用户使用的移动APP可以帮助金融企业了解客户的消费习惯和消费能力,找到目标客户。在确定目标客户之后,金融企业可以选择在客户经常观看的媒体或APP上来投放营销广告,另外利用DSP的数据,金融企业可以了解多少广告被客户主动点击,客户停留时间,客户购买产品的期望,客户的转化率等信息。大数据的精准营销将会帮助金融企业花最少的钱,办最大的事。国外金融企业的精准营销早就成为主流,每年仅美国金融行业市场,精准营销为金融企业带来的收益就超过了几十亿美金。
四、增加风险评估维度(风险定价能力是金融行业的核心竞争力)
金融企业之间最大的竞争力之一就是风险偏好,也就是风险定价能力。准确的风险定价能力将会帮助金融企业获取更大的利润。任何一个金融企业如果不具有风险定价能力,其将无法有效识别风险,很容易落到风险陷阱,被市场迅速淘汰。移动互联网时代无论是个人客户和企业客户,其风险评估纬度都多种多样,风险评估场景也是错综复杂。如果金融企业风险场景考虑不全,金融企业就可能面对一个巨大的风险敞口。
大数据的连接、反馈和揭示可以帮助金融企业充分考虑风险场景和风险纬度,利用大数据揭示事物规律和本质的特点来帮助金融行业进行更加全面的风险管理。互联网金融企业和互联网巨头BAT进行的小额信贷就是利用大数据实施风险评估和管理。客户的社交数据,交易数据,LBS信息等数据,正在帮助金融企业例如银行,信用卡,保险公司,基金公司增加风险评估维度。据有关学者介绍中国的个人信用评估市场就有将近1000亿的时市场规模。
五、挖掘客户价值(已有的客户是最大的金矿)
金融行业的主要收入来源于已有的客户,其对金融企业的产品更加忠诚和信任。开发一个新客户的成本远高于让老客户购买产品。利用大数据的连接、反馈、揭示等功能,金融企业可以利用客户交易数据来分析其消费习惯和爱好,定位其金融需求;利用企业之间的交易数据可以了解各个企业的运营情况,现金流情况,主要的资金流向等信息。通过相关性分析可以为客户推荐已有的产品或单独设计产品。金融行业的消费贷款、贸易融资,供应链金融、融资融券、组合保险等产品都是利用了自身内部的数据相关性,通过数据挖掘来设计的,未来这种挖掘已有客户价值的趋势将会越来越明显。移动互联网的数据在对客户分析方面更有价值,更能够反映出客户的特点和金融需求,金融行业应采用移动互联网端的数据,甚至购买于外部的移动互联网数据,来帮助自己挖掘已有的客户价值。
总结,互联网银行的出现、政府和监管对互联网金融企业的支持、互联网巨头BAT对金融行业的进军,将会将金融行业的市场竞争从蓝海推向红海。在2015年将进入金融行业大数据变现的爆发期,金融行业将会购买外部移动数据,移动APP运营统计分析平台,大数据管理平台,精准营销等方面来进行投资。大数据将会被作为金融行业的重要武器,反击互联网企业对金融行业的渗透。
在大数据金融2.0时代,拥有移动APP数据、移动APP运营统计分析平台、大数据管理平台;独立于互联网BAT巨头、具有高度商业敏感度的大数据公司,将会成为金融行业大数据变现的主要推动者,金融企业大数据战略实施的合作伙伴。任何一个金融企业如果忽视了在移动互联网和大数据两大领域的投入,未来就会在市场竞争中处于下风,有可能被残酷的市场淘汰。不客气的说,未来金融企业之间的竞争,成败很大程度取决于对大数据和移动互联网技术的应用。

专栏:金融企业如何利用大数据洞察客户

唐半张 发表了文章 0 个评论 1254 次浏览 2015-10-19 09:39 来自相关话题

  36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke ...查看全部
 

36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。
进入了大数据金融2.0时代之后,金融企业的大数据入口将转向移动APP。移动互联网已经成为商业的下一个前沿,关注移动APP或扫二维码下载APP俨然成了所有金融行业商业广告中的重点。金融行业的APP将成为线上金融服务的主要入口,无论是企业金融服务和个人金融服务,都将离不开APP这个客户和大数据入口。金融行业如何利用移动APP来洞察客户,了解客户喜好、做好数字营销、优化产品设计、提高单个客户价值、管控自身运营成本、进行业绩监控、优化移动平台运营成了所有金融行业需要关心和重视的问题,本文将从几个方面来介绍在移动互联网时代,如何利用移动APP来洞察客户,优化移动运营,玩转移动金融。
珍妮.哈里斯在2007年的《分析领域的竞争》一书中提出了数字分析的五个阶段,其中阶段5属于最高级别。
阶段1,定位为分析碎片化,表现为公司有数据有分析的兴趣,但是没有将资源组织在一起。
阶段2,定位为分析割据化,表现为企业管理者支持数据分析,但是分析的重要性没有得到最高层面的认可。
阶段3,定位为分析积极化,表现为高层管理者认可分析的重要性,具有数字分析的组织和能力,但是缺乏标准、支持和工作的延续性
阶段4,定位为数字分析型公司,数字分析处于积极的发展过程中,有高管的支持,有一些标准和系统的一致性。
阶段5,定位为分析型对手(领先的数字分析企业),具有一致的标准和实践,完全实现数据整合,企业层面数字分析所产生的商业收益都已经实现资本化。
中国金融行业的大数据分析大部分处于阶段1到阶段3,由于缺少数据分析的标准和系统,很少出现处于阶段4的公司。因此建立数字分析标准对于金融行业分析移动大数据,洞察客户是非常重要的事情。
一移动APP运营标准建设(2A3R指标体系介绍)
移动APP的数据大多数为客户的点击数据和行为,代表了客户的声音(VOC),如何听取客户的声音,来了解客户,提高客户体验成了所有金融企业需要面对的问题。金融企业应该建立移动APP运营统一技术标准来帮助金融行业分析移动APP运营情况。
金融行业可以向互联网行业学习,特别是像移动运营方面比较领先的手游行业学习。手游行业的竞争激烈,用户对手游APP体验要求较高,例如游戏的地图路线,颜色搭配,魔法工具的使用,宝物出现的地点,怪物出现的时间和地点,人物升级的点数和方式都会影响用户体验;手机游戏生命周期较短,一般都少于6个月,游戏用户高峰一般出现在注册的前几个星期等;这些特点要求手机游戏APP开发者必须对其游戏的运营情况及时进行了解,因此手游移动APP运营统计分析平台对手游行业发展具有重大意义。
手游行业很早就上线了移动运营统计分析平台,形成了成熟的移动APP运营指标。在这些移动运营标准中,TalkingData的2A3R移动APP运营标准,值的金融行业借鉴学习。下面将简单介绍一下2A3R(AARRR)
AARRR是Acquisition、Activation、Retention、Revenue、Refer,这个五个单词的缩写,分别对应这一款移动应用生命周期中的5个重要环节。下面我们来简单讲解一下AARRR模型中每个项目的意义。
1、获取用户(Acquisition)
运营一款移动应用的第一步,毫无疑问是获取用户,也就是大家通常所说的推广。如果没有用户,就谈不上运营。
2、提高活跃度(Activation)
很多用户可能是通过不同的渠道进入应用的,这些用户是被动地进入应用的。如何把他们转化为活跃用户,是运营者面临的第一个问题。一个重要的因素是产品本身是否能在最初使用的几十秒钟内抓住用户。再有内涵的应用,如果给人的第一印象不好,也会”相亲”失败,成为”嫁不出去的老大难”。此外,还有些应用会通过体验良好的新手教程来吸引新用户,这在游戏行业尤其突出。
3、提高留存率(Retention)
有些应用在解决了活跃度的问题以后,又发现了另一个问题:”用户来得快、走得也快”。有时候我们也说是这款应用没有用户粘性。解决这个问题首先需要通过日留存率、周留存率、月留存率等指标监控应用的用户流失情况,并采取相应的手段在用户流失之前,激励这些用户继续使用应用。
4、获取收入(Revenue)
获取收入其实是应用运营最核心的一块。极少有人开发一款应用只是纯粹出于兴趣,绝大多数开发者最关心的就是收入。即使是免费应用,也应该有其盈利的模式。前面所提的提高活跃度、提高留存率,对获取收入来说,是必需的基础。用户基数大了,收入才有可能上量。
5、自传播(Refer)
以前的运营模型到第四个层次就结束了,但是社交网络的兴起,使得运营增加了一个方面,就是基于社交网络的病毒式传播,这已经成为获取用户的一个新途径。这个方式的成本很低,而且效果有可能非常好;唯一的前提是产品自身要足够好,有很好的口碑。从自传播到再次获取新用户,应用运营形成了一个螺旋式上升的轨道。而那些优秀的应用就很好地利用了这个轨道,不断扩大自己的用户群体。
具体的移动运营APP标准建设的文章请参考文章:运营总监教你搭建APP运营数据框架—AARRR模型。
二移动互联网APP数字分析的特点
1、移动数据中包含地理位置信息
移动互联网同传统互联网的一个区别是,移动互联网包含了LBS数据即位置数据信息,这些信息具有非结构化特点,以文本日志信息为主,可以连接用户,揭示客户的日常习惯和行为轨迹,帮助金融行业了解客户特点和喜好。
2、移动APP具有离线使用的特点
移动APP可以在离线的情况下进行使用,客户使用APP的行为数据将会记录在手机APP的日志中。传统互联网只能在用户在线的情况下进行访问,其通过网页抓包软件将用户访问行为记录在网站上,称之为在线数据记录。但是移动APP所有的数据都存在APP自身的日志里面,无论在线与否都需要通过API(专业的SDK)进行收集。移动APP中产生的很多重要数据,并没有存在APP自身的日志中,这种情况下需要专门的API采集出来。
3、移动APP的数据是活的数据,其生命周期较短
移动App的数据由于包含了位置信息,反映用户的生活轨迹和个人喜好,可以认为移动数据是活的数据,是更有价值的数据。但是由于智能手机的更换周期一般为两年,因此采集到移动APP的数据,其生命周期最长不应超过两年。一般建议采用6个月到1年左右的数据,这些数据更能准确反映客户特点,具有更大的数据价值。
很多大数据公司宣称拥有海量的数据,但是他们忽略了数据具有生命周期的特点,历史的数据没有办法来洞察客户现在的喜好和习惯,只有移动APP上实时抓取的数据才具有参考价值。由于移动大数据具有生命周期的特点,金融行业进行大数据应用时,建议采用移动APP收集的数据,其数据价值更大。
4、移动互联网数字分析需专业的分析工具
由于移动App数据不能被搜索,数据采集上就需要采用专业的数据采集工具。互联网行业都利用专业SDK工具包的API来采集数据,上传到移动APP运营统计分析平台上进行分析,因此移动App运营统计分析平台就成为金融行业了解移动运营的必备工具。金融行业如果想洞察客户,提高客户体验,对移动APP的数据进行采集和分析,了解移动APP运营情况就必须采用互联网企业专用的移动APP运营统计分析平台。
三移动APP运营统计分析平台的选择
金融行业的优势在在于了解其自身业务,了解金融数据的价值。但是在如何采集分析数据,如何玩大数据等方面,相对于专业的互联网公司并不具有优势。移动APP运营统计分析平台技术更新较快,用于数据采集的API需要不断增加,平台依据客户采集的需求要不断地进行升级,因此平台技术更新的速度是金融行业自身开发中心无法达到的。另外作为用户的其他金融行业客户,也将会参与平台的升级换代,因此建议金融行业不要自己开发移动APP运营统计分析平台,应将主要的精力用于数据分析和数据变现上面。
在人人时代的背景下,有众多金融客户参与改良的移动APP运营统计分析平台,凝聚了行业的智慧和众多人才的智慧。应该比任何一家金融机构自身开发出的移动APP运营统计分析平台具有更强的DNA和自我进化能力。因此金融企业更应该使用各个金融企业共同创造的移动APP运营统计分析平台。
四移动APP运营统计分析平台的商业价值
1、采集客户点击数据,洞察客户特点,提高客户体验
金融企业借助于移动APP运营统计分析平台,可以采集客户APP点击数据和位置数据。利用客户的点击数据,金融企业可以了解APP的设计情况,例如颜色搭配,按钮的摆放,客户的活跃度,客户留存时间,产品的点击率,客户产品喜好等数据,帮助金融行业提高客户体验,设计出用户喜爱的移动APP。
2、精细化营销方案,优先推广客户需要并为企业创造更大价值的产
移动APP的界面可视空间有限,金融企业的产品众多,到底排放哪些产品来吸引客户,成了各个产品部门的争夺焦点。有了移动App运营统计分析平台后,让统计数据说话,金融企业可以依据客户点击数,点击趋势,购买趋势等数据来进行选择。
客户需要的,点击率较高的,点击数字趋势增加的,客户购买增加的,其在APP里面上线的位置和上线时间就应该加强,反之则应该减弱。简单的讲就是平台可以帮助金融行业利用移动APP有限的界面来创造最大的价值。
3、依据客户点击数据和购买数据来设计优化产品
平台记录了客户的点击和购买数据,通过这些数据金融行业可以了解客户需求,为客户设计其需要的金融产品,提高单个客户的价值。另外可以利用这些行为数据进行分析,优化已经上线的产品,增加新产品的销售份额。这些具有反馈特点的大数据将会帮助金融企业实时了解客户,以最低的成本获得最大量的数据。客观的数据将会帮助金融企业更加了解客户,提高客户服务水平。
4、移动APP的运营管控和产品的绩效管理
平台的数据可以监控移动APP的运营情况,了解客户的活跃度,了解营销方案的效果、市场推广活动的运营效果,帮助金融企业进行营销决策。针对客户活跃度高的营销活动加大投入,创造更大的价值。对于效果不好的市场活动及时进行撤离,减少不必要的投入,同时释放APP中具有价值的界面和时间给更好的营销活动。
平台的数据也可以帮助金融企业了解产品绩效情况,帮助金融企业加大对受客户喜欢产品的投入,帮助金融行业实现动态产品设计和精细化营销管理,快速应对客户需求,取得市场领先。
总结,在大数据金融2.0时代,金融企业应该向互联网企业学习,借助移动APP运营统计分析平台,采集具有生命力的移动大数据。金融企业利用这些数据来洞察客户,了解客户的特点和需求,取得同互联网企业一样的技术优势。玩转移动金融,玩转大数据金融,提高客户体验,利用大数据创造更多的价值。

“垃圾进 垃圾出”大数据征信可靠不可靠

唐半张 发表了文章 0 个评论 1297 次浏览 2015-10-19 09:33 来自相关话题

当今大数据风行一时,各行各业都趋之若鹜。在征信业更是如此。但如果认真的问一下,什么是大数据,却没有一个一致的答案。
很多分析认为借贷双方信用信息是非对称的(asymmetric),大数据可以帮助贷方弥补与借方信息的差距。这个论点的前提是对的,但美国的经验证明信用报告能够很好的解决这个问题。而大数据用于征信存在一些很难逾越的障碍。
大数据由来
准确性是征信的第一准则。本着这种精神,我们来看一下大数据的由来和其准确定义。
在美国计算机协会数字图书馆中,大数据(Big Data) 第一次出现是在1997年10月,迈克尔·考克斯 (Michael Cox)和大卫·埃尔斯沃思(David Ellsworth)发表的一篇关于处理图像数字化后数据量管理的文章里 。 文章开头指出 “图像数字化给计算机系统出了一个有趣的难题,数据都相当大,占用主存储器,终端磁盘,甚至远程磁盘的容量。我们称之为大数据的问题。” 从这以后,数据随着互联网的发展呈现爆炸式增长。“大数据”也成为各行各业的一个热门的话题。
明白“大数据”始于图像数字化非常重要。大数据包括:可视化数据 – 视频,照片,指纹印记等;言语数据 – 声音和语言,其他声音(动物,自然);社会关系 – 工作和个人关系(LinkedIn);各种同时和即时的活动 -人类,动物或自然(信用卡交易,微博,人类活动,传感器和计量器等);等等。但占压倒性比例的数据是影像。思科(Cisco)公司去年的报告指出,目前美国78%的互联网流量是影像。这一比例在三年内会增加到84%。影像在所有新创数据中的比例,应该是接近或超过它在互联网流量中所占的份额。
具体到征信领域,通常把信息局和银行搜集的数据叫做常规数据,其他的叫大数据
大数据包括了所有可以获得和可以产生的数据。和常规数据相比,“大数据”种类多样(影像),产生速度更快(90%的数据是近两年产生的),数据量比常规数据大千倍万倍。这些特点使得传统数据分析工具和方法难以应对。
美国征信业的起源
国务院“征信管理条例”对“征信业务”做出了明确定义:“征信业务是指依法收集、整理、保存、加工个人、法人及其他组织的信用信息,并对外提供信用报告、信用评分、信用评级等的业务活动”。简而言之,征信是建立和提供“信用档案”和“信用评级”。
将此“征信业务”定义用于美国,它包括了四项相当不同的业务:
1.个人信用信息局 — 包括美国三大信用信息局Equifax、Experian、和Trans Union 和很多小型个人信息公司。
2.信用评分 — 主要用于个人。FICO(费埃哲)基本上垄断了这一行业。
3.商业信用信息局 — 未上市公司的信用信息主要由一家公司Dun & Bradstreet(邓白氏)垄断。上市公司信用信息公开,在美国证卷交易委员会(SEC)的网站上即可获得。
4. 信用评级 — 主要用于商业公司。美国有很多企业在这一领域。但最重要的有三家Standard & Poor’s (S&P), Moody’s, 和 Fitch Group.
个人和企业征信有根本的区别。本文只讨论个人征信。企业征信将在另一篇详细论述。
在美国,当一个人到银行去借钱,银行要对借款人进行“5C” (Character、Capacity、Capital、Collateral、Conditions)贷前分析和审查,以确定借款者是否会还本付息。分析和审查需要的数据,包括认识借款者是谁和其人品,以前是否借过钱,是不是有过借钱不还的记录(Character);借多少钱,什么用途;最近几年收入多少;借款人财产情况;根据收入和财产判断它是否能按时还钱 (Capacity);如果借钱买房,本金占多少比例(Capital);房子价格、状况(Collateral);此外还要分析当地的房市和经济情况(Conditions)。银行会要求借款人提供一系列的证明材料:收入、财产证明、银行月报、信用卡和已有房贷月报,以及其它报表;银行的信贷员还要打电话给申请人单位或者登门拜访,以了解申请人的人品、收入可靠性和稳定性等。银行要花很多时间,做很多工作。如果借款额大(在美国高于十万美元),银行有钱赚,借款人也可以理解。但如果是申请一个少于三万美元的信用卡,上述的过程让银行代价太大,借款人也很麻烦。这个小额贷款对借贷双方费用都太高,也就做不成了。当这成了一个需要解决的社会问题时,征信业应运而生,其目的是提供一个“信用档案”来减少或取消信贷、保险及雇佣过程中所需数据的采集和费用。
美国《公平信用报告法案》解决个人征信问题
美国在1970年通过《公平信用报告法案》以后,通过几十年的摸索和实践,基本上解决了个人征信问题。房贷中的人品分析和已有债务在信用档案中可以直接找到,减少了分析和审查的工作量。而对于无抵押小额贷款或信用卡申请,信用档案加上申请人口头报告的收入情况,就可以满足贷前分析和审查的数据要求。这极大减少了银行无抵押小额贷款或信用卡发行的费用,其结果是信用卡在2000年普及到美国成人人口的80%。
《公平信用报告法案》以法律的形式具体规定个人信用信息局、信息使用者和信息提供者的责任和义务。要求个人信息局公平、合理、准确,保护个人信息和隐私。法律指出消费者有了解自身信用文档的权利;信息局对外透露个人信息须有信息主体本人书面同意或其他具体合理用途;当信息主体本人提出信息不准确不完整时,信息局和信息提供者必须调查并给与答复。该法案还规定,个人信用档案中超过一定年限的负面纪录必须删除。例如,破产记录只能保留7年。
至于信用评分使用的信息,法律界有一致的解释。《公平信用报告法案》适用于个人信用评分使用的所有信息。这就是为什么FICO只使用信用信息局的信息来评分。
在《公平信用报告法案》通过之前,很多信息局的信息中,除了直接从债权人处获取的属于具体事实的消费者信用记录,还有一部分被定义为“消费者调查报告”的非事实信息。它的目的是了解一个消费者的性格、信誉、个性特征及生活方式等;其信息是通过“调查访谈”认识或者知道被调查者的人群,比如被调查者的邻居、朋友、同事或者合伙人等。《公平信用报告法案》对这种调查行为和信息进行了详细定义和具体限制,把它摒弃于公平信用报告之外,目的是使信用报告符合三大原则:准确性,透明性,相关性。
大数据征信难题
征信法律是大数据征信的第一个难题。
去年三月,美国国家消费者法律中心对主要的大数据征信公司进行了调查并发表了一篇重要的调查报告。题目是《大数据,个人信用评分的大失望》。文章指出大数据征信公司的信息错误率高于50%。这些公司的数据模型繁多又复杂,使用不准确的数据,有“垃圾进,垃圾出”之嫌。文章对这些公司的合法性提出质疑,建议政府加强监管。
大数据征信在中国问题更大。“征信管理条例”明确规定“采集个人信息应当经信息主体本人同意,未经本人同意不得采集。”。这比美国《公平信用报告法案》对信息采集的要求更严格。如何按照条例要求,让信息主体本人同意用没人能说得清的大数据对其进行征信,这不是个容易事。
坏账的“不可预测性”是大数据征信的第二个难题。
征信的目的是预测借款人是否会守信还贷。那么人为什么会借钱不还?这里面有两个原因,一是有钱就是不还;二是想还就是没钱。第一种情况在美国很少。原因是信用报告和就业、住房相关,对中产阶级价值很高。有工作、有钱的人不会为几万美元债务毁掉自己的信用,这是赔本买卖。但是 2008年房贷危机后产生了一个比较特殊的现象叫做策略性欠债不还——借房贷的房主在房价下跌到比贷款额低很多的时候,再去买一栋房子,然后不付以前买房子欠的贷款,把以前的房子还给银行。这一策略可以“套利”几十万美元。银行只能把房子收回,损失几十万美元。虽然这些人的信用记录上会有一个污点,但是这对信用报告的影响有限,因为其他的债务照付不误。这种坏账历史上没出现过。造成这一现象的原因一部分是经济和房价波动,但更主要的原因是政府政策失误。大数据对这种坏账的预测(征信)能力非常有限。
至于没钱还债又可分成两个原因。一个原因是借款人花钱花得多了,入不敷出。美国的一些研究调查显示大概有三分之一的美国人是”月光族“ — 每个月把挣的钱基本上花光。这部分人很多是低收入,一旦发生意外,比如车祸、生病,或者别的一些紧急用钱的情况,他们就只能把能借到的钱都用上。这些借款的利息都很高,利滚利,时间久了,还不了债,就成了坏账。有了坏账信用评分就比较低。这部分人有一个不雅的统称叫“次贷借款人” (subprime borrower),在个人信用信息局的档案里占20%-25%。银行根据信用报告和信用评分的信息识别这样的客户,对他们非常谨慎,贷款卡的紧,贷款额比较低,利息也比较高。美国几乎所有大数据征信公司都是在做“ 次贷借款人” 的征信细分(包括颇受国内关注的Zestfinance),声称可以通过大数据找出其中信用好的借贷人,但到目前成效不大。
另一个原因,也是最主要、最普遍的原因是借款人收入出了问题。美国人失业后可以领取失业保险金。美国“劳工统计局”的数字显示在经济好的时候,每四个星期新增领取失业保险金的人口大约是28万人,其中15%的人失业时间会超过半年,称为长期失业。一年平均长期失业人口约为55万。这个人群中多数也属于“次贷借款人”。而在2009年经济危机的时候,每四个星期新增领取失业保险金的人是65万,长期失业的比例是45%,当年长期失业人口约为380万。也就是说,经济差的年份里长期失业率是经济好的时候的7.2倍,按人头计算是增加了325万人。增加的这部分长期失业人群大多数曾是“优良借款人” (super-prime or prime borrowers)。
美国信用卡的坏账率在2006年是3.5%,而在2010年是10.5%。这七个百分点的增加几乎全部是新增长期失业人口造成的。经济好的时候,要预测哪年会发生经济危机、哪些人会失去工作、失去工作中的哪些人会赖账,这是不可能的。现在的经济情况和2006年有些相似,没有听说过用大数据预测下一个经济危机的,但要用大数据征信的公司倒有不少。如果清楚坏账增加的主要原因是经济危机造成的失业等内在的不可测性,那么大数据的局限性也就很明显了。
大数据如何作用于金融领域
那么大数据在金融领域有没有作为?答案是肯定的。大数据会促进银行业的发展和变革,但它的应用领域会有两个特点:1)对准确性的要求会比征信低一些; 2)会用很多录音和影像视频。在风险管理方面,大数据在减少欺诈、贷后管理以及坏账征收方面有很多应用;在市场营销,客户管理,也有很多成功的例子。金融领域的大数据创新应该在这些方面下工夫。
总之,我们今天熟悉的个人信用报告体系是美国经过半个世纪的摸索,实践,提炼形成的。它以最高的效率、最低的成本解决了就业、信贷、保险交易过程中,信贷双方财务和信用记录信息不平衡的问题。由于信用报告是透明、准确的,所以对信息持有人是有价值的。从宏观的角度来看,信用报告一方面降低了借款的成本,促进了美国内需的增长;另一方面也促进了社会诚信,和谐的发展。美国成功的经验和好的法律条文很值得中国借鉴,汲取美国和其它西方国家征信业务中的优点,改进其不完善的地方,中国有可能用十年的时间达到发达国家的征信水平。放着一个成功的样本不去研究和学习,花很多时间和资金去搞一个以大数据为名义的“消费者调查报告”,名为创新,实际上是在走一段美国人走过的弯路子,实在没有必要。

信而富:利用社交网络和网游数据为P2P贷款做信用评级

唐半张 发表了文章 0 个评论 1250 次浏览 2015-10-19 09:28 来自相关话题

你长期在社交网络上聊天或者打电脑游戏,这也许有助于提高你的信用评分。 至少中国最大的个 ...查看全部

你长期在社交网络上聊天或者打电脑游戏,这也许有助于提高你的信用评分。
至少中国最大的个人对个人(P2P)借贷网站之一是这样认为的。该公司已经利用社交网络和电脑游戏数据为5000万中国消费者进行了信用评级。
这些数据由互联网集团腾讯(Tencent)提供,来自其成百上千万用户。信而富(China Rapid Finance)对这些数据进行处理,所用算法考察用户使用腾讯服务的频率和时长。这些服务无所不包,从拥有6亿用户的社交聊天软件微信(WeChat),到智能手机游戏《糖果粉碎传奇》(Candy Crush Saga)。
评级标准似乎有些与众不同,但是信而富的创始人兼首席执行官王征宇(Zane Wang)称,利用互联网用户行为足以建立可靠的信用评级。更何况,这是对没有信用记录或信贷获取途径的80%左右中国人进行评级的唯一方式。
目前中国有5亿在金融服务上活跃的消费者……但是并未被当前的金融体系覆盖,”王征宇称,“这正是我们在试图填补的空缺。”
自从今年2月与腾讯开展合作以来,信而富利用其评级方法,在6个月内安排了300万笔P2P贷款。该公司拒绝透露这些贷款的货币价值。
王征宇称,该算法考察的是用户使用腾讯服务的时长和频率。“一个人使用社交网络服务越多,就越能表明他关心自己的名誉和诚信,”他称。
他补充称,网购记录——甚至购买网络游戏点卡——是另一个关键变量。
“这些标准与传统信用机构不同,但是利用这些数据,我们仍然可以判断一个人是否有还贷倾向,”他称。
该算法对确定信用可靠度的效果很难确定,因为该项目目前仅运行了6个月。但是,王征宇称,目前年化贷款损失率仅略高于中国消费者信用卡的平均水平。
信而富平台为潜在借款人和贷款人牵线搭桥。这些贷款人正在寻找比银行存款更高的收益率,也可能在寻找替代高风险股市的投资方式。
这些贷款利率不低,年利率达到21%——比传统信用卡的年利率高出3个百分点左右。因为相关数据并不能揭示收入或偿还能力,借款人的初始额度为80美元左右,重复借款人可享受最多1万美元的信用额度。
信而富于2001年创办,在7月完成最近一轮总值3500万美元的融资后,其交易前估值达到10亿美元。有推测称,信而富或许会进行首次公开发行(IPO),不过王征宇拒绝证实相关计划。

Monja用大数据分析为机构投资者量体裁衣

唐半张 发表了文章 0 个评论 1171 次浏览 2015-10-19 09:23 来自相关话题

文|英途途友玉器贷副总裁王金伟 2015 ...查看全部


    文|英途途友玉器贷副总裁王金伟
    2015年8月,英途邀请平安、宜信、玖富、景林等互联网金融领先公司到硅谷进行考察。一周时间,对话了近20家网贷、众筹、金融服务、移动支付和金融大数据等领域的创新企业,如LendingClub、Prosper、Sofi、Better Finance、Funding Circle、ZestFinance、Bitpay等。
    与其他平台相比,Monja的定位在专注于机构投资者和投资分析方面,与我们在之前提到过的更加专注于交易的Orchard形成很好的互补,因此不排除作为Orchard的分析工具插件存在进驻Orchard,同时快速进入Orchard庞大的机构投资者用户群体。

    Monja由3位专业人士创立,他们是分别来自于MorganStanley,RMS (Risk Management Solutions), Wells Fargo的资深人士。Monja 的CEO是James wu,毕业于哥伦比亚大学,是一位台湾籍华人,曾在摩根斯坦利工作。James wu回顾摩根斯坦利的情况指出,资产配置更加多样化和复杂化,现已经不仅局限于股权和固定收益,更拓展到房地产等方向。

    主要的机构投资者
    目前,越来越多的机构投资者进入市场,并不断投向互联网金融领域。2013年还主要依靠2大P2P平台LendingClub和Proper,而到了2015年P2P平台的多样性和专业化分工呈现了爆发性的增长。
    如今,平台很多,组合也很多,机构该如何选择,机构往往不清楚自己的损失,Monja通过大数据分析来处理借贷市场的复杂性,比较标杆的好坏利用两方面的数据,一个是平台购买,一个是投资人的历史数据,Monja依靠大数据提供三个工具进行管理:
    1、信贷选择工具——改善性能。
    2、投资分析工具——降低违约率。
    3、大数据分析工具——预测借贷人行为。
    之所以建立专业的分析工具来自于两点核心原因:
    (1)2012-2014年期间美国P2P等互联网金融业务快速发展,且快速得到机构投资者认可,机构投资者投资金额占比从2012年的26%快速上升到2014年7月的74%,且依然不断上升,机构投资者的投资需求及专业性明显增强;
    (2)2013年还主要依靠2大P2P平台LendingClub和Proper,而到了2015年P2P平台的多样性和专业化分工呈现了爆发性的增长,在多样性大幅度上升的同时,选择难度也在上升。也给各类专业化工具型公司提供了机会。
    通过以上的分析可以使投资者清楚自己的资产组合情况。

    大数据驱动下的银行应用——广发银行数据挖掘分析平台实践

    唐半张 发表了文章 0 个评论 1305 次浏览 2015-10-18 16:45 来自相关话题

    随着互联网金融的兴起,传统金融企业与互联网企业竞合加剧,越来越多的传统银行通过整合数据资源,加强数据挖掘,提升数据分析效率,助力业务转型、创新和发展,提高精细化营销、管理和决策水平。 广发银行很早就认识到数据挖掘分析在客户维护、营销推广、风险管理等 ...查看全部
    随着互联网金融的兴起,传统金融企业与互联网企业竞合加剧,越来越多的传统银行通过整合数据资源,加强数据挖掘,提升数据分析效率,助力业务转型、创新和发展,提高精细化营销、管理和决策水平。
    广发银行很早就认识到数据挖掘分析在客户维护、营销推广、风险管理等领域的核心价值和战略意义。由于各业务部门业务发展需求差异,从2002年起,信用卡、零售、风险管理、小企业金融等部门先后各自建立了数据挖掘分析系统,带来了重复部署投入、资源使用不均、系统扩展性不强、数据共享性差等问题。随着各业务条线的需求日益清晰、对数据挖掘资源需求趋于共性,考虑到集中管理、数据等资源共享、平台扩展、信息安全等诸多因素,急需对全行数据挖掘分析资源进行整合并统筹分配使用,以节约资源投入、提升数据挖掘分析效率,实现数据共享、灵活扩展。
    2014年,广发银行结合信息资源大集中、大整合、共分享、重安全的IT战略,经过严谨的调研论证,启动实施、搭建了全行数据挖掘分析平台,实现全行数据分析资源集中优化管理,提升数据分析的处理性能,满足不断增长的数据分析需求,实现了全行数据分析挖掘  的灵活扩展。该平台荣获《亚洲银行家》颁发的“2015年度最佳数据与分析项目”大奖。
    一、统一数据挖掘分析平台方案概述
    全行统一数据挖掘分析平台利用SAS网格技术的资源集中管理、负载均衡、架构灵活和高可用性等特点,规范管理数据分析,实现了全行数据分析资源的集中优化管理、数据的有效治理及共享,提高数据分析处理效率,合理控制了全行数据分析挖掘工具及系统资源的重复投入,不仅很好地满足全行各业务条线的数据分析需求,还可针对未来爆发增长的数据服务需求进行灵活扩展。广发银行全行统一数据挖掘分析平台技术架构如图1所示。

    二、统一数据挖掘分析平台技术特点
    经过7个月的建设实施,广发银行统一数据挖掘分析平台顺利投产,系统使用效果完全达到预期目标,平台自身一些独特的技术特点也大幅提升了数据挖掘分析效率。
    1.资源集中管理、调配和共享
    (1)集中管理
    平台实现了广发银行数据分析资源的集中管理和分配,包括分析平台的数据安全集中管理,用户访问权限集中管理,资源分配集中管理,任务调度集中管理等,支持全行的数据分析应用按作业、队列、主机和用户进行管理,进行不同作业的优先级设定,基于事先制定的规则排队作业,更好地利用计算资源,支持自动识别、分配、管理和优化计算资源和程序流,用户和应用程序可以利用所有的计算资源,进行更大型、更复杂的数据挖掘分析。
    (2)负载均衡
    平台实现了分析平台资源的动态优化管理,通过负载均衡管理技术,实现了数据分析多任务的均衡处理,缩短了业务分析总体处理时间,降低了单节点主机资源的消耗,满足了业务分析峰值的负载要求,提升了分析平台的处理性能。平台可以自动为应用程序生成多线程和分布式处理,在多个计算资源上运行,从而加速应用程序的运行效率,更有效地利用计算资源。
    (3)高可用
    平台提供高可用性手段来支持关键的应用服务,使用网格节点作为容灾热备节点,进行无中断的运行维护。自动检测网格中的软硬件故障并及时恢复,确保运行作业能够及时完成。借助于网格计算架构的作业检查点、重启特性,实现成功检查点自动重启作业。
    (4)灵活扩展
    平台的技术架构支持计算资源的动态扩展,可灵活地逐步添加硬件资源,以应对不断增加的用户数量和业务需求。允许网格环境中的服务器脱机而不中断业务,从而方便地进行硬件服务器的维护。专业分析工具的配置充分考虑了全行各业务发展目前及未来的数据分析需求,通过灵活的分析产品配置,运用许可分阶段更新激活的方式,实现了分析平台在数据分析、数据挖掘功能方面的灵活扩展。
    2.数据统一、规范使用
    (1)统一数据视图
    广发银行数据仓库平台(EDW)已经将分散在各个应用平台中的数据信息按客户、账户、产品、渠道等多个主题的方式进行有效的组织和存储,统一数据挖掘分析平台以EDW作为主要数据源,针对各业务部门的数据需求,统一数据加工规则,统一处理,提供给各业务部门统一的数据视图,避免了各业务部门由于数据加工口径不同带来的数据差异。
    (2)规范使用
    在统一数据挖掘分析平台的实施过程中,联合数据管控平台、信息安全处、稽核等部门,健全了配套的数据使用管理规范制度,制定了《数据工作间管理办法》、《数据挖掘需求管理办法》和《统一数据挖掘平台运营办法》等相关管理制度,使数据挖掘分析的流程固化,改变了之前数据挖掘分析松散、模糊的工作模式,使数据挖掘分析工作有章可依,提升了数据安全性。
    (3)数据共享
    统一数据挖掘分析平台保存了各业务部门的共性数据和个性数据,统一进行数据加工处理,在平台集中管理下,可以根据业务发展需要,有针对性地开放和共享跨业务条线的业务数据,快速满足跨业务条线的数据挖掘分析需求,有效支持了交叉营销、客户维护等方面的工作。
    (4)高效数据处理
    整合优化既有的数据ETL处理模式,实现了规范化的统一数据抽取、转换和加载处理,实现每天可以提供T-1的业务数据,数据处理时间控制在2.5小时之内,提升了业务数据分析的实效性。
    三、统一数据挖掘分析平台实施经验
    1.分批次实施平滑切换
    此前广发银行数据挖掘分析系统由各部门独立建设,主要应用于目标客户群定位、客户准入、额度核定、风险控制、催收、定价及贷后风险监测等领域,为广发银行的各类差异化产品及金融服务设计、营销提供决策支持。因此,全行统一数据挖掘分析平台的建设要有序实施这些应用的改造及迁移,减少对正常业务管理的影响。在平台实施中,通过与数据分析人员逐一细致分析各应用的有效性、重要性,在充分验证数据满足度、准确性基础上,分批实施数据挖掘应用的改造及迁移。
    2.数据处理优化与数据治理双管齐下
    在平台实施过程中,我们发现各部门原有数据挖掘分析系统数据处理效率不高,无法保障数据供给及时性,为此统一数据挖掘平台专门成立了数据优化小组,对各业务部门的SAS数据ETL处理模式进行整合和流程再造,形成全行统一的数据处理规范,不仅大幅提升了数据处理效率,并且有效解决了数据供给时效性不强,数据处理时间过长等问题,使业务分析人员从繁杂的数据处理工作中解放出来,将更多精力聚焦在数据分析和数据建模等提升业务价值领域的工作。
    数据优化小组的另外一项主要工作是提升数据质量,在各业务部门进行数据核对检查的过程中,存在数据质量问题,这是影响数据分析效果的关键问题,为解决这一问题,统一数据挖掘分析平台联合数据管控平台,采取多种策略进行数据治理,对于发现的业务系统数据质量问题,督促业务系统整改,确保从源头解决问题。对于数据加工口径引起的数据质量问题,和相关业务部门沟通确定数据加工口径,确保数据处理规则的权威性。针对管控平台上已制定数据规范的数据,与业务部门讨论,在统一数据挖掘分析平台上落地数据规范,针对还未制定数据规范的数据,和相关业务部门讨论沟通确定各个数据的规则,补充制定相应的数据规范。通过这种“多管齐下”、“多头治理”的方式,有效提升了数据质量。
    四、平台分析应用实践
    统一数据挖掘分析平台在推动广发银行经营管理和业务绩效提升方面发挥的重要作用主要体现在以下三个方面。一是通过对绩效考核指标的分析和挖掘,实现对分支行机构、客户经理、员工的精细化科学管理,优化内部管理和考核机制;二是通过加强对客户的分析和洞察,丰富客户全景视图,制定个性化的客户维护策略,提高客户的获取率和留存率,活跃客户的激活率和持续力,提高客户交叉销售效能,提升客户整体价值,实现对银行客户关系的精准管理;三是通过建立相应挖掘模型实现对客户信用风险、操作风险、市场风险等主要风险的计量,根据广发银行的风险偏好选择发展最优业务,在降低资本占用的同时提升全行风险管控水平。具体案例如下。
    1.官网首页金融超市理财产品精准营销案例
    为了更好地销售理财产品,广发银行官网首页于2014年3月新增了金融超市功能,为每位访问官网首页的客户固定推荐三款在售理财产品。考虑到每个客户理财偏好的差异,金融超市基于统一数据挖掘分析平台和企业级数据仓库整合的客户“360度”信息,对全行个人网银客户的理财产品偏好度进行深度分析挖掘,为访问官网的客户精准推荐定制化理财产品,有效提高理财产品的签约率和销售效率。分析平台实施前后的理财产品推荐方式对比如图2所示。

    2.对公客户担保圈图形化识别案例
    近年来,关联担保、互保、联保授信风险事件频发,担保圈授信风险愈加凸显,为此银监会专门下发通知要求商业银行加强企业担保圈贷款风险防范和化解工作。在此背景下,广发银行启动了担保圈专项检查工作,对全行有信贷余额的客户进行风险排查。相比较而言,分支行掌握的信息有限,总行拥有全行所有客户的数据,更具数据及技术优势,所以工作模式是由总行生成客户清单及担保圈明细,下发各分行,由分行逐一进行风险排查。由于担保圈可能涉及数十甚至上百家企业,并且企业间关系错综复杂、种类繁多,文字或表格描述的方式难以让分行完整理解和掌握担保圈的传递途径,需用一种简单、直观、易于理解的图形化展示方法。
    本案例对1741个担保圈,使用统一数据挖掘分析平台提供的SAS DS2CONST分析方法生成相应的HTML文件,用线条箭头描述担保方向、线条颜色描述企业间的关联关系、线条虚实描述有无资金往来、节点颜色/形状/大小描述企业的风险情况,鼠标置于企业简称上方显示企业全称、信贷余额、广发银行及他行的风险分类、风险预警信号,更简单、直观的表现出企业间的关系。分析平台实施前后的对公客户担保圈展现方式对比如图3所示。

    五、统一数据挖掘平台发展展望
    统一数据挖掘平台的建立为广发银行的数据分析团队打造了一个稳定、灵活的工作平台,不仅大幅提高了数据分析效率,还可以灵活扩展。未来,统一数据挖掘分析平台希望实施数据沙箱、分布式存储等技术,以满足爆炸式的数据存储分析需求。
    1.利用数据沙箱技术,深挖数据价值
    银行不缺数据,关键是对海量数据的整合和运用。广发银行企业级数据仓库平台已经将分散在各个应用平台中的数据信息按标准化主题的方式进行有效的组织和存储,如何挖掘出这些数据的最大价值、快速把价值传递到对客户的服务中尤为关键,利用数据沙箱技术,可以减少系统间的数据传递消耗,进一步提升数据价值传递的效率。在EDW中建立数据沙箱,统一数据挖掘分析平台可以直接基于数据沙箱进行个性化数据探索、临时性数据分析、共性数据需求提炼、概念验证、自主分析等数据试验室类分析应用,不仅减少了EDW和统一数据挖掘平台之前的数据传递消耗,还可有效降低统一数据挖掘分析平台对存储空间的需求。
    2.建立分布式存储,满足“大数据”应用需求
    大数据是重塑金融竞争格局的重要支撑,为金融企业带来创新动能,善于高效运用大数据的金融机构,将在未来的竞争中脱颖而出,大数据的应用水平也将成为金融企业打造差异化竞争优势的重要支柱。但机遇与挑战并存,面对大数据挑战,传统IT架构亟待转型。目前广发银行统一数据挖掘分析平台已经具备了一定的数据处理能力,但要面对未来爆炸式的数据量增长,还需进一步优化,可利用分布式存储技术,使用集群应用、网络技术,分布式文件系统等功能,将网络中各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储及业务访问功能,在提升系统I/O读写性能、数据高可用性和管理复杂性的同时,有效降低存储成本。

    你还在考CFA?大数据都“占领华尔街了”!

    回复

    ChinaHadoop 发起了问题 1 人关注 0 个回复 1885 次浏览 2015-12-14 16:57 来自相关话题

    未来金融之美:客户成为中心,大数据驱动业务

    唐半张 发表了文章 0 个评论 1431 次浏览 2015-10-19 10:29 来自相关话题

    随着移动互联网时代和大数据时代的到来,银行的服务模式正在改变;物联网和产业互联网的出现,令未来金融的业态轮廓逐步明显;智能科技在银行网点的应用,加快了未来金融进入我们社会的步伐。未来金融的本质就是以用户为中心,金融企业提供的不再是产品而是金融服务,银行服务将不 ...查看全部
    随着移动互联网时代和大数据时代的到来,银行的服务模式正在改变;物联网和产业互联网的出现,令未来金融的业态轮廓逐步明显;智能科技在银行网点的应用,加快了未来金融进入我们社会的步伐。未来金融的本质就是以用户为中心,金融企业提供的不再是产品而是金融服务,银行服务将不断下沉,同其他服务一起渗透到人们生活之中。未来金融的表现形式是酷炫科技、极致体验、融合服务、快捷支付。数据在未来金融服务中起到了至关重要的作用,利用大数据技术,银行可以建立针对客户的风险管理视图,帮助银行进行风险管理和金融决策。因此可以认为未来金融是客户成为中心,数据驱动业务。

    未来金融究竟同现在传统金融服务有何不同?本文将几个小故事入手,向大家介绍未来金融的魅力。
    移动金融平台成为客户互联网服务入口
    李先生清晨习惯地打开自己未来银行的移动APP,这已经是他的每天的习惯,登陆移动金融平台不是为了看自己的资产负债表,而是为赚取连续登陆积分,这些积分可以换取他每天空余时间玩的小游戏的金币,更多的积分还可以提升自己等级,享受更多的金融服务。同时积分也可作为一种虚拟货币来来支付一些服务费用。例如李先生昨天就利用积分加上一部分费用,为自己预约了健康体检,由于体检机构服务很好,减少了李先生排队时间,他已经连续三年使用移动金融平台健康体检服务了,另外它还可以利用此服务为自己母亲进行预约医院挂号,不需要母亲到医院排长队挂号了。
    上午李先生在移动金融平台预定了自己出差的旅店和机票,费用都由公司支付,但是赚取的积分归自己。中午有客户来到访,李先生需要预定一个吃饭的位置,他打开移动金融平台商户地图,选取餐饮服务,挑了一个有特色餐厅,看了看点评,最后在排队系统上面预约了一个号码,省去了中午吃饭排队的时间,如果李先生知道客户的口味,还可以将菜点好,并通过移动金融平台支付费用,又可以赚取不少积分了。下午李先生的太太打来电话,说暑假全家想去旅游,李先生登陆移动金融平台,了解了一下旅游产品,正好有一款刚刚推出的自助游产品适合他们全家,并且积分可以抵扣部分酒店费用,并且还支持分期付款。李先生立即订购了旅游服务,又有不少积分进帐。
    晚上李先生登陆移动金融服务平台,为自己家的宝宝选了一个在线教育课程,利用积分先体验一次,如果宝宝喜欢就,就继续订购。李太太喜欢看话剧,这个周末正好有时间可以同她一起去看话剧,于是李先生在服务平台上顶了两张优惠票。睡觉前看到了平台上银行即将举办的家庭聚会,小孩子可以参加一些游戏活动,太太们可以分享一下厨艺,李先生可以同朋友们打打球,同时也听一下有关出国留学和夏令营的活动介绍,活动在两周后的周末举行,只需支付积分就可以报名,无需其他费用,李先生立即就报了名。
    李先生之所以选择未来银行的移动金融服务平台,除了其服务平台可以提供物超所值的服务之外,主要的原因是移动金融平台设计简洁,用户体验很棒,移动金融平台上每一项金融服务最多只需要选择三次,不像其他网上银行出现的十多个菜单,几十个产品。李先生选择的移动金融平台只会出现三个大的图标,汇款、投资、服务。颜色、按钮形状以及视图,都可以依据李先生自己的喜好进行选择,目的就是体现一个时尚和酷,让李先生与众不同,彰显个性。常用的金融服务功能可以依据李先生的使用频率自动放到突出位置,采用醒目的字体和颜色。
    移动金融服务平台的目标就是银行以客户为中心,为客户提供极致体验的金融服务。移动金融平台同大量优质的互联网服务合作,利用支付工具打通各种服务场景,渗透到客户的家庭娱乐、旅游度假、教育培训、健康服务、餐饮消费、娱乐游戏之中,增加客户粘稠度,帮助移动金融平台成为客户互联网消费行为的入口。
    银行网点=极致体验+炫酷科技
    王先生这两天一直在听朋友介绍说未来银行网点很酷,不像传统网点,环境冷冰地,办理业务时排队时间很长。王先生很久没有去银行网点了,正想体验一下,于是他先在移动平台上找到了离家近的网点,选了理财服务。移动平台里面有理财师的资历介绍,包含其历史业绩和客户评价,他选择了适合自己的理财师,并预约了时间。
    王先生提前来到了网点,首先看到的是各种屏幕,顾客可以在大触摸屏面前选择自己需要的金融服务,填写电子表格,咨询相关问题,预约金融服务。大多数顾客在VTM机器前面办理存、取、汇业务,针对大额现金服务,银行服务屏幕提示可安排上门服务。银行的网点装修很现代,颜色搭配和空间布局更像一个休闲咖啡厅,让客户感到很亲切,顾客在开放的办公空间同银行的员工讨论需求,封闭的柜台仅仅面对大额现金交易。王先生刚进入网点,就被等候的客户经理热情地安排到了理财贵宾室,由他指定的理财师进行理财咨询,并针对王先生的投资风险偏好和资产情况,推荐三个方案,很快王先生就选定了适合自己的理财计划,20分钟之内办完了业务,愉快地离开了银行网点。
    区别于过去的银行网点,未来金融网点利用酷炫科技来提高客户体验,改变了人们过去对银行网点的印象。在未来金融网点,客户很少看到冰冷的防盗窗,厚重的银行大门,忙碌的银行服务人员。客户看到的将是开放的服务柜台,温馨的环境,一对一的贴心服务,让客户感觉如同身处在自家的客厅。VTM设备屏幕上出现的永远是微笑的服务人员,通过生物识别装置、摄像头、专业后台服务人员VTM帮助客户短时间内完成服务。大尺寸触摸屏为客户提供金融服务咨询服务,通过互动了解客户需求,将金融产品的选择权从银行交给客户,提升了客户自我价值,提高客户体验。当客户进入服务大厅,客户经理手中的移动服务管理平台可以迅速提示,其是预约客户还是非预约客户,客户到网点的需求是什么,客户个人喜好等信息。客户经理将会客户提供专属的金融服务,体现了未来金融以客户为中心的服务精髓。
    数据风险视图帮助银行定义风险偏好
    孙行长作为主管企业信贷的支行行长,今天又有个老客户需要办一笔大额贷款,这个企业是他的老客户了,按照过去的经验,只要有抵押,银行就可以快速放款。但是孙行长习惯地打开了行内风险管理系统,调出了针对这个客户的风险管理视图,从资产负债表上看这个企业经营良好,但是从其他的维度却发现这家企业产品出现了严重的质量问题,几个大客户已经取消了订购合同,另外其产品在行业里已经缺少竞争力,未来市场需求将越来越小,这就意味着其企业未来发展风险较大。孙行长向客户打电话询问的一下其贷款用途,发现贷款是用于旧产品线扩大再生产的。最终孙行长果断地拒绝了客户的贷款申请,并友好地提醒客户其产品面临的问题,建议其引进新产品,银行愿意为参与其新产品的融资服务。
    孙行长接下来处理另外一个企业贷款,从资产负债表上看出这个企业净资产较少,但是风险视图提示这个企业刚刚推出两个产品,吸引了大量的订单,其中包含银行的几个大客户,这个企业的产品具有较高的科技含量,毛利率高,有技术专利保护,行业技术壁垒较高。孙行长立即打电话咨询了这个企业的几个客户,在确认订单属实,产品领先的前提下,又通过风险管理试图调取了该企业管理人员的背景介绍和员工满意度调查表。下午孙行长还快速安排了一次现场调研,在确定风险可控的之后,两天内银行的资金到位,并且提供了额外白分之五十的授信额度。
    在未来金融,银行将建立客户的风险视图,管理人员依靠风险视图可以快速识预见风险,识别风险,控制风险。数据分析将为银行提供新的风险纬度输入,提高银行预见未来风险的能力,科学定义自身风险偏好,帮助银行进行风险管理。未来金融的风险管理不仅仅是有效控制风险,还是为银行业务发展提供有力保障和支持。
    数据分析报告为金融决策提供有效支持
    张行长主管银行的资金业务,其刚刚接到了一个资金部门的电话,目前银行有空余头寸大概30亿元,有一个同业银行未来在两个月内需要拆借一笔80亿的资金,下属需问是否可以进行拆借,是否仅拆借30亿。张行长打开了风险管理系统,了解了未来银行的现金流,特别对房子抵押贷款视图进行了调阅,根据风险管理模型,在未来的两个月内,其行内的房产抵押的6 万个客户,有百分之八十的概率将提前还款,其还款的总金额可能最低不少于50个亿。张行长依据此信息,在资金管理系统里面批准了这项同行拆借的请求。两个月内其房地产抵押客户果然提还款70亿,银行顺利完成了同业拆借业务,客户提前还款的资金被及时利用,资金闲置时间减少了一个月,为银行增加资金的利息收入一千多万。
    杨行长主持了银行月度例会时,各业务线的主管介绍了业务发展情况,其中一个业务主管要求增加农产品加工行业的贷款资金投入,主要由于农产品加工行业客户为了进行扩大再生产,提出了大量的贷款需求。杨行长咨询的数据事业部的主管,其给出了此行业发展报告,显示此行业产能过剩,其产量已经超过整体需求的百分之二十,原材料成本过高,利润空间大大压缩,农产品又具有不易长久保存的特点,因此数据事业部认为此行业风险较高,不建议增加贷款,对已有贷款需要重点观察。杨行长最后拒绝了在农产品加工行业继续增加贷款的请求。但根据数据事业部的另一份分析报告,增加了在工业机器人领域的贷款额度。
    未来金融,重大行业的金融决策将会依赖行业发展调研报告,数据事业部提供的分析报告,将为金融决策提供数据支持;产业链金融服务、供应链金融服务将会以数据分析为基础,参考行业和企业发展趋势分析报告,做出正确的金融决策。在未来金融,数据分析将在预见市场风险和把握市场机会方面将起到更加重要的作用。(这里提到的数据分析是指大数据技术中的全局数据、高效数据和有价值的数据)
    总之,未来金融之美体现在银行服务下沉,以客户为中心来建设银行网点,通过酷炫科技来提高客户体验,未来银行融入到客户日常社会生活中,为客户提供私人定制的金融服务。在未来金融,银行应向电商学习,充分利用大数据技术,建设数据管理平台,增加金融风险管理纬度,建立科学的风险视图,通过数据分析为金融决策提供有力支持。未来银行家不仅仅需要掌握综合的金融知识,还要了解数据分析工具,提高科学决策的能力。未来金融之美不仅仅体现在以客户为中心和数据驱动银行,更体现在如何利用科学技术来管理风险驾驭银行业务。

    银行3.0时代:数据成为基础架构

    唐半张 发表了文章 0 个评论 1403 次浏览 2015-10-19 10:28 来自相关话题

    产品、渠道、客户、服务、技术、风险管理是银行竞争力集中表现,这六者缺一不可, ...查看全部

    产品、渠道、客户、服务、技术、风险管理是银行竞争力集中表现,这六者缺一不可,并且相辅相成。在银行3.0时代,这六个方面在离不开数据,因此在继续银行3.0时代有关银行商业模式和竞争力的讨论前,将先会讨论数据,这里的数据不是指简单的数字,简单的量化,简单的统计。而是特指能够体现某些相关性的数据,具有商业价值的数据。业已认为,在银行3.0时代,数据将成为企业包括银行的核心竞争力之一。
    银行的3.0时代数据成为基础架构
    在讨论数据成为银行基础架构之前,先分享一下民生银行直销的案例:
    直销银行已成为银行转型中的亮点
    民生银行直销银行上线两个半月之后,其客户数已经达到35万户,资产规模超过140多亿元,这一成绩超出预期。民生银行直销银行2月28日正式上线,截至5月14日,民生银行直销银行有效客户数已达35万户,资产规模达140多亿。数据的构成或能更为直观地看到民生银行直销银行带来的突破。35万客户中,其中14万客户来自民生银行原有渠道,包括传统营业网点、手机银行等,在直销银行上线的第一个月,原有客户几乎占了全部;另有3万客户来自民生银行信用卡客户,16万客户来自中国电信翼支付客户,还有1万客户来自盛付通。要相对直观地衡量这一成绩,可以将其与一个支行网点对比。一个支行网点一年忙下来可能的增量也只有几万户。新增“外来户”占比正在逐步提高,5月13日一天,新增部分中仅有六分之一来自民生银行原有客户,其余全部为“外来客户”。这35万客户带来了140多亿元的资产,其中类余额宝产品“如意宝”占139亿元,活期存款1个多亿元,“随心存”3000多万元。140多亿元的资产中,仅有15亿元来自民生银行原有客户,其他均为“外来”客户,可见直销银行的强大竞争力。
    数据证明了直销银行的竞争力,为民生银行直销银行发展提供数据支持
    银行拥有大量的客户和交易数据,每天客户都在利用自己的资金进行交易,每个企业和客户商业行为,社会行为,个体行为在发过程中不可避免涉及金融交易,简单地说人们在价值创造和价值传递的过程中,金融需要是必不可少的。因此金融交易数据将会出现在大量社会场景中。银行掌握了这些数据,在未来的发展中,这些数据将发挥巨大的作用,利用这些数据可以分析其相关性、因果概率、风险定价、精准营销、客户管理,开发产品、拓展渠道、发现规律、建立模型等等。海量的数据分析将导致数据从量变到质变,基于商业需求,帮助银行提升竞争力和商业价值。
    在阐述具体的数据分析理论先提出几个案例假设,来介绍数据为何可以创造价值,为何是银行未来发展的基础架构。
    ·信用卡精准营销
    如果一个人在下午5点左右来加油,其可能有较大的概率在周围用餐,并且依据个人的过去的消费习惯,每次用餐费用不超过200元人民币,银行是否可以将周边符合客户消费习惯的餐馆推荐给他。并向商家收取部分费用,或者交换数据等等(来自于《大数据时代》维克托迈尔-舍恩伯格,肯尼思库克耶)
    ·贷款风险管理
    如果银行依据数据发现,某个行业的人在35岁左右,收入将会大幅度提升,但是在55岁左右会大幅度下降,并且在32岁左右,大部分人需要贷款买房,并在38岁左右形成消费高峰,否银行可以依据此数据为此部分客人提供二十年期的住房贷贷款和消费贷款。
    ·企业融资需求
    基于数据,一个企业每年都可以从一些大型企业收到货款,并且逐年增加,但是该企业帐面上的现金却逐渐减少,是否意味着这个企业正在扩张,但缺少资金支持,是否可以提高企业信用额度,并提供信用贷款等。
    ·季节消费信息
    一些客户在每年某个月都会出去旅游,一些客户在某个月需要付钱给教育或培训机构,一些客户每年一段时间会支付一些费用给医疗机构。今年客户支付给学龄前教育机构的交易笔数相对去年有较大增长,今年客户支付到海滩旅游的交易笔数比去年有较大增长,客户买车的消费在过去几年一直在逐步增加等等这些都是具有商业价值的信息,无论对企业和银行,通过数据预知客户需要和消费趋势都是至关重要的。
    ·行业发展信息
    用于房屋建设用的水泥、钢材、大型设备租赁等行业现金收入逐步减少是否意味着房地产行业出现了危机,是否要提高这个行业的风险等级。某一个市场份额占有巨大的公司将取消某个产品,未来主要生产另外一个产品,是否意味着旧产品的供应链厂商风险评级变换,现金流回出现变化,新产品的供应商是否可以提高风险评级,提供设备融资服务等。
    以上的几个例子说明的数据如果加以利用,找出数据背后的价值,将会对银行的发展起到重要的作用。下面谈谈银行3.0时代如何进行数据价值挖掘和使用。由于本文仅仅用于阐述银行3.0,对大数据技术中基本概念不再介绍,重点阐述银行未来如何进行实践。
    一、数据治理
    一句经典的话,GarbageinGarbageout,数据质量没有保证。而保证数据质量,数据治理是必须的手段。数据如果需要体现价值则必须对数据进行统一定义,统一归口标准化,数据来源统一,汇总统一,数据覆盖全面。这里引用《DAMA数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。在有关数据的战略、组织、制度进行统一管理,将数据管理协同在一起,让银行的数据通过统一的视图展现。
    二、数据分类
    据分类属于数据治理范畴但是对其对数据挖掘十分重要,因此重点阐述,这里大部分采用数据治理专家。州利为软件合伙人,刘辰的分类方法。对于银行用户最重要的数据应分为基础数据(主数据),交易数据,参考数据,统计数据。元数据(metadata)由于太专业因此不再这里进行详细介绍
    基础数据(主数据)
    主要是指客户管理相关数据,记录了客户和企业的基本信息,包含个人企业识别信息,行业归类信息,客户主要特征信息,主要关注的是“人”和“物”,主数据管理(MDM)目的是建立统一视图,让客观世界里本是同一个人或物,在数据世界里也能做到唯一识别。
    交易数据
    主要是指银行系统或渠道中产生的交易行为,关注的是发生的事件,时间,地点、金额等,交易数据时BI分析的基础,
    参考数据
    主要是指交易行为发生原因,目的,金额、选择等是更细粒度的数据,是对“人”“事”“物”的某些属性进行规范性描述的,对参考数据的管理一般会与主数据管理同时进行,或与BI数据质量管理同时进行,因为指标维度和维值直接影响到BI数据质量;
    元数据
    一个包罗万象的概念,其本质是为数据提供描述,所以任何数据都有元数据。
    统计分析数据(指标)
    主要是在实施相关数据分析后产生的具有商业价值的数据,其来源主数据、交易数据、参考数据的商业化分析,体现为各种指标和报表的计算和展示。概率论,统计论很多知识用于此指标展示。
    三、银行3.0时代数据特征
    1.数据足够大并且覆盖范围广
    银行3.0时代的数据分析中的数据来源因应覆盖各个纬度,数据来源的全面性将会对数据分析结果的覆盖范围和有效时间产生影响,数据来源可以基于客户,基于产品,基于交易时间,基于行业,基于交易类型等。样本空间足够大,数据充分,具有说服力。
    2.数据隐私应受到保护
    海量数据经过处理后可以体现商业价值,但是也是一把双刃剑,如果处理不好,将会造成客户隐私泄露,因此保护客户隐私成为重中之重。
    3.数据用于相关性分析和战略支持
    数据提供了具有价值的信息,但是绝对不能成为数据控,让数据来决定一切。数据只能作为一个产品或战略的辅助工具,来进行规律和趋势分析,起到辅助作用。产品开发、战略决策、风险管等等,都应该有具有经验和能力的金融专家来决定。千万不要让数据来决定,应为很多参考因素是不能被绝对量化的,需要人类的智慧来判断。数据分析虽然重要但是其仅仅是用于相关性分析,辅助因果分析的。银行3.0时代强调数据的重要,强调数据的价值,但是也更强调专业人才重要性。战略决策应由具有能力和胆识的银行专业人士决定,而不是数据。千万不要掉入数据统治的陷阱。
    4.数据分析工具不同
    银行3.0时代区别于以前的时代,面临的数据是海量的,非机构化的,相关性弱的数据。并且数据来源不仅仅来源于自身核心系统和产品渠道系统,还来源于移行互联网例如手机APP,客户LBS,客户社交行为,客户反馈,客户需求,以及外部购买的分析数据,外部提供的数据等等。面对如此复杂的数据,只能采用大数据的技术工具进行分析和计算。银行员工的大数据知识和思维至关重要。
    既然谈到了大数据,就谈谈大数据时代典型了三种公司类型。
    1)拥有大数据并且可以利用大数据的公司。例如Mastercard和亚马逊
    2)大数据技术提供公司例如埃森哲,IBM
    3)大数据思维公司例如goolge和Salefore
    对于银行来讲在3.0时代,其是大数据掌控公司,但是必须借助于大数据技术公司的技术和产品,以及大数据思维来实现数据创造价值。银行业务人员和科技人员的产品的了解、商业逻辑、市场判断、风险管理专业知识、大数据思维都至关重要。
    最后对本文进行一个总结
    1.数据是未来银行的重要基础架构因为其可以帮助银行开发产品,提高风险管理能力,提升客户体验,降低成本,提升效率,进行决策支持。
    2.数据应该覆盖全面,需要进行数分类和数据治理
    3.在利用数据的同时,客户隐私的保护也同样重要
    4.应具有大数据思维,采用专业数据公司的产品和技术,进行数据挖掘
    5.数据的来源不局限于银行系统,还应来源于客户社交数据
    6.认清数据的重要性,但是不让数据统治一切,其仅提供决策支持
    7.数据主要用于规律,趋势等相关性分析,因果分析应取决于专业人士
    本人并不是金融行业的专家和学者,完全是利用自己的一些金融常识,从业经验及互联网知识,基于自身爱好来进行创作。可以说是半个外行人士看内行发展。部分观点可能仅看到了一个点,没有系统地阐述,缺少扎实的金融知识作为支撑,只是从表面上来进行讨论,没有涉及到一些专业、本质的问题。欢迎阅读的人士提供宝贵的意见,我将查阅资料进行学习和提高

    如何判断一笔交易是否属于欺诈 数据挖掘算法与现实生活中的应用案例

    唐半张 发表了文章 0 个评论 1488 次浏览 2015-10-19 10:24 来自相关话题

    相对于武汉,北京的秋来的真是早,九月初的傍晚,就能够感觉到丝丝丝丝丝丝的凉意。 最 ...查看全部

    相对于武汉,北京的秋来的真是早,九月初的傍晚,就能够感觉到丝丝丝丝丝丝的凉意。
    最近两件事挺有感觉的。
    看某发布会,设计师李剑叶的话挺让人感动的。“**的设计是内敛和克制的…。希望设计成为一种,可以被忽略的存在感”。
    其次,有感于不断跳Tone的妇科圣手,冯唐,“有追求、敢放弃”是他的标签。
    “如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的著作是否出自某位名家之手”、“如何判断一个细胞是否属于肿瘤细胞”等等,这些问题似乎都很专业,都不太好回答。但是,如果了解一点点数据挖掘(Data Mining)的知识,你,或许会有柳暗花明的感觉。
    的确,数据挖掘无处不在。它和生活密不可分,就像空气一样,弥漫在你的周围。但是,很多时候,你并不能意识到它。因此,它是陌生的,也是熟悉的。
    本文,主要想简单介绍下数据挖掘中的算法,以及它包含的类型。然后,通过现实中触手可及的、活生生的案例,去诠释它的真实存在。一、数据挖掘的算法类型

    一般来说,数据挖掘的算法包含四种类型,即分类、预测、聚类、关联。前两种属于有监督学习,后两种属于无监督学习,属于描述性的模式识别和发现。
    (一)有监督学习
    有监督的学习,即存在目标变量,需要探索特征变量和目标变量之间的关系,在目标变量的监督下学习和优化算法。例如,信用评分模型就是典型的有监督学习,目标变量为“是否违约”。算法的目的在于研究特征变量(人口统计、资产属性等)和目标变量之间的关系。
    (1)分类算法
    分类算法和预测算法的最大区别在于,前者的目标变量是分类离散型(例如,是否逾期、是否肿瘤细胞、是否垃圾邮件等),后者的目标变量是连续型。一般而言,具体的分类算法包括,逻辑回归、决策树、KNN、贝叶斯判别、SVM、随机森林、神经网络等。
    (2)预测算法
    预测类算法,其目标变量一般是连续型变量。常见的算法,包括线性回归、回归树、神经网络、SVM等。
    (二)无监督学习
    无监督学习,即不存在目标变量,基于数据本身,去识别变量之间内在的模式和特征。例如关联分析,通过数据发现项目A和项目B之间的关联性。例如聚类分析,通过距离,将所有样本划分为几个稳定可区分的群体。这些都是在没有目标变量监督下的模式识别和分析。
    (1)聚类分析
    聚类的目的就是实现对样本的细分,使得同组内的样本特征较为相似,不同组的样本特征差异较大。常见的聚类算法包括kmeans、系谱聚类、密度聚类等。
    (2)关联分析
    关联分析的目的在于,找出项目(item)之间内在的联系。常常是指购物篮分析,即消费者常常会同时购买哪些产品(例如游泳裤、防晒霜),从而有助于商家的捆绑销售。二、基于数据挖掘的案例和应用
    上文所提到的四种算法类型(分类、预测、聚类、关联),是比较传统和常见的。还有其他一些比较有趣的算法分类和应用场景,例如协同过滤、异常值分析、社会网络、文本分析等。下面,想针对不同的算法类型,具体的介绍下数据挖掘在日常生活中真实的存在。下面是能想到的、几个比较有趣的、和生活紧密关联的例子。

    (一)基于分类模型的案例
    这里面主要想介绍两个案例,一个是垃圾邮件的分类和判断,另外一个是在生物医药领域的应用,即肿瘤细胞的判断和分辨。

    (1)垃圾邮件的判别
    邮箱系统如何分辨一封Email是否属于垃圾邮件?这应该属于文本挖掘的范畴,通常会采用朴素贝叶斯的方法进行判别。它的主要原理是,根据邮件正文中的单词,是否经常出现在垃圾邮件中,进行判断。例如,如果一份邮件的正文中包含“报销”、“发票”、“促销”等词汇时,该邮件被判定为垃圾邮件的概率将会比较大。
    一般来说,判断邮件是否属于垃圾邮件,应该包含以下几个步骤。
    第一,把邮件正文拆解成单词组合,假设某篇邮件包含100个单词。
    第二,根据贝叶斯条件概率,计算一封已经出现了这100个单词的邮件,属于垃圾邮件的概率和正常邮件的概率。如果结果表明,属于垃圾邮件的概率大于正常邮件的概率。那么该邮件就会被划为垃圾邮件。
    (2)医学上的肿瘤判断
    如何判断细胞是否属于肿瘤细胞呢?肿瘤细胞和普通细胞,有差别。但是,需要非常有经验的医生,通过病理切片才能判断。如果通过机器学习的方式,使得系统自动识别出肿瘤细胞。此时的效率,将会得到飞速的提升。并且,通过主观(医生)+客观(模型)的方式识别肿瘤细胞,结果交叉验证,结论可能更加靠谱。
    如何操作?通过分类模型识别。简言之,包含两个步骤。首先,通过一系列指标刻画细胞特征,例如细胞的半径、质地、周长、面积、光滑度、对称性、凹凸性等等,构成细胞特征的数据。其次,在细胞特征宽表的基础上,通过搭建分类模型进行肿瘤细胞的判断。
    (二)基于预测模型的案例
    这里面主要想介绍两个案例。即通过化学特性判断和预测红酒的品质。另外一个是,通过搜索引擎来预测和判断股价的波动和趋势。
    (1)红酒品质的判断
    如何评鉴红酒?有经验的人会说,红酒最重要的是口感。而口感的好坏,受很多因素的影响,例如年份、产地、气候、酿造的工艺等等。但是,统计学家并没有时间去品尝各种各样的红酒,他们觉得通过一些化学属性特征就能够很好地判断红酒的品质了。并且,现在很多酿酒企业其实也都这么干了,通过监测红酒中化学成分的含量,从而控制红酒的品质和口感。
    那么,如何判断鉴红酒的品质呢?
    第一步,收集很多红酒样本,整理检测他们的化学特性,例如酸性、含糖量、氯化物含量、硫含量、酒精度、PH值、密度等等。
    第二步,通过分类回归树模型进行预测和判断红酒的品质和等级。
    (2)搜索引擎的搜索量和股价波动
    一只南美洲热带雨林中的蝴蝶,偶尔扇动了几下翅膀,可以在两周以后,引起美国德克萨斯州的一场龙卷风。你在互联网上的搜索是否会影响公司股价的波动?
    很早之前,就已经有文献证明,互联网关键词的搜索量(例如流感)会比疾控中心提前1到2周预测出某地区流感的爆发。
    同样,现在也有些学者发现了这样一种现象,即公司在互联网中搜索量的变化,会显著影响公司股价的波动和趋势,即所谓的投资者注意力理论。该理论认为,公司在搜索引擎中的搜索量,代表了该股票被投资者关注的程度。因此,当一只股票的搜索频数增加时,说明投资者对该股票的关注度提升,从而使得该股票更容易被个人投资者购买,进一步地导致股票价格上升,带来正向的股票收益。这是已经得到无数论文验证了的。
    (三)基于关联分析的案例:沃尔玛的啤酒尿布
    啤酒尿布是一个非常非常古老陈旧的故事。故事是这样的,沃尔玛发现一个非常有趣的现象,即把尿布与啤酒这两种风马牛不相及的商品摆在一起,能够大幅增加两者的销量。原因在于,美国的妇女通常在家照顾孩子,所以,她们常常会嘱咐丈夫在下班回家的路上为孩子买尿布,而丈夫在买尿布的同时又会顺手购买自己爱喝的啤酒。沃尔玛从数据中发现了这种关联性,因此,将这两种商品并置,从而大大提高了关联销售。
    啤酒尿布主要讲的是产品之间的关联性,如果大量的数据表明,消费者购买A商品的同时,也会顺带着购买B产品。那么A和B之间存在关联性。在超市中,常常会看到两个商品的捆绑销售,很有可能就是关联分析的结果。
    (四)基于聚类分析的案例:零售客户细分
    对客户的细分,还是比较常见的。细分的功能,在于能够有效的划分出客户群体,使得群体内部成员具有相似性,但是群体之间存在差异性。其目的在于识别不同的客户群体,然后针对不同的客户群体,精准地进行产品设计和推送,从而节约营销成本,提高营销效率。
    例如,针对商业银行中的零售客户进行细分,基于零售客户的特征变量(人口特征、资产特征、负债特征、结算特征),计算客户之间的距离。然后,按照距离的远近,把相似的客户聚集为一类,从而有效的细分客户。将全体客户划分为诸如,理财偏好者、基金偏好者、活期偏好者、国债偏好者、风险均衡者、渠道偏好者等。

    (五)基于异常值分析的案例:支付中的交易欺诈侦测
    采用支付宝支付时,或者刷信用卡支付时,系统会实时判断这笔刷卡行为是否属于盗刷。通过判断刷卡的时间、地点、商户名称、金额、频率等要素进行判断。这里面基本的原理就是寻找异常值。如果您的刷卡被判定为异常,这笔交易可能会被终止。
    异常值的判断,应该是基于一个欺诈规则库的。可能包含两类规则,即事件类规则和模型类规则。第一,事件类规则,例如刷卡的时间是否异常(凌晨刷卡)、刷卡的地点是否异常(非经常所在地刷卡)、刷卡的商户是否异常(被列入黑名单的套现商户)、刷卡金额是否异常(是否偏离正常均值的三倍标准差)、刷卡频次是否异常(高频密集刷卡)。第二,模型类规则,则是通过算法判定交易是否属于欺诈。一般通过支付数据、卖家数据、结算数据,构建模型进行分类问题的判断。
    (六)基于协同过滤的案例:电商猜你喜欢和推荐引擎
    电商中的猜你喜欢,应该是大家最为熟悉的。在京东商城或者亚马逊购物,总会有“猜你喜欢”、“根据您的浏览历史记录精心为您推荐”、“购买此商品的顾客同时也购买了**商品”、“浏览了该商品的顾客最终购买了**商品”,这些都是推荐引擎运算的结果。
    这里面,确实很喜欢亚马逊的推荐,通过“购买该商品的人同时购买了**商品”,常常会发现一些质量比较高、较为受认可的书。
    一般来说,电商的“猜你喜欢”(即推荐引擎)都是在协同过滤算法(Collaborative Filter)的基础上,搭建一套符合自身特点的规则库。即该算法会同时考虑其他顾客的选择和行为,在此基础上搭建产品相似性矩阵和用户相似性矩阵。基于此,找出最相似的顾客或最关联的产品,从而完成产品的推荐。
    (七)基于社会网络分析的案例:电信中的种子客户
    种子客户和社会网络,最早出现在电信领域的研究。即,通过人们的通话记录,就可以勾勒出人们的关系网络。电信领域的网络,一般会分析客户的影响力和客户流失、产品扩散的关系。
    基于通话记录,可以构建客户影响力指标体系。采用的指标,大概包括如下,一度人脉、二度人脉、三度人脉、平均通话频次、平均通话量等。基于社会影响力,分析的结果表明,高影响力客户的流失会导致关联客户的流失。其次,在产品的扩散上,选择高影响力客户作为传播的起点,很容易推动新套餐的扩散和渗透。
    此外,社会网络在银行(担保网络)、保险(团伙欺诈)、互联网(社交互动)中也都有很多的应用和案例。

    (八)基于文本分析的案例
    这里面主要想介绍两个案例。一个是类似“扫描王”的APP,直接把纸质文档扫描成电子文档。相信很多人都用过,这里准备简单介绍下原理。另外一个是,江湖上总是传言红楼梦的前八十回和后四十回,好像并非都是出自曹雪芹之手,这里面准备从统计的角度聊聊。
    (1)字符识别:扫描王APP
    手机拍照时会自动识别人脸,还有一些APP,例如扫描王,可以扫描书本,然后把扫描的内容自动转化为word。这些属于图像识别和字符识别(Optical Character Recognition)。图像识别比较复杂,字符识别理解起来比较容易些。
    查找了一些资料,字符识别的大概原理如下,以字符S为例。
    第一,把字符图像缩小到标准像素尺寸,例如12*16。注意,图像是由像素构成,字符图像主要包括黑、白两种像素。
    第二,提取字符的特征向量。如何提取字符的特征,采用二维直方图投影。就是把字符(12*16的像素图)往水平方向和垂直方向上投影。水平方向有12个维度,垂直方向有16个维度。这样分别计算水平方向上各个像素行中黑色像素的累计数量、垂直方向各个像素列上的黑色像素的累计数量。从而得到水平方向12个维度的特征向量取值,垂直方向上16个维度的特征向量取值。这样就构成了包含28个维度的字符特征向量。
    第三,基于前面的字符特征向量,通过神经网络学习,从而识别字符和有效分类。
    (2)文学著作与统计:红楼梦归属
    这是非常著名的一个争论,悬而未决。对于红楼梦的作者,通常认为前80回合是曹雪芹所著,后四十回合为高鹗所写。其实主要问题,就是想确定,前80回合和后40回合是否在遣词造句方面存在显著差异。
    这事让一群统计学家比较兴奋了。有些学者通过统计名词、动词、形容词、副词、虚词出现的频次,以及不同词性之间的相关系做判断。有些学者通过虚词(例如之、其、或、亦、了、的、不、把、别、好),判断前后文风的差异。有些学者通过场景(花卉、树木、饮食、医药与诗词)频次的差异,来做统计判断。总而言之,主要通过一些指标量化,然后比较指标之间是否存在显著差异,藉此进行写作风格的判断。

    量化派基于Hadoop、Spark、Storm的大数据风控架构

    唐半张 发表了文章 0 个评论 1663 次浏览 2015-10-19 10:23 来自相关话题

    为了满足日益增长变化的业务,量化派在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,采用了Hadoop、Spark、Storm等热门的开源大数据计算引擎。 量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用 ...查看全部
    为了满足日益增长变化的业务,量化派在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,采用了Hadoop、Spark、Storm等热门的开源大数据计算引擎。
    量化派是一家金融大数据公司,为金融机构提供数据服务和技术支持,也通过旗下产品“信用钱包”帮助个人用户展示经济财务等状况,撮合金融机构为用户提供最优质的贷款服务。金融的本质是风险和流动性,但是目前中国对于个人方面的征信行业发展落后于欧美国家,个人消费金融的需求没有得到很好的满足。按照央行最新数据,目前央行征信中心的数据覆盖人口达到8亿人[1],但其中有实际征信记录的只有3亿人左右,有5亿人在征信系统中只是一个身份证号码。此外,我国还有5亿人跟银行从来没有信贷交易关系,这5亿人对金融部门来说是陌生人。这样算下来,有征信记录的人只占到全国人口数的23.7%,远低于美国征信体系对人口的85%的覆盖率。如何在信用记录缺失的情况下,做好多个人用户的风险定价,是个棘手的难题。量化派通过基于机器学习和互联网化的风险定价,整合互联网及传统数据源,对个人在消费金融应用场景里的信用风险进行评估。这篇文章就主要介绍一下量化派的大数据平台,以及机器学习在量化派的应用。一、互联网化的风控创新
    量化派及“信用钱包”的核心任务是让用户可以凭借其良好的信用,而无需抵押或者担保就可以贷款。也就是说,用户仅凭信用即可开启财富之门。为了达到这个目的,信用钱包需要把用户个性化的需求与信贷产品信息精准匹配到一起。在帮助用户找到合适自己的信贷产品的同时,也帮助信贷产品公司找到了最合适的贷款用户,从而实现信贷消费者和信贷产品提供者的双赢。为了确保贷款的高成功率,为了更好的掌握用户需求以及对个人进行信用评级,我们需要大数据平台的支持。
    目前,可以接入央行征信中心的金融机构仅仅只有银行、持牌照的第三方征信服务商以及部分地区的小贷公司,绝大多数的P2P平台还无法接入央行的征信数据,这无疑加大了P2P平台的风控难度。在征信思路上,传统征信是用昨天的信用记录来判断今天的信用价值,这未见得就是最合理的。在征信技术上,传统的方法是从线下采集信用数据,效率比较低。可以说,传统的线下征信技术限制了数据来源和信用评估思路,而互联网的技术、工具和思维则具备了改变这一切的可能性。回归到征信的本质,其实就在于解决两方面问题:信用能力和信用意愿,换而言之,即解决个人的还款能力和还款意愿,再追根溯源一点,即解决坏账和逾期两个问题[2]。量化派公司基于大数据的用户征信和传统征信殊途同归,所不同的是,传统征信中,数据依赖于银行信贷数据,而大数据征信的数据并不仅仅包括传统的信贷数据,同时也包括了与消费者还款能力、还款意愿相关的一些描述性风险特征,这些相关性描述风险特征的抽取与筛选是量化派的技术核心。相比于传统征信数据的强相关性,这些大数据征信的数据与消费者的信用状况相关性较弱,量化派就利用大数据技术,通过用户授权等方法搜集了更多的数据维度来加强这些弱相关数据的描述能力。这样就使大数据征信不依赖于传统信贷数据,就可以对传统征信无法服务的人群进行征信,实现对整个消费者人群的覆盖[3]。我们的数据来源如下图所示:

    图一 量化派的数据来源二、量化派的大数据平台架构
    量化派的信用钱包每天都会获取大量的用户的注册信息等结构化数据以及爬虫抓取的非结构化数据,还有第三方的接入数据,系统运行产生的日志数据等等,数据的形式多种多样,如何保护好、利用好这些数据,是公司重中之重的任务。量化派的业务也决定了公司是数据驱动型的。为了更好的满足公司日益增长变化的业务,在大数据平台建设中全面拥抱开源的基础上,进行了不停迭代设计,对数据平台中采用的开源软件进行了深度应用开发,同时还开发了很多契合业务需求的工具软件,很好的支撑我们去实现普惠金融的理想。量化派公司的数据平台架构如图二所示。

    图二 量化派的数据平台架构
    相比我国的网民数量,信贷用户只占其中的一小部分,所以我司产品的用户基数并不是非常大,但是,为了给信贷用户更准确的信用评级,对于每个信贷用户我们都会从多个渠道获取大量的有效数据,这些数据聚合起来也是海量数据规模。公司发展伊始,几乎将所有的数据都存放在Mysql关系数据库中,工程师使用标准SQL语句来存储或者调用数据资源。Mysql很快就遇到了性能瓶颈,虽然可以通过不停地优化整个Mysql集群以应对数据的快速增长,但是面对复杂的数据业务需求,Mysql显然无法提供最优的解决方案。所以我司最终决定将数据迁移到大数据平台上,Mysql仅用来存储需要经常变化的状态类数据。除了系统运行日志直接存放在HDFS之中,大量的数据利用HBase来进行管理。HBase中的数据按照不同的数据源存放在不同的表中,每张表按照业务和存储需求对rowkey进行精心设计,确保海量数据中查询所需数据毫秒级返回。
    根据业务的不同特点,对于常规的数据ETL处理,我们使用MapReduce[4]框架来完成;BI和数据挖掘这些工作都放到了Spark[5]上。这样一来,依赖不同任务或不同计算框架间的数据共享情况在所难免,例如Spark的分属不同Stage的两个任务,或Spark与MapReduce框架的数据交互。在这种情况下,一般就需要通过磁盘来完成数据交换,而这通常是效率很低的。为了解决这个问题,我们引入了Tachyon[6]中间层,数据交换实际上在内存中进行了。而且,使用了Tachyon之后还解决了Spark任务进程崩溃后就要丢失进程中的所有数据的问题,因为此时数据都在Tachyon里面了,从而进一步提升了Spark的性能。Tachyon自身也具有较强的容错性,Tachyon集群的master通过ZooKeeper[7]来管理,down机时会自动选举出新的leader,并且worker会自动连接到新的leader上。
    多维度的征信大数据可以使得量化派可以融合多源信息,采用了先进机器学习的预测模型和集成学习的策略,进行大数据挖掘。不完全依赖于传统的征信体系,即可对个人消费者从不同的角度进行描述和进一步深入地量化信用评估。公司开发了多个基于机器学习的分析模型,对每位信贷申请人的数千条数据信息进行分析,并得出数万个可对其行为做出测量的指标,这些都在数秒之内完成。三、不同场景的机器学习方法
    上部分说到量化派首先需要对用户进行信用风险的评估,为了让用户可以仅凭信用,而无需抵押和担保就可贷款成功。美国有着很完善的征信体系,以及成熟的信用评估系统。通过几十年的发展,美国的三大征信局[8]对85%的公民有着详细的信用记录:包括信用卡,房贷,以往的住址,工作等情况都有记录在案。而且在找工作,租房时候也会查询个人信用记录,如果有违约等不良行为也会反馈给征信局。Fair Issac公司的FICO评分是业界应用最为广泛的评分,是建立在详细的个人征信记录上的预测系统。FICO从最开始的用图表画出的评分,到后来演化为logistic regression类的回归算法,用来预测用户在未来一段时间内违约的可能性。近年来,在predictive analytics 方面的发展,deep learning 在supervised learning里面得到了广泛应用。
    中国由于在征信方面的数据缺失,需要通过更为自由的模式来创新和跨越式发展。宜信[9]作为国内最大的p2p机构,拥有多年的业务积累,以及一流的风控团队。传统上是通过线下风控的手段,对用户进行详尽的背景调查。收集用户的资料例如他们有的曾提交过信用报告、联系人信息、教育水平、工资单、银行流水等一系列传统征信数据。这样的贷款审核流程耗时较长,贷款申请人往往需要少则几天,多则数月的等待。时间成本过大,流程繁琐,是用户痛点所在,造成了潜在贷款用户的大量流失。提高审核效率,优化贷款流程,把申请人贷款体验做到极致,最终做到极速放贷是大势所趋。到目前,宜信也开始从传统的线下业务,开始往线上做业务拓展,宜信的瞬时贷通过大数据进行实时授信,用户授权系统读取信用卡账单邮箱、电商、运营商相关记录信息,得到有关你性格、消费偏好的个人画像。同时进行交叉验证形成风控机制,进而计算出每一个用户的风险评分,最终判断是否应该放款,以及该用户的授信额度、 还款周期等并最快达到10分钟放款。另外,蚂蚁金服的芝麻信用[10],根据个人淘宝、支付宝等交易数据以及其他授权数据,对个人进行信用评分。芝麻信用综合考虑了个人用户的信用历史,行为偏好,履约能力,身份特质,人脉关系等五个纬度的信息得出的。于此同时,腾讯系的腾讯征信都会考虑到一些信贷之外的一些信息。除了微信支付、QQ钱包绑定的银行卡外,腾讯还能够从更大范围获取数据,比如很多银行都在微信上开通了公众号,向用户发送消费数据;微信的社交状况也能够对个人的资质进行有效的评估。
    量化派对用户的信息整合也包括了用户的社交信息,不光包含了用户的画像 (性别、职业、爱好等等),也包含了用户之间的关系。如果说每个人是图中的一个节点,那么人与环境所形成的关系就是两点间的线。当把“点和线”综合起来分析时,我们对个人的性格特征、信用状况、财富属性都会有更深层、更全面的理解。Google 的 PageRank 算法考虑到了web页面的相关性来提高页面的质量,例如权重高的页面指向链接的页面对应的权重相对来说会比较高。类似来说,信贷风险低的用户的常用联系人的小圈子,个人资质的也应该是比较好的。
    另一个方面,“信用钱包”需要把用户个性化的需求与信贷产品信息精准匹配到一起。帮助用户找到合适自己的信贷产品,实现信贷消费者和信贷产品提供者的双赢。我们对信贷产品向用户做了基于协同过滤的和基于产品信息匹配的推荐。在对用户做了较为准确的信用评价之后,我们的分发平台(如图三所示)会根据贷款用户的贷款需求来分派给相应的贷款产品,这样就出现了一个客户面对多款信贷产品的情况。我们会根据批贷额度、贷款利率、承诺放款速度等因素在多个信贷产品中选出最适合用户的产品。

    图三 分单平台系统四、美国的风控系统案例
    打造一流的风控系统不是光靠数据分析师团队能够做到的,整个风控是需要在公司的DNA里面。美国的Capital One是最早利用大数据分析来判断个人借款还款概率的公司,本文的作者都曾经在Capital One 工作过,并在金融危机发生的时候也在那边,目睹了他是如何发展壮大成第五大银行的。在危机开始的时候,非常果断的把有潜在问题的GreenPoint Mortgage整体出售,并在危机发生的时候,谨慎挑战风险政策来控制风险,并在危机发生的时候以非常低廉的价格收购华盛顿地区的Chevy Chase 银行, ING Direct, HSBC Card北美分部。并完善其Local Banking, Global Lending的策略。
    Capital One的风控系统是通过多年的积累和演变而形成的。Capital One 的 Analytics 部门里面分为几个种类,Data Analyst, Business Analyst, Statistician/Modeler. 不仅仅是分析师专注的做模型,做风控来对模型进行大数据分析。所有的决策者,包括商务的总监,运营副总等,所有的决策都会有大量的数据分析,模型策略做支撑。
    Capital One在各个业务部门都有很多的决策引擎和模型来支撑。在获取用户时,根据不同的业务线prime, subprime, 汽车金融等,有专门的 customer model,risk model等。在用户关系管理方面,有cross-sell model, customer contact model等。除此还有专门的反欺诈模型,包含identify-fraud model, payment fraud model等等。不同的业务线有着这么多种类的模型,对于这些模型的监管也都是有一套系统的流程的。对于每个模型,模型开发人员会对模型开发写出详细的文档,有着一套类似于code review, unit test的检验机制。公司层面,部门设有专门的中高级别scoring officer (模型官), 负责定期对模型进行监管和监测。除了对于整体模型的效果的监管,整体评分的分布的稳定性;还包括在变量层面的监管,监测模型的重要变量的稳定性。 Capital One 用到的大量征信局的数据和在自身平台上沉淀的用户数据,根据以往的用户的个人行为和违约记录,建立的用户风险决策模型对用户进行评估,模型的效果会比FICO分数高40%以上。
    面向个人消费的风控体系的搭建是一个长期的,系统的工程。在中国目前的市场情况,缺失的个人信用风险和高速发展的互联网金融,以及未被满足的普惠金融需求是十分矛盾的。移动互联网时代的到来,对个人风险评估带来了崭新的视角。大数据平台和机器学习的结合能够带来多样化的创新,量化派的使命就是通过这两者的结合来服务互联网金融机构,降低全行业的风险。

    从银行、保险到证券,揭开大数据在金融行业的应用

    唐半张 发表了文章 0 个评论 1567 次浏览 2015-10-19 10:20 来自相关话题

    数据显示,中国大数据IT应用投资规模以五大行业最高,其中以互联网行业占比最高,占大数据IT应用投资规模的28.9%,其次是电信领域(19.9%),第三为金融领域(17.5%),政府和医疗分别为第四和第五。 ...查看全部
    数据显示,中国大数据IT应用投资规模以五大行业最高,其中以互联网行业占比最高,占大数据IT应用投资规模的28.9%,其次是电信领域(19.9%),第三为金融领域(17.5%),政府和医疗分别为第四和第五。

    根据国际知名咨询公司麦肯锡的报告显示:在大数据应用综合价值潜力方面,信息技术、金融保险、政府及批发贸易四大行业潜力最高高。具体到行业内每家公司的数据量来看,信息、金融保险、计算机及电子设备、公用事业四类的数据量最大。
    不同行业应用大数据技术潜在价值评估

    数据来源:麦肯锡《大数据的下一个前沿:创新、竞争和生产力》报告
    可以看出,无论是投资规模和应用潜力,信息行业(互联网和电信)和金融行业都是大数据应用的重点行业。由于上一篇《BAT互联网企业大数据应用》已经重点介绍了互联网行业的大数据应用情况,本文将讲点介绍行金融行业大数据应用情况,下一篇文章将重点介绍电信行业的大数据应用情况。
    金融行业大数据应用投资分布

    从投资结构上来看,银行将会成为金融类企业中的重要部分,证券和保险分列第二和第三位。接下来,我们将分别介绍银行、保险和证券行业的大数据应用情况。Part1 银行大数据应用
    国内不少银行已经开始尝试通过大数据来驱动业务运营,如中信银行信用卡中心使用大数据技术实现了实时营销,光大银行建立了社交网络信息数据库,招商银行则利用大数据发展小微贷款。总的来看银行大数据应用可以分为四大方面:
    第一方面:客户画像应用。
    客户画像应用主要分为个人客户画像和企业客户画像。个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等;企业客户画像包括企业的生产、流通、运营、财务、销售和客户数据、相关产业链上下游等数据。值得注意的是,银行拥有的客户信息并不全面,基于银行自身拥有的数据有时候难以得出理想的结果甚至可能得出错误的结论。比如,如果某位信用卡客户月均刷卡8次,平均每次刷卡金额800元,平均每年打4次客服电话,从未有过投诉,按照传统的数据分析,该客户是一位满意度较高流失风险较低的客户。但如果看到该客户的微博,得到的真实情况是:工资卡和信用卡不在同一家银行,还款不方便,好几次打客服电话没接通,客户多次在微博上抱怨,该客户流失风险较高。所以银行不仅仅要考虑银行自身业务所采集到的数据,更应考虑整合外部更多的数据,以扩展对客户的了解。包括:
    1)客户在社交媒体上的行为数据(如光大银行建立了社交网络信息数据库)。通过打通银行内部数据和外部社会化的数据可以获得更为完整的客户拼图,从而进行更为精准的营销和管理;
    (2)客户在电商网站的交易数据,如建设银行则将自己的电子商务平台和信贷业务结合起来,阿里金融为阿里巴巴用户提供无抵押贷款,用户只需要凭借过去的信用即可;
    (3)企业客户的产业链上下游数据。如果银行掌握了企业所在的产业链上下游的数据,可以更好掌握企业的外部环境发展情况,从而可以预测企业未来的状况;
    (4)其他有利于扩展银行对客户兴趣爱好的数据,如网络广告界目前正在兴起的DMP数据平台的互联网用户行为数据。第二方面:精准营销。
    在客户画像的基础上银行可以有效的开展精准营销,包括:
    (1)实时营销。实时营销是根据客户的实时状态来进行营销,比如客户当时的所在地、客户最近一次消费等信息来有针对地进行营销(某客户采用信用卡采购孕妇用品,可以通过建模推测怀孕的概率并推荐孕妇类喜欢的业务);或者将改变生活状态的事件(换工作、改变婚姻状况、置居等)视为营销机会;
    (2)交叉营销。即不同业务或产品的交叉推荐,如招商银行可以根据客户交易记录分析,有效地识别小微企业客户,然后用远程银行来实施交叉销售;
    (3)个性化推荐。银行可以根据客户的喜欢进行服务或者银行产品的个性化推荐,如根据客户的年龄、资产规模、理财偏好等,对客户群进行精准定位,分析出其潜在金融服务需求,进而有针对性的营销推广
    (4)客户生命周期管理。客户生命周期管理包括新客户获取、客户防流失和客户赢回等。如招商银行通过构建客户流失预警模型,对流失率等级前20%的客户发售高收益理财产品予以挽留,使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点。第三方面:风险管控。包括中小企业贷款风险评估和欺诈交易识别等手段。
    (1)中小企业贷款风险评估。银行可通过企业的产、流通、销售、财务等相关信息结合大数据挖掘方法进行贷款风险分析,量化企业的信用额度,更有效的开展中小企业贷款。
    (2)实时欺诈交易识别和反洗钱分析。银行可以利用持卡人基本信息、卡基本信息、交易历史、客户历史行为模式、正在发生行为模式(如转账)等,结合智能规则引擎(如从一个不经常出现的国家为一个特有用户转账或从一个不熟悉的位置进行在线交易)进行实时的交易反欺诈分析。如IBM金融犯罪管理解决方案帮助银行利用大数据有效地预防与管理金融犯罪,摩根大通银行则利用大数据技术追踪盗取客户账号或侵入自动柜员机(ATM)系统的罪犯第四方面:运营优化。
    (1)市场和渠道分析优化。通过大数据,银行可以监控不同市场推广渠道尤其是网络渠道推广的质量,从而进行合作渠道的调整和优化。同时,也可以分析哪些渠道更适合推广哪类银行产品或者服务,从而进行渠道推广策略的优化。
    (2)产品和服务优化:银行可以将客户行为转化为信息流,并从中分析客户的个性特征和风险偏好,更深层次地理解客户的习惯,智能化分析和预测客户需求,从而进行产品创新和服务优化。如兴业银行目前对大数据进行初步分析,通过对还款数据挖掘比较区分优质客户,根据客户还款数额的差别,提供差异化的金融产品和服务方式。
    (3)舆情分析:银行可以通过爬虫技术,抓取社区、论坛和微博上关于银行以及银行产品和服务的相关信息,并通过自然语言处理技术进行正负面判断,尤其是及时掌握银行以及银行产品和服务的负面信息,及时发现和处理问题;对于正面信息,可以加以总结并继续强化。同时,银行也可以抓取同行业的银行正负面信息,及时了解同行做的好的方面,以作为自身业务优化的借鉴。Part2 保险行业大数据应用
    过去,由于保险行业的代理人的特点,所以在传统的个人代理渠道,代理人的素质及人际关系网是业务开拓的最为关键因素,而大数据在在新客户开发和维系中的作用就没那么突出。但随着互联网、移动互联网以及大数据的发展,网络营销、移动营销和个性化的电话销售的作用将会日趋显现,越来越多的保险公司注意到大数据在保险行业中的作用。总的来说,保险行业的大数据应用可以分为三大方面:客户细分及精细化营销、欺诈行为分析和精细化运营。
    第一方面:客户细分和精细化营销
    (1)客户细分和差异化服务。风险偏好是确定保险需求的关键。风险喜好者、风险中立者和风险厌恶者对于保险需求有不同的态度。一般来讲,风险厌恶者有更大的保险需求。在客户细分的时候,除了风险偏好数据外,要结合客户职业、爱好、习惯、家庭结构、消费方式偏好数据,利用机器学习算法来对客户进行分类,并针对分类后的客户提供不同的产品和服务策略。
    (2)潜在客户挖掘及流失用户预测。保险公司可通过大数据整合客户线上和线下的相关行为,通过数据挖掘手段对潜在客户进行分类,细化销售重点。通过大数据进行挖掘,综合考虑客户的信息、险种信息、既往出险情况、销售人员信息等,筛选出影响客户退保或续期的关键因素,并通过这些因素和建立的模型,对客户的退保概率或续期概率进行估计,找出高风险流失客户,及时预警,制定挽留策略,提高保单续保率。
    (3)客户关联销售。保险公司可以关联规则找出最佳险种销售组合、利用时序规则找出顾客生命周期中购买保险的时间顺序,从而把握保户提高保额的时机、建立既有保户再销售清单与规则,从而促进保单的销售。除了这些做法以外,借助大数据,保险业可以直接锁定客户需求。以淘宝运费退货险为例。据统计,淘宝用户运费险索赔率在50%以上,该产品对保险公司带来的利润只有5%左右,但是有很多保险公司都有意愿去提供这种保险。因为客户购买运费险后保险公司就可以获得该客户的个人基本信息,包括手机号和银行账户信息等,并能够了解该客户购买的产品信息,从而实现精准推送。假设该客户购买并退货的是婴儿奶粉,我们就可以估计该客户家里有小孩,可以向其推荐关于儿童疾病险、教育险等利润率更高的产品。
    (4)客户精准营销。在网络营销领域,保险公司可以通过收集互联网用户的各类数据,如地域分布等属性数据,搜索关键词等即时数据,购物行为、浏览行为等行为数据,以及兴趣爱好、人脉关系等社交数据,可以在广告推送中实现地域定向、需求定向、偏好定向、关系定向等定向方式,实现精准营销。第二方面:欺诈行为分析
    基于企业内外部交易和历史数据,实时或准实时预测和分析欺诈等非法行为,包括医疗保险欺诈与滥用分析以及车险欺诈分析等。
    (1)医疗保险欺诈与滥用分析。医疗保险欺诈与滥用通常可分为两种,一是非法骗取保险金,即保险欺诈;另一类则是在保额限度内重复就医、浮报理赔金额等,即医疗保险滥用。保险公司能够利用过去数据,寻找影响保险欺诈最为显著的因素及这些因素的取值区间,建立预测模型,并通过自动化计分功能,快速将理赔案件依照滥用欺诈可能性进行分类处理。
    (2)车险欺诈分析。保险公司够利用过去的欺诈事件建立预测模型,将理赔申请分级处理,可以很大程度上解决车险欺诈问题,包括车险理赔申请欺诈侦测、业务员及修车厂勾结欺诈侦测等。第三方面:精细化运营
    (1)产品优化,保单个性化。过去在没有精细化的数据分析和挖掘的情况下,保险公司把很多人都放在同一风险水平之上,客户的保单并没有完全解决客户的各种风险问题。但是,保险公司可以通过自有数据以及客户在社交网络的数据,解决现有的风险控制问题,为客户制定个性化的保单,获得更准确以及更高利润率的保单模型,给每一位顾客提供个性化的解决方案。
    (2)运营分析。基于企业内外部运营、管理和交互数据分析,借助大数据台,全方位统计和预测企业经营和管理绩效。基于保险保单和客户交互数据进行建模,借助大数据平台快速分析和预测再次发生或者新的市场风险、操作风险等。
    (3)代理人(保险销售人员)甄选。根据代理人员(保险销售人员)业绩数据、性别、年龄、入司前工作年限、其它保险公司经验和代理人人员思维性向测试等,找出销售业绩相对最好的销售人员的特征,优选高潜力销售人员。Part3 证券行业大数据应用
    大数据时代,券商们已意识到大数据的重要性,券商对于大数据的研究与应用正在处于起步阶段,相对于银行和保险业,证券行业的大数据应用起步相对较晚。目前国内外证券行业的大数据应用大致有以下三个方向:第一方面:股价预测
    2011年5月英国对冲基金Derwent Capital Markets建立了规模为4000 万美金的对冲基金,该基金是首家基于社交网络的对冲基金,该基金通过分析Twitter 的数据内容来感知市场情绪,从而指导进行投资。利用 Twitter 的对冲基金 Derwent Capital Markets 在首月的交易中确实盈利了,其以1.85%的收益率,让平均数只有0.76%的其他对冲基金相形见绌。
    麻省理工学院的学者,根据情绪词将twitter内容标定为正面或负面情绪。结果发现,无论是如“希望”的正面情绪,或是“害怕”、“担心”的负面情绪,其占总twitter内容数的比例,都预示着道琼斯指数、标准普尔500指数、纳斯达克指数的下跌;
    美国佩斯大学的一位博士则采用了另外一种思路,他追踪了星巴克、可口可乐和耐克三家公司在社交媒体上的受欢迎程度,同时比较它们的股价。他们发现,Facebook上的粉丝数、Twitter 上的听众数和 Youtude 上的观看人数都和股价密切相关。另外,品牌的受欢迎程度,还能预测股价在10天、30天之后的上涨情况。
    但是,Twitter 情绪指标,仍然不可能预测出会冲击金融市场的突发事件。例如,在2008年10月13号,美国联邦储备委员会突然启动一项银行纾困计划,令道琼斯指数反弹,而3天前的Twitter相关情绪指数毫无征兆。而且,研究者自己也意识到,Twitter 用户与股市投资者并不完全重合,这样的样本代表性有待商榷,但仍无法阻止投资者对于新兴的社交网络倾注更多的热情。第二,客户关系管理
    (1)客户细分。通过分析客户的账户状态(类型、生命周期、投资时间)、账户价值(资产峰值、资产均值、交易量、佣金贡献和成本等)、交易习惯(周转率、市场关注度、仓位、平均持股市值、平均持股时间、单笔交易均值和日均成交量等)、投资偏好(偏好品种、下单渠道和是否申购)以及投资收益(本期相对和绝对收益、今年相对和绝对收益和投资能力等),来进行客户聚类和细分,从而发现客户交易模式类型,找出最有价值和盈利潜力的客户群, 以及他们最需要的服务, 更好地配置资源和政策, 改进服务,抓住最有价值的客户。
    (2)流失客户预测。券商可根据客户历史交易行为和流失情况来建模从而预测客户流失的概率。如2012年海通证券自主开发的“给予数据挖掘算法的证券客户行为特征分析技术”主要应用在客户深度画像以及基于画像的用户流失概率预测。通过对海通100多万样本客户、半年交易记录的海量信息分析,建立了客户分类、客户偏好、客户流失概率的模型。该项技术最大初衷是希望通过客户行为的量化分析,来测算客户将来可能流失的概率。第三,投资景气指数。
    2012年,国泰君安推出了“个人投资者投资景气指数”(简称3I指数),通过一个独特的视角传递个人投资者对市场的预期、当期的风险偏好等信息。国泰君安研究所对海量个人投资者样本进行持续性跟踪监测,对账本投资收益率、持仓率、资金流动情况等一系列指标进行统计、加权汇总后得到的综合性投资景气指数。
    3I指数通过对海量个人投资者真实投资交易信息的深入挖掘分析,了解交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。在样本选择上,选择资金100万元以下、投资年限5年以上的中小投资者,样本规模高达10万,覆盖全国不同地区,所以,这个指数较为有代表性。在参数方面,主要根据中小投资者持仓率的高低、是否追加资金、是否盈利这几个指标,来看投资者对市场是乐观还是悲观。“3I指数”每月发布一次,以100为中间值,100—120属于正常区间,120以上表示趋热,100以下则是趋冷。从实验数据看,从2007年至今,“3I指数”的涨跌波动与上证指数走势拟合度相当高。
    下图是2012年1月到2014年2月的3I指数(虚线)和上证综指运行(实线)走势图,注:3I指标在80以下表明个人投资者的投资景气度“低迷”,100以下表明“趋冷”。

    资料来源:国泰君安
    总的来看,大数据在金融行业的应用起步比互联网行业稍晚,其应用深度和广度还有很大的扩展空间。金融行业的大数据应用依然有很多的障碍需要克服,比如银行企业内各业务的数据孤岛效应严重、大数据人才相对缺乏以及缺乏银行之外的外部数据的整合等问题。可喜的是,金融行业尤其是以银行的中高层对大数据渴望和重视度非常高,相信在未来的两三年内,在互联网和移动互联网的驱动下,金融行业的大数据应用将迎来突破性的发展。

    大数据在金融行业的应用

    唐半张 发表了文章 0 个评论 1318 次浏览 2015-10-19 10:17 来自相关话题

    一:风险控制(贷款偿还预测和客户信用评价) 有 ...查看全部

    一:风险控制(贷款偿还预测和客户信用评价)
    有很多因素会对货款偿还效能和客户信用等级计算产生不同程度的影响。数据挖掘的方法,如特征选择和属性相关性计算,有助于识别重要的因素和非相关因素。例如,与货款偿还风险相关的因素,包括货款率、资款期限、负债率、偿还与收入(payment—to—income)比率、客户收入水平、受教育程度、居住地区、信用历史等等。而其中偿还与收入比率是主导因素,受教育水平和负债率则不是。银行可以据此调整货款发放政策,以便将货款发放给那些曾被拒绝、但根据关键因素分析、其基本信息显示是相对低风险的申请者。
    二:交叉销售(业务关联分析)
    通过关联分析可找出数据库中隐藏的关联网,银行存储了大量的客户交易信息,可对客户的收入水平、消费习惯、购买物品等指标进行挖掘分析,找出客户的潜在需求;并对各个理财产品进行交叉分析,找出关联性较强的产品,从而对客户进行有针对性的关联营销,提高银行业绩。
    三:客户市场细分
    根据银行大量的客户资料以及客户存储款情况,利用有效的聚类或者协同过滤,将客户有效地划分为不同的组,使得具有相同存储和贷款行为的客户分为一组,从而可以对每一组总结各自每个组的特点,对每个组开展有针对性活动。
    此外,针对不同的客户类型(例如大客户类型,潜在价值高,但是忠诚度很难保持)设计出量体裁衣的产品组合、沟通方式,以及客户服务,从而达到提高客户忠诚度、实现关联销售、最优化定价、产品直销、产品再设计,以及渠道管理的目的。而这些目标的实现,致使客户管理总体成本降低,客户关系得以改善,最终成功实现零售业务块利润率的提高。
    四:客户价值分析
    根据“二八原则”,找出重点客户,即对银行创造80%价值的20%客户实施最优质的服务,通过对客户金融产品的使用频率以及持续性等指标判断客户的忠诚度。
    五:客户流失预警
    根据客户属性特征、存储款、贷款、金融产品使用等数据,运用数据挖掘技术,找到流失客户的共同特征,从而针对具有相似特征的客户还未流失前,进行有针对性的弥补或者营销活动,从而起到避免客户流失到其他公司的作用,起到稳定本企业客户的作用。
    六:新客户开发以及新产品推广
    通过探索性的数据挖掘方法,如自动探测聚类和购物篮分析,可以用来找出客户数据库中的特征,预测对于银行营销活动的响应率。那些被定为有利的特征可以与新的非客户群进行匹配,以增加营销活动的效果。
    数据挖掘还可从银行数据库存储的客户信息中,可以根据事先设定的标准找到符合条件的客户群,也可以把客户进行聚类分析让其自然分群,通过对客户的服务收入、风险、成本等相关因素的分析、预测和优化,找到新的可赢利目标客户。
    七:贷款偿还预测
    贷款偿还预测对银行业务相当重要的。贷款偿还风险相关的因素包括贷款率,贷款期限,负债率(月负债总额与月收入总额之比),偿还与收入比率(payment-to-income),客户收入水平,受教育水平,居住信息,信用历史等等,通过数据挖掘预测手段,可以提早预测哪些用户有可能偿还违约,哪些用户曾经贷款被拒但是预测结果却是低风险。
    八:客户评分
    评分技术是银行业广泛使用的一项技术,包括风险评分、行为评分、收益率评分、征信局评分以及客户评分等。评分技术是将客户的海量信息数据运用有效的数据挖掘和处理手段,对各种目标给出量化评分的一种手段,以征信局评分为例。要达到建立征信局评分的目标,首先要建立起集中的数据仓库,其中涵盖了申请人的各种特征,银行提供的所有产品,包括存款、贷款、信用卡、保险、年金、退休计划、证券承销,以及银行提供的其他产品,甚至包括水电煤气、电话费、租金的缴纳情况等。
    九:反洗钱活动
    金融交易活动是洗钱犯罪行为的一个重要环节,通过分析金融机构的客户信息和交易数据,运用合适的数据挖掘方法,介乎客户背景,识别出可疑金融交易记录,最后根据贝叶斯判定原理,综合各个层次的可疑信息,得到交易记录的整体可疑度,最终为反洗钱监测提供快速准确的参考。
    十:其他决策支持
    比如营销活动预演,理财产品收益以及效果评估,多维分析报告等等。

    大数据在金融之二:数据来源和应用

    唐半张 发表了文章 0 个评论 1316 次浏览 2015-10-19 10:11 来自相关话题

    《大数据在金融》一篇 ...查看全部

    《大数据在金融》一篇推出后得到了很多朋友的反馈,有的人认为大数据确实是一个新兴的产业机会,有的人认为大数据就是一个炒作概念,是一些科技公司和咨询公司的商业行为。其实不管大家的观点如何,大数据的产业机会正在到来,如果没有大数据概念的兴起,数据营销,数据分析、数据决策就不能如此快速发展。
    在大数据分析一书中,迈克尔.梅内里介绍了商业技术应用发展历史。从技术发展时间轴来看,80年代之前是企业ERP时代,80年代到90年代进入客户关系管理时代,90年代到2000年进入电子商务年代,2000年到2010年逐步进入大数据分析时代。在没有进入大数据分析年代前,所有的商业技术的出发点是用于提升效率,通过自动化工具代替手工流程,无论是应用于供应链的ERP,还是应用客户管理管理的CRM其目的都是帮助企业提高内部的运营效率,降低库存,降低生产费用,快速处理客户建议,提高客户满意度,电子商务的应用是打破生产者和消费者之间的信息壁垒,减少中间的销售环节,本质还是提高商品的流通效率,降低销售成本。
    大数据分析给企业带来的不仅仅是效率的提升,还有决策支持和差异化竞争。利用大数据分析技术,商家可以定位自己的客户,将产品以最低的营销成本送达到客户。同时商家也可以通过大数据分析了解客户要求,开发出满足客户需要的产品。大数据分析还可以降低企业运营成本,降低风险,节省时间,预防欺诈,提供自助服务等。其带给企业不仅仅是效率的提升还包含预测分析、决策支持、优化、模拟仿真等等。
    广告、媒体、 电商、交通、电信、金融、医疗是数据应用较早的几个行业,由于涉及到个人隐私和公共安全的原因,很多数据还不能够公开,各个行业只能采用自己的数据进行商业应用,大数据整体协同效应不明显,但是还是可以看到其中的商业价值。
    本文主要讨论金融行业的数据来源和应用,介绍金融行业,数据来源于哪里,自身具有哪些数据,需要哪些外部数据,这些数据的价值,如何获得和利用这些数据。数据来源是大数据在金融行业应用的基础。
    金融行业的数据可以分为三大类别,并依据各个类别的特点来探讨其应用。本文举例以银行业为主,证券和保险也可以参考。金融行业的数据大多数来源于客户自身信息以及其金融交易行为。
    一般来讲数据在金融行业可以分为以下三大类。
    1、客户信息数据
    可以称为基础数据,主要是指描述客户自身特点的数据。
    • 个人客户信息数据包括:个人姓名,性别,年龄,身份信息,联系方式,职业,生活城市,工作地点,家庭地址,所属行业,具体职业,收入,社会关系,婚姻状况,子女信息,教育情况,工作经历,工作技能,账户信息,产品信息,个人爱好等等。
    • 企业客户信息数据包括:企业名称,关联企业,所属行业,销售金额,注册资本,账户信息,企业规模,企业地点,分公司情况,客户和供应商,信用评价,主营业务,法人信息等等。
    银行业这些信息来源于多个系统,包括客户管理系统,核心银行系统,贸易系统,保理系统,融资管理系统,信息卡系统、信贷管理系统等。银行应将这些割裂的数据整合到大数据平台,形成全局数据。对银行所有客户数据进行整合,按照自身需要进行归类和打标签,由于都是结构化数据因此有利于数据分析。金融行业可以将这些信息集中在大数据管理平台,对客户进行分类,依据其他的交易数据,进行产品开发和决策支持。例如可以依据客户年龄、职业、收入、资产等,针对部分群体推出信用消费,抵押贷款,教育储蓄,投资产品、养老产品等,为客户提供针对于人生不同阶段的金融服务。也可以检验已有产品的占有率,推广效果,以及采集客户的自身产品需求。企业客户也是同样道理,没有数据分析之前,产品开发依赖于产品经理自身能力和风险偏好,或者模仿行业其他竞争对手的产品,有了数据分析之后管理层可以决定推出何种产品,了解到产品实际销售情况,针对特定用户进行推广,降低营销费用,有利于降低风险。因此客户信息数据主要用于精准营销,产品设计,产品反馈、降低风险等。2、交易信息数据交易信息也可以称为支付信息,主要是指客户通过渠道发生的交易以及现金流信息。个人客户交易信息:包括工资收入,其他收入,个人消费,公共事业缴费,信贷还款,转账交易,委托扣款,购买理财产品,购买保险产品,信用卡还款等企业客户交易:包括供应链应收款项,供应链应付款项,员工工资,企业运营支出,同分公司之间交易,同总公司之间交易,税金支出,理财产品买卖,外汇产品买卖,金融衍生产品购买,公共费用支出,其他转账等这些信息大多存在银行的渠道系统里面,如网上银行,卡系统,信用卡系统,贸易系统,保理系统,核心银行系统,保险销售平台,外汇交易系统等。这些交易数据容量巨大,必须借助于大数据技术进行分析,形成全局数据、整体数据。银行利用这些数据对个人消费者进行消费行为分析,开发产品,提供金融服务。同时也可以利用这些数据提供供应链金融服务,建立自己的商品交易生态圈。。银行也可以依据交易数据为企业提供贸易融资或设备融资服务。整合后的数据可以用于银行对企业的信用评价,交易数据可用来进行风险给管理,提前介入风险事件,降低债务违约风险。现金流和支付信息数据量很大,如果大批量采用将会造成效率下降,因此对商业需求的了解将是进行大数据分析关键,有效的数据分类和取舍将会帮助银行高效利用大数据技术。银行在采集和使用交易数据时,其采用哪些数据,通过何种形式展现,数据分析报告输入维度和权重具有极大的挑战性。3、资产信息资产信息主要是指客户在银行端资产和负债信息,同时也包含银行自身资产负债信息。
    • 个人客户资产负债信息包括:购买的理财产品,定期存款,活期存款,信用贷款,抵押贷款,信用卡负债,抵押房产,企业年金等
    • 企业客户资产负债信息包括:企业定期存款,活期存款,信用贷款,抵押贷款,担保额度,应收账款,应付账款,理财产品,票据,债券,固定资产等
    • 银行自身端资产负债信息包括:自身资产和负债例如活期存款,定期存款,借入负债,结算负债,现金资产,固定资产,贷款证券投资等。

    资产数据主要来源于核心银行系统和总帐系统,资产数据可以用于银行完整的风险视图,帮助银行对进行有效风险管理,通过资产数据的集中整合,针对每一个企业客户或个人客户,银行可以有效快速对客户进行风险评估和风险管理,提高客户体验,并结合现金流和交易数据,供应链数据为客户提供定制的理财产品或贷款产品。银行也可以利用自身资产负债信息来提高资金利用率,通过调整资产负债,来降低资金成本,提高资本收益。银行还可以对客户及自身资产负债配置信息进一步分析,通过调整产品来解决存款和贷款之间的时间匹配问题,降低流动性风险,提高资金利用效率。资产信息主要用于银行自身风险管理和资本效率提升,同时也可以帮助银行通过产品推广来合理调整资产负债,提高自身盈利能力。
    除了上面提到的三大类银行自身的数据之外,如果银行进行大数据分析,为了赢得差异化竞争,就必须考虑其他的数据输入,这些数据是银行自身不具有的,但是对其数据分析和决策起到了很重要的作用。银行可以采用同大数据厂商合作的方式,通过自身平台来采集数据或购买第三方数据。前提是银行自身必须了解且业务需求和数据需求,借助于其他的数据平台和技术来完善自身的大数据平台和分析技术。下面简单介绍一下银行进行大数据分析时需要的其他数据。
    1、行为数据
    主要是指客户在互联网上的行为数据,包括APP应用上的点击数据,社交媒体和社交网络数据,电商平台的消费数据。银行可以购买这些用数据来完善自己的大数据分析输入,行为数据作为补充数据来为银行数据营销,产品设计,数据反馈,风险管理提供数据支持。但是行为数据可能涉及到消费者的个人隐私,因此银行在购买这行数据讲应该小心,建议和数据拥有者合作并得到客户的授权。
    2、位置信息
    主要是指银行客户使用的移动设备位置信息,客户自己所处的地理空间数据。包括其多频率的位置往返数据。银行可以利用其进行精准营销,结合商家推出优惠服务,同行也可以利用其信息提供理财产品介绍会,针对特殊人群的财富管理会议,为新增网点还是撤销网点提供决策支持等
    3、供应链数据
    主要是指企业同上下游企业之间的商品或货物的交易信息,银行自身的供应链信息不全,无法完全支撑对企业的供应链金融服务。银行需要和具有这些信息的电商平台例如阿里,京东等合作,根据完整的供应链信息来提供金融服务。
    4、商业数据
    主要是指经过分析整理的研究数据,包括消费者行为数据,行业分析报告,竞争与市场数据,宏观经济数据,特殊定制数据等。银行可以利用第三方的专业分析报告来制定自身风险偏好,同时为自身的大数据分析,产品开发,风险管理提供决策支持。
    总之,银行在实施大数据战略时,应该了解银行内部都有哪些数据,需要对数据进行归类,通过大数据技术进行提取和取舍,了解这些数据背后代表着哪些商业价值,银行自身的大数据需求在哪里,还需要哪些外部数据,如何同已有数据进行整合。银行自身丰富的数据就是大数据应用的基础,大数据分析可以从银行自身数据出发,依据商业需求进行分析,为决策提供支持。外部数据的引入需要在大数据模型搭建过程中进行考虑,作为参考数据为大数据分析提供辅助支持作用。

    大数据在金融:数据的价值

    唐半张 发表了文章 0 个评论 1234 次浏览 2015-10-19 10:05 来自相关话题

    移动互联网、大数据、金融三个热点词汇叠加在一起,将会爆发出多么大的想象力。大数 ...查看全部

    移动互联网、大数据、金融三个热点词汇叠加在一起,将会爆发出多么大的想象力。大数据时代不是突然出现的,实际上过去的几十年间,数学家就已经涉猎金融行业了,如诺贝尔经济学奖获得者哈里.马克维茨、威廉.夏普,罗伯特,恩格尔都是数据家。他们通过数学模型对金融市场进行分析,利用计量经济学知识和金融市场数据来建立数学模型,预测金融市场产品收益同风险波动的关系。著名的信用卡巨头Master很早以前就开始利用起交易数据进行分析和风险管理,大通银行在90年代就利用决策数方法进行房产抵押贷款的风险管理。
    数据分析和数据挖掘一直就存在于过去的商业活动中。大数据时代的出现简单的讲是海量数据同完美计算能力结合的结果。确切的说是移动互联网时代产生了海量的数据,大数据技术完美的解决了海量数据的收集、存储、计算的问题,因此大数据时代开启企业利用数据价值的另一个时代。本人将陆续推出有关大数据在金融的文章。文章从金融数据的商业价值和大数据分析技术入手,来同大家探讨数据在金融企业应用,主要介绍数据如何成为资产,数据如何帮助金融企业实现精准营销、产品创新、效率提升和风险管理等。计划推出如下几篇短文,文章的标题和内容可能会有些变化。
    第一篇数据价值
    主要讨论数据如何成为资产。数据为何具有价值?数据如何在产品创新,效率提升,风险管理等方帮助金融企业,具有价值的数据将是金融企业未来实现业务突破的一个重点。
    第二篇数据来源和应用
    主要讨论金融行业,数据来源于哪里,自身具有哪些数据,需要哪些外部数据,这些数据的价值,如何获得和利用这些数据。数据来源是大数据在金融行业应用的基础。
    第三篇数据技术
    主要谈谈常见的大数据采集和分析技术,相关数据提取和特征值分析,数据删除。金融行业的数据平台建设,数据组织架构的建设,数据治理建设等。
    第四篇数据驱动业务
    主要讨论大数据在金融行业的应用,数据驱动业务,还是业务需要数据支持。数据在金融行业发展过程中的作用,通过具体案例分析来介绍数据的作用。
    第五篇大数据决策
    决策树分析法介绍,学习的机器。大数据在业务决策中的作用,不要过分依赖大数据。大数据仅仅提供决策支持,不能直接决策。大数据的归纳和演绎,大数据提供的是一种大概率的决策支持。
    第六篇数字银行
    介绍基于移动互联网和大数据技术的数字银行,探讨数字银行的概念、功能、实现技术、发展阶段、同银行现有业务的融合、在未来银行发展中的作用。
    第七篇大数据在金融的未来之路
    介绍未来金融行业大数据技术的发展方向和发展特点,介绍金融大数据人才需求,同数据科学家的合作,大数据思维意识的建立,金融行业和其他行业的合作,大数据产业的融合之路。
    第一篇数据价值
    金融行业包含银行、保险、证券(包含基金),按照管理资产规模看,银行有160万亿的资产,占了整体金融行业资产超过了70%,因此我们将重点讨论银行的大数据应用。
    大数据时代有三种类型的公司,1)拥有数据的公司例如银行、电信运营商。2)拥有技术的公司例如IBM,Oracle。3)拥有技术和数据的公司例如google,百度,阿里,facebook.
    银行内部有客户信息、交易信息、信用信息、资产信息等,具有较全的数据,仅需要从外部引入较少的信息。证券公司内部有交易信息和资产信息,如果进行大数据应用,需要从外部引入大量信息。保险公司具有客户信息和资产信息,但是缺乏交易信息,更加依靠外部信息。
    作为拥有数据的公司,必须要知道其有哪些数据,哪些具有价值的数据,数据同商业需求的相关性,如何提取其特征值进行度量,从而体现数据对于公司价值。
    大数据对金融行业价值可以从以下几个方面进行讨论
    1精准营销
    大数据可以提供某些企业交易特点和资金需求特点,可以帮助业务部门对企业的资金需求进行分析和筛选,提供现金管理产品,帮助企业解决流动性问题。大数据可以帮助信用卡中心追踪热点信息,针对特定人群提供精准营销产品,增加新卡用户,例如热映电影、娱乐活动、餐饮团购等。银行针对特定人群推出定制的理财产品,保险公司可以根据大数据来为特定人群定制保险产品,证券公司可以依据大数据提供具有针对性的融资融券产品。
    2社交化营销
    人们的社交行为产生了巨大的数据,利用社交平台,结合大数据分析,金融行业可以开展成本较低的社交化营销,借助于开放的互联网平台,依据大量的客户需求数据,进行产品和渠道推广。通过互联网社交平台返回的海量数据,评测营销方案的阶段成果,实时调整营销能够方案,利用口碑传销和病毒式传播来帮助金融行业快速进行产品宣传、品牌宣传、渠道宣传等。
    3信用风险评估
    银行可以利用大数据增加信用风险输入纬度,提高信用风险管理水平,动态管理企业和个人客户的形用风险。建立基于大数据的信用风险评估模型和方法,将会提高银行对中小企业和个人的资金支持。个人信用评分标准的建立,将会帮助银行在即将到来的信用消费时代取得领先。基于大数据的动态的信用风险管理机制,将会帮助银行提前预测高风险信用违约时间,及时介入,降低违约概率,同时预防信用欺诈。
    4欺诈风险管理
    信用卡公司可以利用大数据及时预测和发现恶意欺诈事件,即使采取措施,降低信用开欺诈风险。保险公司可以利用大数据来发现恶意投保和索赔事件,降低欺诈带来的经济损失。银行可以基于大数据建立防欺诈监控系统,动态管理网上银行、POS机、ATM等渠道的欺诈事件,大数据提供了多纬度的监控指标和联动方式,可以弥补和完善目前反欺诈监控方式的不足。特别在识别客户行为趋势方面,大数据具有较大的优势。
    5提升客户体验
    银行可以依据大数据分析,可以对进入网点的客户提供定制服务和问候,在节假日为客户提供定制服务,预知企业客户未来资金需求,提前进行预约,提高客户体验。私人银行可以依据大数据分析报告,帮助客户进行金融市场产品投资,赚取超额利润,形成竞争优势,提高客户体验。保险公司可以依据大数据预测为客户提前提供有效服务,提高客户体验,同时增加商业机会。证券公司可以利用大数分析,快速推出行业报告和市场趋势报告,帮助投资者及时了解热点,提高客户满意度。
    6需求分析和产品创新
    大数据提供了整体数据,银行可以利用整体样本数据,从中进行筛选。可以从客户职业,年龄,收入,居住地,习惯爱好,资产,信用等各个方面对客户进行分类,依据其他的数据输入纬度来确定客户的需求来定制产品。银行还可以依据企业的交易数据来预测行业发展特点,为企业客户提供金融产品服务。保险行业可以依据外部数据倒入,根据热点词汇来判断市场对保险产品的需要。证券公司也可以依据外部数据判读投资者喜好,来定制投资产品,进行产品创新。
    7运营效率提升
    大数据可以展现不同产品线的实际收入和成本,帮助银行进行产品管理。同时大数据为管理层提供全方面报表,揭示内部运营管理效率,有力于内部效率提升。大数据可以帮助市场部门有效监测营销方案和市场推广情况,提高营销精度,降低营销费用。大数据可以展现风险视图控制信用风险,同时加快信用审批。大数据可以帮助保险行业快速为客户提供保险方案,提高效率,降低成本。证券行业也可以利用大数据动态提供行业报告,快速帮助投资人。
    8决策支持
    大数据可以帮助金融企业,为即将实施的决策提供数据支撑,同时也可以依据大数据分析归纳出规律,进一步演绎出新的决策。基于大数据和人工智能技术的决策树模型将会有效帮助金融行业分析信用风险,为业务决策提供有力支持。金融行业新产品或新服务推向市场前,可以在局部地区进行试验,大数据技术可以对采集的数据进行分析,通过统计分析报告为新产品的市场推广提供决策支持。
    总之,进入大数据时代,金融行业的客户信息、交易信息、资产信息、信用信息等数据经过有效采集和整理分析,将会成为具有价值的数据信息。内部数据结合外部数据将形成具有重要价值的数据资产,可以有效帮助金融企业进行精准营销,降低运营费用,提高欺诈管理水平,提高信用风险管理水评,为决策提供有效支持,同时帮助金融企业了解客户需求,开发出符合客户需要,具有创新精神的新产品。简单的讲大数据将帮助金融行业提高运转效率,降低支出成本,提高风险管理水平,基于客户需求进行产品创新。

    金融机构如何屹立数据浪潮?漫谈大数据在银行的七个业务潜在应用

    唐半张 发表了文章 0 个评论 1304 次浏览 2015-10-19 10:03 来自相关话题

    笔者专注于服务金融行业的客户,并就互联网金融和“大数据”进行了深入研究。在研究中 ...查看全部


    笔者专注于服务金融行业的客户,并就互联网金融和“大数据”进行了深入研究。在研究中,笔者既感受到了“大数据”中所蕴藏的海量机会,同时也体会到了许多传统金融机构的举步维艰。本文将分享一些海外金融机构试水大数据的实践,并尝试走到现象的背后去理解金融机构在驾驭“大数据”的过程中遭遇艰难的原因。一、怎样理解大数据?

    首先澄清我们如何定义“大数据”。在国内,这个概念已经被很广泛的应用,但大家对它的理解各异。波士顿咨询认为,成就大数据的不仅是传统定义中的三个“V”(Volume–量,Velocity–速度, Variety–多样性),而是“价值”,当人们从海量数据中能够汲取价值,并借助其推动商业模式发生内嵌式变革时,具备“3V”特点的数据才成为了“大数据”。
    波士顿咨询就“大数据”专题成立了全球的虚拟事业部,汇聚了包括数据科学家、行业专家、资深咨询顾问在内的50 余名专家,支持遍布于全球各个行业的“大数据”相关项目。这些行业都是波士顿咨询的主要服务对象,包括金融、医疗、制药、消费品、工业品、能源等。本文将将着重讨论“大数据”在金融领域的应用。

    金融行业的数据强度为上述各个行业之首。大数据理念在银行业十分流行,但其潜在价值尚未得到充分的开发和利用。以银行为例,每创造100 万美元的收入,一家银行平均产出约820GB 的数据。银行目前只用到一小部分与客户相关的数据,主要包括:
    •交易数据
    •客户提供的数据(出生日期、地址、婚姻状况等)
    •评分数据
    •渠道使用数据
    还有许多可以利用的数据,有助银行提升业务价值:
    •移动银行业务用户的定位数据
    •社交媒体互动信息
    •网站互动信息(交易前)
    •交易数据,用于推测客户的行为
    •往上搜索行为
    •社交网络
    •其他
    我们的调研显示,真正能够在传统银行中得到应用的数据占比约为34%。

    “大数据”无疑在金融领域有广泛的应用空间。仍旧以银行为例,波士顿咨询在银行的七大主要领域中发现了64 项潜在应用,遍布于零售业务、公司业务、资本市场业务、交易银行业务、资产管理业务、财富管理业务和风险管理。这64 个应用源自我们的项目经验,就是说,他们或多或少都已经被某些金融机构进行了尝试,其价值已经得到了初步的证实。
    从海外金融机构应用“大数据”的整体情况来看,我们的经验是,有1/3 处在普及和理解大数据概念阶段,1/3 处在试点阶段,另外有约1/3 的金融机构已经谙熟于“大数据”的应用,正在按部就班地提升能力,并将“大数据”所要求的工作机制嵌入商业模式与运营模式中,进行了嵌入式变革阶段。总体而言,大数据在金融行业的应用还有很长的路要走。二、海外金融机构大数据应用举例
    接下来分享几个我们与海外金融机构合作应用大数据的实际案例。

    1. 某澳大利亚大型银行应用“大数据”分析为自己的小微企业客户提供了一项免费的增值服务,以提高客户粘性。在这项服务里,银行为这些客户免费提供它们自己的客户和竞争对手分析:客户的财富结构,购买偏好,与竞争对手客户结构的差异等。而分析的基础数据来自于该银行零售业务中的个人支付数据。由于银行掌握的数据海量而精准,这样的分析就比一般的市场分析机构的成果更富有洞察。此项服务不仅为该银行提高了存量客户的粘性,也成为它们吸引新客户的一个重要工具。
    2. 某海外大型银行通过“大数据”分析为自己的企业客户提供营销支持。例如,他们为自己一个卖手机的零售商客户分析了其客户在购买手机前后的其他购买行为。发现客户在购买之前出现频率最高的地方是交通枢纽,而购买之后则最可能出现在食品杂货店里。这样的分析帮助手机零售商明确定义了营销的最佳地点,从而优化了客户的营销资源配置。
    3. 某海外银行通过“大数据”分析优化了自己的客户细分。传统银行做客户细分的主要维度是年龄、性别、职业、财富水平等。基于这样的细分做营销和产品设计容易“误伤一片”,会浪费不少的资源。在“大数据”分析的帮助下,银行做客户细分的思路开阔了很多,而且细分对于行动的指导性也越来越强。这家银行按照一个客户使用产品的“广度”(即产品的数量)和“深度”(即使用产品的频率)进行细分。这样的细分帮助该银行发现了一些从前没有注意到的机会。例如,细分中发现了一类“临界点”客户,即很有可能换银行的客户。基于数据分析还发现,客户换银行一个重要原因是因为自己的朋友们都在使用目标银行。于是,稳住这些客户的一个手段就是营销他的朋友圈。
    此外,该银行还发现了一个占比不大(约7%)但很有意思的客群,姑且称之为“败家族”。这类客群的财富水平不高,达不到银行的贵宾门槛,所以常常被银行忽略。但是,这类客户有个特点,就是交易行为非常活跃。他们的消费习惯能够为银行带来可观的价值。这个案例可以带来两个启示:第一,“大数据”发现的未必是“大机会”,即单个机会的价值未必很高,而是“大量机会”,即不断找出新的洞察,而充分实现大量机会就可以获得“大价值”。第二,“大数据”往往并没有给金融机构带来翻天覆地的改变,但它可以为金融机构带来新的视角。客户细分是金融机构一直在做的事,但是,“大数据”可以帮助金融机构深化、细化自己的认识,找出以往被忽略的价值点。
    4. “大数据”帮助金融机构发现指导行动、创造价值的关联关系。例如,某西班牙大型银行就客户的兴趣爱好和其金融行为进行“大数据”分析时发现,高尔夫球爱好者为银行创造的价值最高,而足球爱好者的忠诚度最高。这样的分析不仅可以指导银行进行精准营销,也能够帮助银行进行更加有目的的数据收集。
    5. “大数据”在零售银行业务中的应用十分引人注目。但其实,“大数据”在公司银行业务中同样可以大显身手。某加拿大银行对于自己的医药零售商客群做了一个分析。该银行首先将这些客户按照销售额分成八类,进而计算每个药店为银行带来的收入。分析发现,在同一类中,客户每百万销售额所产生的银行收入之间的落差可高达17 倍。这家银行意识到,特征类似的中小客户给银行带来的价值却可以差异巨大。于是,这家银行为每一类客户找到了“标杆”,即对于银行贡献居中的客户,并分析其金融产品的配置情况。然后,这家银行比对每个客户与自己的“标杆”之间的差距,并用这些差距来指导客户经理进营销。而且,客户经理还可以与客户分享这些比对结果,帮助他们认识到自己与同业相比在金融方面的潜在需求。这样的分析既提高了营销的有效性,也为客户带来了金融服务之外的增值。
    6. “大数据”能够帮助金融机构提升风控能力。Bankinter 是西班牙的一家精品银行,他的单体客户利润往往比规模领先的大型同业高上几倍。该银行专注于中高端客群,并高度注重技术的应用。Bankinter应用亚马逊的云服务,借助“大数据”分析进行行业发展模拟以支持对于公司客户的风险控制。公司客户的信贷风险除了与企业自己的状况有关之外,还会极大地受到行业发展的影响。但是,行业模拟在过去的技术条件下并不能广泛应用。“大数据”极大地提高了这种分析的可行性。以前,这家银行做一个行业的宏观模拟分析,一次运算平均耗时可达23 个小时,而现在,同样的分析只用20分钟左右。
    7. “大数据”催生了风险控制领域的创新创业。美国一家创业公司应用电梯数据和黄页数据帮助银行进行风险预警。电梯运行过程中一直会有数据留痕,例如在某栋楼的每一层停了多少次等。而黄页是公开信息,某栋楼的某一层是哪家公司可以很容易查到。匹配这些数据就可以得出某家公司每天电梯停靠的次数。该公司的“大数据”分析发现,如果某家公司的电梯数据突然发生异常变化,可能代表该公司出现了经营变化。电梯停靠次数异常减少可能意味着员工的减少或者客户拜访次数的减少,无论如何,这样的信号应该引起银行的及时关注。将这样的预警信号植入贷后管理流程无疑会比单纯进行每季度或每年的贷后检查要更有针对性。
    Scor!是一家依托社交数据帮助银行进行个人信贷风险评估的“大数据”公司。银行将申请贷款的客户情况报给Scor!并向其购买评估结果。Scor!的评估结果被植入信贷审批流程,作为银行内评估的补充。这样的合作正在帮助客户提升审贷速度和准确性。
    8. “大数据”助力银行优化贷中和贷后管理。以Wells Fargo(富国银行)为例,他们应用“大数据”分析识别客户的异常行为作为风险提示信号。分析的数据基础是银行自己的海量的交易数据,即个人的支付数据、企业的交易数据等。在贷后管理中,“大数据”分析正在帮助银行优化催收管理。通过量化分析我们发现,近三成的失败催收源于联系不到借款人。而“大数据”分析能够帮助银行提升联系借款人的成功率。
    上述案例只是金融机构应用“大数据”潜在可能性的“一斑”。海量的机会仍然有待开发。但我们观察到,相比技术的蓬勃发展,金融机构对于大数据的实际应用仍然差强人意。原因究竟在哪里?波士顿咨询对海外20 多家金融机构做了调研。
    研究的目的是找出:第一,从数据到价值的过程是什么?
    第二,哪里是瓶颈?
    结果显示,从数据到价值的过程包括七个步骤:数据收集、获得数据拥有者的许可和信任、储存和处理技术、数据科学/ 算法、协调、洞察、嵌入式变革。

    而在这七步中有两个关键瓶颈:
    一是获得数据拥有者的许可和信任,即是否能够把数据整合并用起来;
    二是协调,即金融机构内部部门之间的协调问题。
    例如,很多银行面临的问题是整合、打通散落在各个部门的数据,零售、对公、信用卡等。而在“协调”方面,金融机构常常要面对业务与技术沟通不畅的问题,数据难以转化为生产力。突破这些瓶颈的关键在于管理层面,而非技术。“大数据”之于传统金融机构,我们认为更大的意义在于它推动嵌入式变革的能力。

    “大数据”时代要求试错、应变的机制,跨界复合型人才,开放灵敏的触角体系,这些都会挑战传统金融机构惯常的管理实践。这样的改变不仅对于汲取“大数据”的价值意义非凡,也是传统金融机构在以“互联网金融”为符号的变革时代里求生存、求发展的关键

    专栏:大数据在金融行业的应用 及所带来的市场价值

    唐半张 发表了文章 0 个评论 1222 次浏览 2015-10-19 10:01 来自相关话题

    金融企业正在将大数据应用作为未来的重点,数据正在成为具有价值的资产,大数据思维 ...查看全部


    金融企业正在将大数据应用作为未来的重点,数据正在成为具有价值的资产,大数据思维和大数技术正在成为主流。大数据被誉为新时代的经济石油,是企业赢得未来市场的法宝。大数据到底有何神力?大数据到底能为金融行业带来哪些价值?今天就让我们聊聊大数据如何玩转金融。
    在聊聊大数据玩转金融之前,我们来看看大数据的三个关键词。连接(Connect )—大数据连接一切
    百度连接了信息与读者,阿里连接了商品与消费者,腾讯连接了人与人。大数据则连接一切,BAT所有的连接都是建立在数据基础之上的。
    数据连接了消费者和商家,数据连接了客户习惯,数据连接客户喜好,数据连接了客户,数据连接了位置,数据连接了时间和空间。数据连接了历史和现在,数据连接了万物。拥有了数据就拥有了和万物、时间、空间的连接。反馈(Feedback)—大数据反馈事物
    连接一切的大数据将会反馈所连接的事物、空间和时间,通过数据记录来反馈物体的移动,消费习惯,个人爱好,行为习惯,活动轨迹,运动规律等。大数据所反馈的很多数据是过去互联网时代所不具备的,例如移动互联网数据,LBS数据,传感器数据,APP内部点击数据等。
    最为重要的这些反馈的数据能够知道;你是谁,你爱好什么,你在干什么,你需要什么,你的运动轨迹,你的消费习惯,你的消费能力甚至你的社交圈,及未来你的想法等等。揭示(Disclose -)—大数据揭示相关性,带来价值
    所有的人都被反馈的事物都被打上了一个或多个数据标签,这些具有价值的标签经过整理和分析,再结合其他的数据,将会揭示事物内部和外部的相关性。将这些相关性揭示了事物的真相和规律,将会为个人、商家、社会带来巨大价值。大数据的应用是大数定律的典型表现,不过分强调因果性,借助于相关性,重点关注大概率事件。
    下面我们来简单的聊一聊大数据在金融行业的应用以及所带来的市场价值。
    一、获客(未来金融行业,得客户者的天下)
    未来金融行业,无论是银行、证券、保险、基金还是信托,获取新客户是最主要的任务,可以说得客户者得天下。金融行业的服务范围正在跨越地理空间的限制,在监管的鼓励下,很多客户的获取不再仅仅依赖于线下的市场活动,利用互联网获取客户正在成为可能,基金和证券开户已经成为事实,未来银行的在线开户也将成为事实。
    80后、90后未来将会成为各金融行业争夺的目标,他们的爱好和习惯将会成为各大金融企业的关注重点,每年700多万的大学毕业生也将成为各大信用卡公司争夺的对象。
    大数据可以为金融企业提供获客服务,利用大数据连接和反馈的功能,我们知道潜在的客户是谁,客户的联系方式,客户的商业需要,另外我们可以知道客户的爱好和习惯,为客户订制需要的金融产品。金融企业的获客`成本从50元到2000元甚至5000元不等,中国大数据获客的市场规模不少于2个亿。
    二、精准营销(找到目标客户,用最少的钱办最大的事)
    金融行业过去一直是广告市场的大客户,为了提高自身品牌形象和推广金融产品。各大金融企业不断的投入巨额广告,整体广告市场投入金额在百亿元人民币左右,金融企业经常作为各种商业活动的主要赞助商。例如F1赛车,网球大师赛,高尔夫球赛,各种媒体举办的会议和体育活动等。
    在移动互联网时代,每个人使用移动设备的时间在逐渐增加,传统媒体的优势正逐步被新媒体取代,例如用户更多利用手机获取信息,利用平板电脑观看电影和电视剧,更多的年轻人开始玩手游,以及数字电视节目正在成为主流。金融行业加大了在数字媒体上的营销力度和广告投入,但是如何找到目标客户,将这些广告投到目标客户那里,传统媒体无法做到,但是在大数据的帮助下,新的数字媒体可以做得到,做的好。
    大数据时代,移动互联网数据加上LBS数据可以确定客户的消费习惯和消费能力,帮助金融行业确定目标客户,在确定目标客户之后可以精准选择在客户经常观看的媒体或APP上来投放营销广告。同时利用大数据金融企业可以了解多少广告被客户主动点击,客户停留时间,客户购买产品的期望,客户的转化率等信息。借助于大数据的精准营销将会帮助金融企业花最少的钱,办最大的事。国外金融企业的精准营销早就成为主流,每年仅美国金融行业市场,精准营销带来的收益就超过了几十亿美金。在中国金融行业的竞准营销市场由于刚刚起步,其市场规模将在4亿人民币左右。
    三、增加风险评估维度(风险定价能力永远是金融行业的核心竞争力)
    金融企业之间最大的竞争力之一就是风险定价能力,准确的风险定价能力将会帮助金融企业获取更大的利润和稳健经营。任何一个金融企业缺少风险定价能力,其将会无法有效控制风险,容易被市场淘汰。
    移动互联网时代无论是个人客户和企业客户,其风险纬度都是种类繁多和复杂的。风险评估所考虑的场景也是日益复杂,如果风险场景和风险纬度考虑不全,可能会对金融行业是个巨大的打击。
    利用大数据的连接、反馈和揭示,金融企业可以充分考虑不同风险场景和风险纬度,利用大数据揭示事物规律和本质的特点来帮助金融行业进行更加全面的风险管理。
    目前互联网金融企业和互联网巨头BAT进行的小额信贷就是利用大数据实施风险评估和管理。客户的社交数据,交易数据,LBS信息等数据,完全可以帮助金融企业例如银行,信用卡,保险公司,基金公司增加风险评估维度。中国的市场正在起步,市场份额不会少于一亿元人民币。
    四、挖掘客户价值(在金融行业,已有的客户永远是最大的金矿)
    金融行业的主要收入来源于已有的客户,其对金融企业的产品更加忠诚和信任。开发一个新客户的成本远高于让老客户购买产品。
    利用大数据的连接、反馈、揭示等功能,金融企业可以利用客户交易数据来分析其消费习惯和爱好,定位其金融需求;利用企业之间的交易数据可以了解各个企业的运营情况,现金流情况,主要的资金流向等信息。通过相关性分析可以为客户推荐已有的产品或单独设计产品。目前金融行业消费贷款、供应链金融、融资融券、组合保险等产品都是利用了自身内部的数据进行分析,挖掘自身客户的需求而设计的。未来这种挖掘已有客户价值的趋势将会越来越明显。
    移动互联网的数据在对客户分析方面更有价值,更能够反映出客户的特点和金融需求,金融行业应该购买移动互联网端数据。未来金融行业将至少投入上亿的资金来购买移动互联网侧的数据,来帮助其挖掘已有的客户价值。
    五、增强用户体验(掌握互联网企业的法宝,赢得未来客户群体)
    金融企业如果想获得新客户并且留住老客户,金融企业的自身移动APP应用和产品必须关注客户体验。这也是互联网企业的核心竞争力。借助于大数据金融企业可以了解客户使用APP的习惯,点击网页的习惯,移动应用中各个界面和菜单的使用情况。根据用户喜好来进行设计和更改,包括布局、图表形状、颜色搭配等。
    大数据的反馈功能可以帮助金融企业了解客户,提高客户的体验,赢得未来80、90后客户。用户体验是金融企业未来一直需要重点关注的领域,无论是银行还是基金公司,吸引客户购买产品的动力除了产品自身的优秀还应包含平台使用的用户体验。
    大数据在用户体验上的应用已经发展一段时间,未来金融行业在用户体验上的投入将会逐步增加,市场投入将会在十亿左右。
    总结,由于互联网银行的出现,政府和监管对互联网金融企业的支持,互联网巨头BAT的跨界发展,中国金融行业将自2015年进入大数据应用的爆发期,大数据将会被金融行业作为重要的商业武器,在2015年迎来巨额投资,金融行业将会在大数据管理平台,大数据产品,大数据人才和大数据技术工具上投入巨大资金。
    任何一个金融企业如果忽视了在移动互联网和大数据两大领域的投入,将会在未来被残酷的淘汰。不客气的说,未来金融企业之间的竞争,成败很大程度取决于对大数据和移动互联网技术的应用。在大数据时代,拥有移动互联网侧的数据和大数据技术平台,独立于BAT并具有高度商业敏感度的大数据公司将会成为未来市场的王者。

    专栏:大数据金融进入2.0 时代

    唐半张 发表了文章 0 个评论 1225 次浏览 2015-10-19 10:00 来自相关话题

    36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。 ...查看全部

    36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。
    移动互联网和传感器促成了大数据时代的出现。大量非结构化数据的出现使数据处理面临了难题,在大数据时代初期,有关大数据应用重点聚集在如何收集数据,存储数据、处理数据,解决的是数据效率的问题。当数据效率问题被解决之后,大数据的价值问题将摆到面前,也就是说大数据即将进入2.0时代。本篇为大数据金融2.0时代的第一篇作品,今后将会陆续推出有关大数据金融2.0时代的作品,并结合案例介绍金融行业如何实现大数据变现。
    大数据1.0 时代的特征
    大数据1.0时代的主要特征是发现大数据,解决的是数据效率问题,大数据时代4个V中的前3个V都被有效的诠释了。但是最后一个V(Value价值),还没有得到良好的利用,因此很多学者都在唱衰大数据,认为大数据的炒作概念超过了实际应用价值,大数据的概念更像是美国IT巨头和咨询公司为销售其产品服务的炒作。Hadoop, Hive, Map reduce, Spark , Storm ,R语言,Python,Julia,Scala,Kafka,Octave,GO成为了大数据1.0时代的热点词语
    大数据时代是历史的必然,特别是移动互联网出现之后,大量的用户行为数据产生了巨大的价值,这些具有价值的数据表明大数据时代的到来。其实回顾历史,在过去的几千年以来,人类社会就一直在利用数据的反馈来实现社会的进化,大数据时代的出现将会加速这种进化。
    大数据金融时代
    金融行业是个高度信息化的行业,特别是占了金融产业半壁江山的银行,从最初的核心银行系统到ATM取款机,从信用卡到网银系统,从固定的网点到直销银行,银行一直都是高度依赖信息系统和数据的行业。未来金融行业将通过移动互联网来降低渠道成本,通过大数据来获取客户,随着中国人投资和保险意识的成熟,未来金融行业如证券行业和保险行业将迎来黄金发展期。
    大数据对于金融行业具有重要的意义,如果将金融行业比喻成一辆汽车,信息系统就是汽车的发动机,大数据则是燃油。金融行业借助于大数据,就将会获得更快的发展速度,更低的成本,更多的先发优势。目前金融行业的许多的大数据应用还处于初级阶段,大数据的价值还没有被充分发掘,特别是移动大数据没有被充分利用。金融大数据还是处于1.0的效率时代。大数据应用还是主要用于解决大数据的收集,存储和处理,数据挖掘也还以结构化数据为主,以自身数据为主,以报表应用为主。
    大数据金融的2.0时代
    2015年起,大数据金融将进入2.0时代,进入以价值获取为主的2.0时代。如果我们定义大数据1.0时代是大数据的效率时代,那么大数据的2.0时代就是实现大数据变现的价值时代,现在就让我们聊一聊大数据金融2.0 时代的主要特征。
    1) 大数据金融平台(DMP)的出现。
    金融行业沉淀了大量的数据,其在过去的信息系统建设中利用了各种技术来处理数据,包括处理交易和记账的核心银行系统,转发报文的渠道系统,以及存储数据的数据仓库,数据挖掘和分析的BI系统。
    但是进入移动互联网时代后,基于互联网的网上银行系统正在转向移动互联应用APP,其产生的用户行为数据无法用已有的信息系统进行处理和分析。而这些用户行为数据恰恰就是对于金融行业有价值的数据。用户交易数据、用户信用数据,用户自身的APP行为数据,交易行为数据都将会对金融行业产生巨大的价值。
    金融行业在大数据2.0时代需要一个能够将这些行为数据转化为价值的平台,其将成为金融大数据变现的平台DMP(如何翻译成中文名词是个难题,暂且称之为大数据平台)。其主要负责收集APP的行为数据,结合金融行业自身的数据,经过商业处理后,结合外部数据以及外部平台,将帮助金融行业实现大数据变现。DMP平台简单功能至少应改包括用户标签,用户画像,精准营销,自我算法优化,移动运营监控,数据可视化,外部数据引入,数据交易平台等。
    DMP将成为大数据金融2.0时代的典型应用,也是金融行业进入大数据金融时代必备的平台,就像大数据1.0时代的Hadoop一样,DMP的出现将会加速金融行业大数据商业应用的进化,真正将大数据同金融行业的实际业务结合起来,为金融行业的业务发展提供加速能源。DMP承载了巨大的价值应用,其可以帮助金融行业短时间进行数据变现,体现大数据商业价值,就象我大数据玩转金融的文章里介绍一样,绝大多数的金融大数据的商业应用都可以通过DMP实现。
    金融企业完全可以利用大数据平台DMP来取得商业领先优势,借助于DMP金融行业将可以有足够的实力来同互联网巨头BAT和互联网金融企业进行竞争。可以认为DMP(大数据金融平台)将会成为未来金融行业大数据应用的趋势,特别是引入了移动互联网大数据和DSP的大数据金融平台DMP将会成为金融行业大数据应用标准。
    2) 移动大数据将作为基础数据
    金融行业如果想在大数据金融2.0时代取得领先,就必须重视移动数据,除了将自身银行APP应用中行为数据进行收集和处理,金融行业必须要打破自身的数据闭环,象互联网企业一样,坚持开发心态,寻找具有价值的外部数据。
    移动互联网数据或者称之为移动大数据应将成为金融行业大数据应用的基础数据。移动大数据具有金融行业传统数据不具备的特点。例如其是行为数据,用户习惯数据,LBS数据,标签数据等。金融行业应该同具有移动大数据的互联网厂商进行合作,坚持平等协作精神,共同开发开发自身数据金矿。
    金融行业在选择合作伙伴时需要考虑的互联网三座大山的竞争(你懂得),同这些大数据巨头合作时需要谨慎考虑,由于金融行业不了解移动互联网的玩法,同三大巨头合作有可能是羊入虎口。建议同新兴的、独立的移动互联网大数据公司合作,掌握合作主动权和大数据应用控制权,实现大数据应用的双赢。
    3) 标签成为大数据金融的重要武器
    标签表述较为简单也较为复杂,简单的讲就是描述一类用户或行为属性集和,其具有相关性和大概率特点。标签可以很宽也可以很细,完全取决于标签创建者的经验。因此标签的精准定义成为大数据金融应用的关键所在。
    标签作为大数据金融2.0时代的最基本元素,正在成为大数据金融的重要武器。
    很多大数据金融的应用都依赖于标签,简单的讲标签的细化程度和覆盖范围都将体现金融企业的大数据应用的成熟度,标签可以分为基础标签,时效标签,相关标签,预测标签,个性标签等类型。定义标签的方法可以从社会人的特点和具体商业需求出发,定义出金融行业需要的客户群体信息。
    大数据标签是用户画像、精准营销、风险监测等金融大数据应用的基础,金融行业大数据标签的定义是具有挑战的话题,并将成为大数据金融2.0时代的热点话题。
    4) 用户画像将会CRM的必要信息
    金融行业正在从以账户为中心的商业模式转向以客户为中心的商业模式,银行、证券、基金、保险企业纷纷上线CRM系统,将客户关系管理作为其主要的业务之一,并希望通过对客户需求的挖掘来推荐产品或开发产品。
    在大数据金融2.0时代,CRM系统的数据除了用户的基本数据和信用数据之外,还需要增加用户画像信息。CRM应该包含以客户为中心的用户习惯特性,用户喜好特性,用户轨迹,用户消费趋势等信息,这些都需要大数据平台DMP提供。具有了用户画像信息的CRM将会大大增强金融行业的商业竞争优势,当金融行业客服人员或客户经理打电话同客户进行沟通时,用户画像将提供高价值信息,拉近金融企业同客户的距离,了解客户需求,提高客户满意度和市场营销转化率。
    大数据金融2.0时代特征还包含算法的自我优化和移动APP运营监控等方面介绍,我将会在以后的文章中逐步介绍。本篇是大数据金融进入2.0时代的第一篇文章,今后几个月将会逐步分享打大数据金融2.0时代文章和案例介绍,敬请期待。
    金融企业在大数据金融的2.0时代的先发优势
    进入大数据金融2.0时代之后,拥有丰富数据的传统金融企业银行、证券、保险、基金面临来自互联网巨头、互联网金融企业、财富管理公司、消费金融公司的激烈竞争。数字化金融将是其取得领先优势的重要武器,在大数据金融2.0时代,金融行业应该积极拥抱移动互联网,拥抱大数据,积极建设DMP平台,持开放心态,同具有数据的企业进行合作,利用已有的数据,积极引入外部数据,来取得大数据金融2.0时代的先发优势。
    客户是有限的,市场是有限的,财富是有限的,时间是有限的,空间是有限的。因此在大数据金融2.0时代,金融企业应该及时行动,建设DMP平台,积极进行大数据变现,敢于试错,敢于利用大数据的反馈进行自我优化,敢于借助于移动互联网数进行市场开拓。由于未来市场属于80后、90后,所以金融行业应该迅速了解客户行为和爱好,对已用商业模式和产品进行升级和进化。金融行业越早进入大数据金融2.0时代就会越早取得竞争优势,先发优势。
    在大数据金融2.0时代背景下,大数据企业如何胜者为王
    目前中国市场的大数据企业众多,大多数企业仍然以解决大数据金融1.0时代的效率问题为主,包括传统的国外大数据厂商,大多数以大数据收集、存储、处理为主,对企业已用的数据进行数据挖掘,提供商业报表和数据报表。缺少基于移动互联网的用户行为和用户习惯数据,大数据变现很难。
    在大数据金融2.0时代,拥有移动互联网数据和DMP平台,以及大数据商业应用人才的大数据企业将会成为大数据金融2.0时代的王者。拥有了移动互联网侧的大数据就拥有了大数据商业应用的石油,其是金融行业实现大数据价值应用的必要前提。拥有了DMP大数据平台,其就拥有了大数据变现的能力,借助于平台和外部数据以及自我优化能力,DMP将会帮助金融行业迅速实现金融大数据的商业价值。拥有了大数据商业应用人才就拥有同客户的话语权,帮助客户迅速建设DMP平台,实现同客户的共赢。

    大数据金融2.0系列:红包大战和移动金融的崛起

    唐半张 发表了文章 0 个评论 1377 次浏览 2015-10-19 09:52 来自相关话题

    2015年春节,抢风头的不再是春晚小品的热点词汇,抢微信红包成 ...查看全部


    2015年春节,抢风头的不再是春晚小品的热点词汇,抢微信红包成了所有中国人关注的焦点。腾讯红包成了所有红包的代言词,发红包、抢红包,摇一摇成了大年三十中国人的全民运动。今天我们就从红包聊起,来聊一聊移动金融的崛起,也是大数据金融2.0系列文章的第二篇。

    移动金融已经成为了金融产品的入口,借助于移动APP,金融企业将会为客户提供更加便捷的金融服务,用户体验和创新的金融产品将会成为移动金融取胜的关键点。更为重要的是,金融企业可以借助于移动金融APP采集大量数据,了解客户行为和点击习惯,为大数据金融提供强大的数据支持。一、移动互联网具有随时随地、定人定位的特点
    移动互联网具有随时随地,定人定位的特点。相对于互联网,移动互联网借助于智能手机和WIFI在任何时间,任何地点帮助人们接入互联网,无论阅读、购物、读书、导航、打游戏、查询信息等。现在你会发现所有人不再惧怕排队,因为有智能手机;所有人不再拿一本书上厕所,因为有智能手机;所有人见面不再寒暄,因为有智能手机;所有人不再AA制付现钞,因为有智能手机;所有人不再看春晚,都在用手机抢红包。
    智能手机的定位功能同手机号码相结合,很容易确定使用者的物理位置和具体用户。相对于传统互联网,移动互联网将通过位置信息来了解人们的生活轨迹和消费习惯。借助于移动数据统计分析平台,我们将会了解到过去很难统计的信息。例如发红包最多的省份,抢红包最活跃的省份,春节人口流入最多的身份,流出最多的省份等。大年三十的8点到12点,大家静下来不是为了看春晚而是在等红包。二、未来所有消费行为都将转向移动互联网
    人们上网的行为正向移动互联网倾斜,所有同衣食住行相关的消费行为都正在转向移动互联网。现在我们正在使用智能手机进行聊天、购物、分享、听音乐、订饭、约会、买电影票、制定旅游计划等等,未来智能手机将成为我们生活的助手。所有客户生活轨迹、兴趣爱好、消费习惯都可以通过APP 的记录进行了解。
    移动互联网将扩展互联网的边界,将互联网从PC端扩展到人们身边,人们使用互联网的时间将会逐步增加,互联网更象一个虚拟世界正在影响着人类的生活方式。
    移动互联网正在进入人们的社会生活,在未来会成为一个强力的助手。三、移动金融成为金融企业必争之地
    个人消费习惯转向移动互联网后,移动金融将会成为所有金融企业争夺的入口,借助于移动APP,金融企业将会提供便捷的金融服务。无论是传统的金融服务还是创新的金融产品,无论是客户服务还是客户体验,无论是市场营销还是客户拓展,无论是客户连接还是精准营销。移动金融都将成为金融企业必须重视的平台。
    在未来,金融企业如果想提高客户满意度,赢得客户的青睐,提高金融产品份额,降低营销成本,设计出消费者喜欢的产品,移动金融是所有金融企业必须重视的平台。未来客户80后、90号上网习惯的改变,以及对金融产品需求的改变,金融企业的竞争将从传统的网点和互联网转向移动APP。移动金融平台将成为所有金融企业必须争夺的阵地,金融企业竞争将会更多的发生在移动金融平台。
    如何玩转移动金融将成为所有金融企业必须面对的一个重要问题!四、如何玩转移动金融,移动运营统计分析平台是关键
    移动金融区别于传统金融的渠道的主要特点是,移动APP记录了大量的非结构化数据,用户的使用习惯和点击行为被记录在APP中,如何利用这些非机构化数据,了解客户行为和偏好将成为玩转移动金融的关键。
    金融企业可以利用移动APP的数据,了解APP运营情况,了解APP高峰使用时间,了解客户行为,UI的设计是否合理,营销的效果如何,投入是否有效,产品获客情况等。移动APP的数据经过采集和处理后,将会为金融企业的产品设计、市场推广、用户体验、精准营销、用户画像等提供重要数据支持。
    移动运营统计分析平台将成为玩转移动金融的关键,移动APP运营统计分析平台来源于游戏行业。我们知道手游行业竞争十分激烈,手机游戏的生命周期很短,一般只有6个月左右。手游行业如何能在短时间内快速获取客户,并且迅速扩大市场份额,提高用户体验成为核心问题。借助于移动运营统计分析平台,手机游戏厂商很容易了解客户注册、登陆、激活的情况,另外借助于二次开发,游戏厂商会了解游戏中道具使用情况,哪些地图受欢迎,哪些宝物、人物、装备、道具受欢迎,UI的使用情况,游戏用户的反馈,用户的消费习惯。曾经就有游戏商利用统计分析平台,针对个别客户,出售了价值千万人民币的游戏装备,其平台的商业价值凸现。
    互联网企业现在强势进入金融领域,其主要的竞争优势就是对客户数据的掌握和分析。如果金融企业在想在竞争中取得领先,金融企业必须向互联网企业学习技术和工具。
    移动运营统计分析平台是移动互联网时代的一个重要工具,是互联网企业利用大数据玩转客户的一个基础工具。金融企业现在可以借助于移动运营统计分析平台取得同互联网企业同样的优势。如果金融企业想玩转移动金融,了解客户行为,提高客户体验,移动运营统计分析平台将成为关键。
    目前一些领先的银行,如招商银行已经装备了移动运营统计分析平台,帮助监控移动APP的运行,采集用户行为数据,为大数据金融提供数据支持,已经取得了不错的效果。在未来,金融企业如果想取得移动金融的领先,取得同互联网的竞争优势,移动APP运营统计分析平台将会成为关键。五、移动运营指标意义
    我在大数据玩转金融一文中曾经对大数据的价值提到了三个关键词:连接,反馈,揭示。移动运营指标就是这三个关键词的具体体现,本文主要介绍移动运营指标的意义,具体移动运营指标的设计和运营将会通过另外一篇文章具体介绍。
    • 连接(Connect )—连接用户
    移动运营指标连接了客户习惯,连接客户喜好,连接了客户点击,连接了用户的位置,连接了时间和空间。移动运营指标将客户和金融企业连接了起来,用户的行为数据通过指标统计的方式记录下来,方便金融企业进一部分析。
    • 反馈(Feedback)—反馈用户
    移动运营指标将会反馈所连接的事物、空间和时间,通过记录来反馈物体的移动,消费习惯,个人爱好,行为习惯,活动轨迹,运动规律等。移动运营指标所反馈的很多数据是过去互联网时代所不具备的,这些反馈的数据能够知道;你是谁,你爱好什么,你在干什么,你需要什么,你的运动轨迹,你的消费习惯,你的消费能力甚至你的社交圈,及未来你的想法等等。
    • 揭示(Disclose)—揭示价值
    所有的客户反馈的数据,经过分析后可以形成一个或多个数据标签,这些具有价值的标签经过整理和分析,再结合其他的数据,将会揭示事物内部和外部的相关性。将这些相关性揭示了事物的真相和规律,将会为金融行业带来巨大价值。大数据的应用是大数定律的典型表现,借助于相关性,重点关注大概率事件。
    金融企业可以依据商业需要,设计自身的移动运营指标,这些移动运营指标将会帮助金融企业了解移动金融平台APP的运营情况,为金融企业在产品设计、市场营销、用户体验等方面提供数据支持。移动运营指标对于金融企业是一个新鲜事物,一直在不断完善中,但是所有的移动金融APP都具有共性,一些通用的移动运营指标可以帮助金融企业了解其移动金融平台的运营情况,形成具体的标准后,可以帮助金融企业了解自身APP的在行业中的运营水平,有助于行业的整体发展和进步。下一篇文章我将主要介绍金融行业移动运行指标体系建设和移动运行指标标准。
    最后讲一句闲话,时代是我们的朋友也是我们的敌人,每个企业都没有办法打败时代趋势,无论其现在是多么强大,企业需要顺势而为

    波士顿深度报告:回归价值本源-金融机构如何驾驭大数据(附PDF下载)

    唐半张 发表了文章 0 个评论 1634 次浏览 2015-10-19 09:49 来自相关话题

    内容概览 1、价值导向与内嵌式变革——BGG对大数据的理解 1.1 成就大数据的“第四个V” 1.2 变革中的数据运作与数据推动是内嵌式变革 ...查看全部
    内容概览
    1、价值导向与内嵌式变革——BGG对大数据的理解
    1.1 成就大数据的“第四个V”
    1.2 变革中的数据运作与数据推动是内嵌式变革
    2、应用场景与基础设施——纵览海内外金融机构的大数据发展实践
    2.1 大数据的金融应用场景正在逐步拓展
    2.2 大数据要去金融机构重新审视自己的基础设施与环境
    3、超越技术的管理视角——金融机构驾驭大数据的三个关键点
    3.1 数据人为:建设团队是核心
    3.2 高效行动:形成机制是保障
    3.3 构筑优势:转变思维是根本
    4、用实践引领思考——BGG在大数据方面的能力

    推荐阅读:
    横看成岭侧成峰,
    远近高低各不同。
    不识庐山真面目,
    只缘身在此山中。
    —苏轼《题西林壁》
    无论是接受还是拒绝,中国金融业的大数据时代正在呼啸而至。据调查,经过多年的发展与积累,目前很多国内金融机构的数据量级已经达到100TB以上。而且,非结构化数据量正在以更快的速度增长。在高数据强度的金融行业,这一发展激起了巨大的想象空间。然而,要抓住这一机遇并非易事。
    基于多年的研究与全球项目实操经验,波士顿咨询公司(BCG)系统梳理了大数据在全球金融行业的发展现状、潜在应用、关键瓶颈及应对方案,旨在协助金融机构从价值的角度更好地理解大数据,并在大数据迅速渗入金融业务各个层面的当下抓住发展机遇。
    本报告主要观点:
    成就大数据的不仅是传统定义中的“三个V”,即数量(Volume)、速度(Velocity)和种类(Variety)。对金融机构而言,更重要的是第四个V,即价值(Value)。大数据的价值不仅体现在对金融机构财务相关指标的直接影响上,也体现在对商业模式变革的推动能力上,即不断引发传统金融机构的内嵌式变革。
    大数据从四个方面改变了金融机构传统的数据运作方式,从而实现了巨大的商业价值。这四个方面(“四个C”)包括:数据质量的兼容性(Compatibility)、数据运用的关联性(Connectedness)、数据分析的成本(Cost)以及数据价值的转化(Capitalization)。
    大数据在金融业的应用场景正在逐步拓展。在海外,大数据已经在金融行业的风险控制、运营管理、销售支持和商业模式创新等领域得到了全面尝试。在国内,金融机构对大数据的应用还基本处于起步阶段。数据整合和部门协调等关键环节的挑战仍是阻碍金融机构将数据转化为价值的主要瓶颈。
    数据技术与数据经济的发展是持续实现大数据价值的支撑。深度应用正在将传统IT从“后端”不断推向“前台”,而存量架构与创新模块的有效整合是传统金融机构在技术层面所面临的主要挑战。此外,数据生态的发展演进有其显著的社会特征。作为其中的一员,金融机构在促进数据经济的发展上任重道远。
    为了驾驭大数据,国内金融机构要在技术的基础上着重引入以价值为导向的管理视角,最终形成自上而下的内嵌式变革。其中的三个关键点(“TMT”)包括:团队(Team)、机制(Mechanism)和思维(Thinking)。1. 价值导向与内嵌式变革—BCG对大数据的理解
    “让数据发声!”—随着大数据时代的来临,这个声音正在变得日益响亮。为了在喧嚣背后探寻本质,我们的讨论将从大数据的定义开始。
    1.1 成就大数据的“第四个V”
    大数据是什么?在这个问题上,国内目前常用的是“3V”定义,即数量(Volume)、速度(Velocity)和种类(Variety)。
    虽然有着这样的定义,但人们从未停止讨论什么才是成就大数据的“关键节点”。人们热议的焦点之一是“到底多大才算是大数据?”其实这个问题在“量”的层面上并没有绝对的标准,因为“量”的大小是相对于特定时期的技术处理和分析能力而言的。在上个世纪90年代,10GB的数据需要当时计算能力一流的计算机处理几个小时,而这个量现在只是一台普通智能手机存储量的一半而已。在这个层面上颇具影响力的说法是,当“全量数据”取代了“样本数据”时,人们就拥有了大数据。
    另外一个成为讨论焦点的问题是,今天的海量数据都来源于何处。在商业环境中,企业过去最关注的是ERP(Enterprise Resource Planning)和CRM(Customer Relationship Management)系统中的数据。这些数据的共性在于,它们都是由一个机构有意识、有目的地收集到的数据,而且基本上都是结构化数据。随着互联网的深入普及,特别是移动互联网的爆发式增长,人机互动所产生的数据已经成为了另一个重要的数据来源,比如人们在互联网世界中留下的各种“数据足迹”。但所有这些都还不是构成“大量数据”的主体。机器之间交互处理时沉淀下来的数据才是使数据量级实现跨越式增长的主要原因。“物联网”是当前人们将现实世界数据化的最时髦的代名词。海量的数据就是以这样的方式源源不断地产生和积累。(参阅图1)

    “3V”的定义专注于对数据本身的特征进行描述。然而,是否是量级庞大、实时传输、格式多样的数据就是大数据?
    BCG认为,成就大数据的关键点在于“第四个V”,即价值(Value)。当量级庞大、实时传输、格式多样的全量数据通过某种手段得到利用并创造出商业价值,而且能够进一步推动商业模式的变革时,大数据才真正诞生。(参阅图2)

    1.2 变革中的数据运作与数据推动的内嵌式变革
    多元化格式的数据已呈海量爆发,人类分析、利用数据的能力也日益精进,我们已经能够从大数据中创造出不同于传统数据挖掘的价值。那么,大数据带来的“大价值”究竟是如何产生的?
    无论是在金融企业还是非金融企业中,数据应用及业务创新的生命周期都包含五个阶段:业务定义需求;IT部门获取并整合数据;数据科学家构建并完善算法与模型;IT发布新洞察;业务应用并衡量洞察的实际成效。在今天的大数据环境下,生命周期仍维持原样,而唯一变化的是“数据科学家”在生命周期中所扮演的角色。大数据将允许其运用各种新的算法与技术手段,帮助IT不断挖掘新的关联洞察,更好地满足业务需求。
    因此,BCG认为,大数据改变的并不是传统数据的生命周期,而是具体的运作模式。在传统的数据基础和技术环境下,这样的周期可能要经历一年乃至更长的时间。但是有了现在的数据量和技术,机构可能只需几周甚至更短的时间就能走完这个生命周期。新的数据运作模式使快速、低成本的试错成为可能。这样,商业机构就有条件关注过去由于种种原因而被忽略的大量“小机会”,并将这些“小机会”累积形成“大价值”。(参阅图3)

    具体而言,与传统的数据应用相比,大数据在四个方面(“4C”)改变了传统数据的运作模式,为机构带来了新的价值。
    1.2.1 数据质量的兼容性(Compatibility):大数据通过“量”提升了数据分析对“质”的宽容度
    在“小数据”时代,数据的获取门槛相对较高,这就导致“样本思维”占据统治地位。人们大多是通过抽样和截取的方式来捕获数据。同时,人们分析数据的手段和能力也相对有限。为了保证分析结果的准确性,人们通常会有意识地收集可量化的、清洁的、准确的数据,对数据的“质”提出了很高的要求。而在大数据时代,“全量思维”得到了用武之地,人们有条件去获取多维度、全过程的数据。但在海量数据出现后,数据的清洗与验证几乎成为了不可能的事。正是这样的困境催生了数据应用的新视角与新方法。类似于分布式技术的新算法使数据的“量”可以弥补“质”的不足,从而大大提升了数据分析对于数据质量的兼容能力。
    1.2.2 数据运用的关联性(Connectedness):大数据使技术与算法从“静态”走向“持续”
    在大数据时代,对“全量”的追求使“实时”变得异常重要,而这一点也不仅仅只体现在数据采集阶段。在云计算、流处理和内存分析等技术的支撑下,一系列新的算法使实时分析成为可能。人们还可以通过使用持续的增量数据来优化分析结果。在这些因素的共同作用下,人们一贯以来对“因果关系”的追求开始松动,而“相关关系”正在逐步获得一席之地。
    1.2.3 数据分析的成本(Cost):大数据降低了数据分析的成本门槛
    大数据改变了数据处理资源稀缺的局面。过去,数据挖掘往往意味着不菲的投入。因此,企业希望能够从数据中发掘出“大机会”,或是将有限的数据处理资源投入到有可能产生大机会的“大客户、大项目”中去,以此获得健康的投入产出比。而在大数据时代,数据处理的成本不断下降,数据中大量存在的“小机会”得见天日。每个机会本身带来的商业价值可能并不可观,但是累积起来就会实现质的飞跃。所以,大数据往往并非意味着“大机会”,而是“大量机会”。
    1.2.4 数据价值的转化(Capitalization):大数据实现了从数据到价值的高效转化
    在《互联网金融生态系统2020:新动力、新格局、新战略》报告中,我们探讨了传统金融机构在大变革时代所需采取的新战略思考框架,即适应型战略。采取适应型战略有助于企业构筑以下五大优势:试错优势、触角优势、组织优势、系统优势和社会优势,而大数据将为金融机构建立这些优势提供新的工具和动力。从数据到价值的转化与机构的整体转型相辅相成,“内嵌式变革”由此而生。
    例如,金融机构传统做法中按部就班的长周期模式(从规划、立项、收集数据到分析、试点、落地、总结)不再适用。快速试错、宽进严出成为了实现大数据价值的关键:以低成本的方式大量尝试大数据中蕴藏的海量机会,一旦发现某些有价值的规律,马上进行商业化推广,否则果断退出。此外,大数据为金融机构打造“触角优势”提供了新的工具,使其能够更加灵敏地感知商业环境,更加顺畅地搭建反馈闭环。此外,数据的聚合与共享为金融机构搭建生态系统提供了新的场景与动力。(参阅图4)
    2. 应用场景与基础设施—纵览海内外金融机构的大数据发展实践
    金融行业在发展大数据能力方面具有天然优势:受行业特性影响,金融机构在开展业务的过程中积累了海量的高价值数据,其中包括客户身份、资产负债情况、资金收付交易等数据。以银行业为例,其数据强度高踞各行业之首—银行业每创收100万美元,平均就会产生820GB的数据。(参阅图5)

    2.1 大数据的金融应用场景正在逐步拓展
    大数据发出的声音已经在金融行业全面响起。作为行业中的“巨无霸”,银行业与保险业对大数据的应用尤其可圈可点。
    2.1.1 海外实践:全面尝试
    2.1.1.1 银行是金融行业中发展大数据能力的“领军者”
    在发展大数据能力方面,银行业堪称是“领军者”。纵观银行业的六个主要业务板块(零售银行、公司银行、资本市场、交易银行、资产管理、财富管理),每个业务板块都可以借助大数据来更深入地了解客户,并为其制定更具针对性的价值主张,同时提升风险管理能力。其中,大数据在零售银行和交易银行业务板块中的应用潜力尤为可观。(参阅图6)

    BCG通过研究发现,海外银行在大数据能力的发展方面基本处于三个阶段:大约三分之一的银行还处在思考大数据、理解大数据、制定大数据战略及实施路径的起点阶段。还有三分之一的银行向前发展到了尝试阶段,也就是按照规划出的路径和方案,通过试点项目进行测验,甄选出许多有价值的小机会,并且不停地进行试错和调整。而另外三分之一左右的银行则已经跨越了尝试阶段。基于多年的试错经验,他们已经识别出几个较大的机会,并且已经成功地将这些机会转化为可持续的商业价值。而且这些银行已经将匹配大数据的工作方式嵌入到组织当中。他们正在成熟运用先进的分析手段,并且不断获得新的商业洞察。(参阅图7)

    银行业应用举例1:将大数据技术应用到信贷风险控制领域。在美国,一家互联网信用评估机构已成为多家银行在个人信贷风险评估方面的好帮手。该机构通过分析客户在各个社交平台(如Facebook和Twitter)留下的数据,对银行的信贷申请客户进行风险评估,并将结果卖给银行。银行将这家机构的评估结果与内部评估相结合,从而形成更完善更准确的违约评估。这样的做法既帮助银行降低了风险成本,同时也为银行带来了风险定价方面的竞争优势。
    相较于零售银行业务,公司银行业务对大数据的应用似乎缺乏亮点。但实际上,大数据在公司银行业务的风险领域正在发挥着前所未有的作用。在传统方法中,银行对企业客户的违约风险评估多是基于过往的营业数据和信用信息。这种方式的最大弊端就是缺少前瞻性,因为影响企业违约的重要因素并不仅仅只是企业自身的经营状况,还包括行业的整体发展状况,正所谓“覆巢之下,焉有完卵”。但要进行这样的分析往往需要大量的资源投入,因此在数据处理资源稀缺的环境下无法得到广泛应用,而大数据手段则大幅减少了此类分析对资源的需求。西班牙一家大型银行正是利用大数据来为企业客户提供全面深入的信用风险分析。该行首先识别出影响行业发展的主要因素,然后对这些因素一一进行模拟,以测试各种事件对其客户业务发展的潜在影响,并综合评判每个企业客户的违约风险。这样的做法不仅成本低,而且对风险评估的速度快,同时显著提升了评估的准确性。
    银行业应用举例2:用大数据为客户制定差异化产品和营销方案。在零售银行业务中,通过数据分析来判断客户行为并匹配营销手段并不是一件新鲜事。但大数据为精准营销提供了广阔的创新空间。例如,海外银行开始围绕客户的“人生大事”进行交叉销售。这些银行对客户的交易数据进行分析,由此推算出客户经历“人生大事”的大致节点。人生中的这些重要时刻往往能够激发客户对高价值金融产品的购买意愿。一家澳大利亚银行通过大数据分析发现,家中即将有婴儿诞生的客户对寿险产品的潜在需求最大。通过对客户的银行卡交易数据进行分析,银行很容易识别出即将添丁的家庭:在这样的家庭中,准妈妈会开始购买某些药品,而婴儿相关产品的消费会不断出现。该行面向这一人群推出定制化的营销活动,获得了客户的积极响应,从而大幅提高了交叉销售的成功率。
    客户细分早已在银行业得到广泛应用,但细分维度往往大同小异,包括收入水平、年龄、职业等等。自从开始尝试大数据手段之后,银行的客户细分维度出现了突破。例如,西班牙的一家银行从Facebook和Twitter等社交平台上直接抓取数据来分析客户的业余爱好。该行把客户细分为常旅客、足球爱好者、高尔夫爱好者等类别。通过分析,该行发现高尔夫球爱好者对银行的利润度贡献最高,而足球爱好者对银行的忠诚度最高。此外,通过分析,该行还发现了另外一个小客群:“败家族”,即财富水平不高、但消费行为奢侈的人群。这个客群由于人数不多,而且当前的财富水平尚未超越贵宾客户的门槛,因此往往被银行所忽略。但分析显示这一人群能够为银行带来可观的利润,而且颇具成长潜力,因此该行决定将这些客户升级为贵宾客户,深入挖掘其潜在价值。
    在对公业务中,银行同样可以借助大数据形成更有价值的客户细分。例如,在BCG与一家加拿大银行的合作项目中,项目组利用大数据分析技术将所有公司客户按照行业和企业规模进行细分,一共建立了上百个细分客户群。不难想象,如果没有大数据的支持,这样深入的细分是很难实现的。然后,项目组在每个细分群中找出标杆企业,分析其银行产品组合,并将该细分群中其他客户的银行产品组合与标杆企业进行比对,从而识别出差距和潜在的营销机会。项目组将这些分析结果与该行的对公客户经理进行分享,帮助他们利用这些发现来制定更具针对性的销售计划和话术,并取得了良好的效果。客户对这种新的销售方式也十分欢迎,因为他们可以从中了解到同行的财务状况和金融安排,有助于对自身的行业地位与发展空间进行判断。
    银行业应用举例3:用大数据为优化银行运营提供决策基础。大数据不仅能在前台与中台大显身手,也能惠及后台运营领域。在互联网金融风生水起的当下,“O2O”(Online To Offline)成为了银行的热点话题。哪些客户适合线上渠道?哪些客户不愿“触网”?BCG曾帮助西班牙一家银行通过大数据技术应用对这些问题进行了解答。项目组对16个既可以在网点也可以在网络与移动渠道上完成的关键运营活动展开分析,建立了12个月的时间回溯深度,把客户群体和运营活动按照网点使用强度以及非网点渠道使用潜力进行细分。分析结果显示,大约66%的交易活动对网点的使用强度较高,但同时对非网点渠道的使用潜力也很高,因此可以从网点迁移到网络或移动渠道。项目组在客户细分中发现,年轻客户、老年客户以及高端客户在运营活动迁移方面潜力最大,可以优先作为渠道迁徙的对象。通过这样的运营调整,大数据帮助银行在引导客户转移、减轻网点压力的同时保障了客户体验。
    BCG还曾利用专有的大数据分析工具Network Max,帮助一家澳大利亚银行优化网点布局。虽然银行客户的线上活动日渐增多,但金融业的铁律在互联网时代依然适用,也就是说在客户身边设立实体网点仍然是金融机构的竞争优势。然而,网点的运营成本往往不菲,如何实现网点资源的价值最大化成为了每家银行面临的问题。在该项目中,项目组结合银行的内部数据(包括现有的网点分布和业绩状况等)和外部数据(如各个地区的人口数量、人口结构、收入水平等),对350多个区域进行了评估,并按照主要产品系列为每个区域制定市场份额预测。项目组还通过对市场份额的驱动因素进行模拟,得出在现有网点数量不变的情况下该行网点的理想布局图。该行根据项目组的建议对网点布局进行了调整,并取得了良好的成效。这个案例可以为许多银行带来启示:首先,银行十分清楚自身的网点布局,有关网点的经营业绩和地址的信息全量存在于银行的数据库中。其次,有关一个地区的人口数量、人口结构、收入水平等数据都是可以公开获取的数据。通过应用大数据技术来把这两组数据结合在一起,就可以帮助银行实现网点布局的优化。BCG基于大数据技术而研发的Network Max正是用来解决类似问题的工具。(参阅图8)

    银行业应用举例4:创新商业模式,用大数据拓展中间收入。过去,坐拥海量数据的银行考虑的是如何使用数据来服务其核心业务。而如今,很多银行已经走得更远。他们开始考虑如何把数据直接变成新产品并用来实现商业模式,进而直接创造收入。例如,澳大利亚一家大型银行通过分析支付数据来了解其零售客户的“消费路径”,即客户进行日常消费时的典型顺序,包括客户的购物地点、购买内容和购物顺序,并对其中的关联进行分析。该银行将这些分析结果销售给公司客户(比如零售业客户),帮助客户更准确地判断合适的产品广告投放地点以及适合在该地点进行推广的产品。这些公司客户过去往往需要花费大量金钱向市场调研公司购买此类数据,但如今他们可以花少得多的钱向自己的银行购买这些分析结果,而且银行所提供的此类数据也要可靠得多。银行通过这种方式获得了传统业务之外的收入。更重要的是,银行通过这样的创新为客户提供了增值服务,从而大大增强了客户粘性。
    2.1.1.2 大数据正在保险业全面渗透
    与银行业在大数据应用方面的高歌猛进相比,保险业的相关动作稍显迟疑。从全球保险业来看,美国财产保险业对大数据的应用最为广泛深入,医疗保险紧随其后,寿险对大数据的应用则相对滞后。与美国竞争对手相比,欧洲保险机构在大数据能力的发展水平上存在一到两年的差距。尽管如此,大数据在保险行业主要价值链环节的潜在应用也已逐渐清晰。(参阅图9)

    纵观海外保险机构,我们发现领先险企正在定价、营销、保单管理、理赔和反欺诈等不同领域对大数据应用进行积极的尝试和创新。这些创新对于保险业的商业与运营模式产生了革命性的影响。(参阅图10)

    保险业应用举例1:用大数据预防或减少赔付。赔付会直接影响保险企业的利润,对于赔付的管理也一直是险企的关注点。而赔付中的“异常值”(即超大额赔付)是赔付额的主要驱动因素之一。以某海外险企的工伤补偿为例,不到20%的“异常值”带来了超过80%的赔付费用。但是,这些高额赔付的案例往往早有端倪,如果能够及早干预就可以在很大程度上控制事态的发展。比如,关注伤者的疾病发展过程并及时建议跟进治疗以避免慢性疾病的发生,尽早建议用人单位进行工作调整以减少误工等等。
    大数据能够为险企及时、高效地采取干预措施提供良好的支持。一家领先的美国保险集团通过结合内部、第三方和社交媒体数据进行早期异常值检测,及时采取干预措施,从而使平均索赔费用下降了20%。该集团的预测模型使用了约1.4亿个数据点,其中既包括了客户的个人数据(健康状况、人口特征、雇主信息等),也包括了集团的内部数据(过往的理赔信息和已经采取的医疗干预信息等)。此外,这个模型可以随着新数据的加入而不断进行调整,以提升其准确性。
    欺诈是影响赔付的另一个重要因素。而借助大数据手段,险企可以显著提升反欺诈的准确性与及时性。在美国,一家汽车保险公司通过大数据分析识别出诈骗规律,从而使车险诈骗案例减少了30%,误报率减少了50%,整体索赔成本降低了2-3%。一家大型财险公司通过大数据分析,发现了赔付总额高达2.3亿美元的诈骗嫌疑案,并将识别欺诈的时间提前了117天。
    保险业应用举例2:用大数据支持差异化定价。对保费的定义是基于对一个群体的风险判断,而大数据无疑为这样的风险判断带来了前所未有的创新。一家澳大利亚保险公司通过分析客户的购物筐数据来预测驾驶风险。分析显示,饮用大量牛奶并食用大量红肉的客户具有较低的驾驶风险,而食用大量意大利面和米饭并在夜间开车和饮酒的客户则是高风险人群。英国保险公司英杰华集团(Aviva)运用网络数据来为保费设定提供支持。网络数据分析有效帮助该公司识别出申请者的潜在健康隐患及风险,其准确程度不亚于验血和尿检。
    此外,大数据还能帮助险企优化定价体系。出于定价原因而导致价值流失有多种情况,比如在价格方面过于“一刀切”、当客户停止购买其中一种产品后还在延续捆绑折扣、不能及时更新定价、销售团队在提供折扣方面缺乏纪律性等。而大数据分析可以帮助险企及时、准确地发现问题并予以纠正,从而防止价值“渗漏”。
    保险业应用举例3:用大数据实现差异化营销。大数据技术正在使客户细分不断走向深入,并日益成为精准营销的有力支撑。一家英国保险公司通过整合多元化的海量数据对5千多位客户进行了细分。在此基础上,该公司制定了高度差异化的营销和客户维护方案,最终在目标客群中收获了10倍的价值,并节省了近1亿英镑的成本。
    此外,大数据正在为险企揭示营销工作中一些根深蒂固的误区。例如,许多销售人员认为涨价是客户流失的主要原因,于是竭力使用价格手段来留住客户,从而对利润造成了影响。然而,一家险企的大数据分析显示仅有三分之一左右的客户流失与价格有关。因此,采用更经济有效且具有差异性的方式来挽留客户就成为了海外险企保护价值的一个重要抓手。
    2.1.2 国内现状:亟待破冰
    在国内,大数据的发展可谓风起云涌。这样的热潮同样波及到金融行业,众多金融机构纷纷布局。以银行业为例,在大数据发展方面最为活跃的群体当属股份制银行,而大数据应用则主要集中在客户营销、产品创新、风险控制和运营优化等领域。例如,光大银行研发了“阳光理财”资产配置平台(APP)来整合数据,对客户投资需求进行细分,并设计了与之匹配的资产配置方案以支持营销。光大银行还推出基于大数据技术的风险预警平台以提升风控水平。此外,该行还基于大数据Hadoop技术构建起核心历史数据查询平台,使以往需要3-4天的查询时间缩短到当日即可完成,从而显著提升了运营效率。民生银行通过大数据分析来定义营销举措并防止客户流失。中信银行与银联商务合作开发出基于商户信息和POS流水交易数据进行风控的“POS贷”。
    国内保险行业有三个经典“痛点”:与客户接触频率低,因而难以进行场景营销;数据基础差,从而限制了精算能力,进而对产品创新产生制约;运营整合难,从而影响了成本和客户体验。而大数据无疑为解决这些问题带来了契机。多家险企已经进行了布局,主要领域包括产品创新、风险控制和运营优化等。例如,淘宝的“运费险”保费低,购买频率高,理赔快。泰康人寿联手阿里小微金融服务集团推出国内首个针对电子商务创业人群的“乐业保”,并与可穿戴设备制造商咕咚合作推出互动式保险服务“活力计划”。平安借助金融集团的数据优势,通过分析信用卡的交易数据识别出车险的高风险人群。太平洋保险应用“大云平移”技术在其官方微信平台正式推出“大数据客户体验官(DEO)”概念,旨在提升运营与服务质量,优化客户体验。
    保险业基于大数据的创新层出不穷,但其中最具突破性的发展当属2014年由中国保险保障基金有限责任公司出资20亿元人民币成立的大数据公司—中国保险信息技术管理有限责任公司,其意义在于催生出中国保险行业的数据共享平台。数据的整合与共享是发展大数据的基础,而这一点却是任何险企都难以独自实现的。这样的平台必将成为整个行业在大数据发展方面的一个有力支撑。
    虽然已有诸多举措,但金融行业的大数据发展往往被形容为“雷声大、雨点小”,意指金融机构虽然投入不菲,但市场可感知的效果却十分有限。究竟是什么原因导致这一局面的产生?我们在与众多金融机构的接触过程中观察到三个阻碍数据转变为价值的现象:
    数据虽多,但整合困难。国内金融机构虽然同样坐拥海量数据,但其数据的存在状态反映了整个组织的现状,即“部门分制”。数据在组织内部处于割裂状态—业务条线、职能部门、渠道部门、风险部门等各个分支机构往往是数据的真正拥有者,而这些拥有者之间却常常缺乏顺畅的共享机制。然而,成就大数据的是数据的“全量”,这就要求金融机构内部能够实现高度的数据共享与整合。这样的矛盾导致金融机构中的海量数据往往处于分散和“睡眠”的状态。虽然金融机构拥有的数据量“富可敌国”,但到真正利用时却“捉襟见肘”。
    想法虽多,但动手困难。面对自己拥有的海量数据,金融机构真正敢“碰”的却很少。许多金融机构担心触犯监管或法律底线,或者担心擅自使用数据会侵犯客户的隐私权,又或是担心数据处理不当可能会给机构带来声誉风险和业务风险。因此,这些机构虽然积累了大量数据,并对应用模式进行了思考,但最终仍处于隔河观望的状态,难以付诸行动。海外金融机构也曾经面临同样的问题。在与海外金融机构的合作中,我们给出的建议十分简单:与数据拥有者坦诚沟通并征询他们的许可。BCG的大量项目经验表明,许多客户对于自己的数据被使用的接受度远比金融机构想象得要高。
    资源虽多,但协调困难。“技术部门不作为!”“业务说不清到底要什么”—这样的相互指责在很多金融机构的业务部门与技术部门之间都曾出现。许多大数据项目就是在这种不顺畅的沟通中“夭折”,而不成功的经验只会加深双方的矛盾,导致新的合作更加艰难。这样的恶性循环在很多机构重复上演。我们发现,复合型人才的匮乏、合作机制的缺失以及工作方法的不当往往是造成这一局面的主要原因。
    2.2 大数据要求金融机构重新审视自己的基础设施与环境
    2.2.1 数据技术:融合提升
    金融行业的数据强度在一定程度上决定了金融机构的技术强度。以银行业为例,在海外成熟市场,银行平均将营业收入的8%左右投入IT系统建设;而这一比例在国内稍低,但也可达到3%左右。如此重金打造的技术基础设施在大数据时代却面临着全面优化升级的挑战,这是因为数据的采集、存储和处理在大数据环境下发生了质的变化:日益开放的数据采集冲击着传统的结构化数据基础,常规的数据清洗在大数据面前失去了意义,海量数据的存储需要低成本的基础设施,实时性的分析要求新的数据处理技术……然而,挑战背后必有机遇。大数据同时为传统金融机构打造差异化竞争优势带来了宝贵的契机。那么,金融机构如何才能在技术层面上驾驭大数据时代?BCG认为,金融机构需要理解大数据分析的四个层次,关注13项核心技术,并做好两个决策。
    大数据分析的四个层次及十三项技术:数据经过层层晋级成为可以指导行动的智慧,而技术在这一过程中贯穿始终。(参阅图11)

    数据收集与存储层:这一层是基础所在。数据从各个渠道以各种形态涌入,其中包括结构化数据(如交易信息)、半结构化数据(如日志信息)、非结构化数据(如社交信息、多媒体、地理位置等信息)等。在这个层面上,数据被实时和非实时地清理、加工,并被归档存储为有效信息以供后续的分析处理。
    结构化数据集成:即便是在大数据时代,结构化数据依然举足轻重。结构化数据的集成仍然是大数据技术体系中的重要组成部分,这样的技术目前已经非常成熟。
    非结构化数据集成:为了满足不同业务场景的数据调用和分析需求,在大数据体系中需要融入能够应对数据的多样性与多时效性特点的集成技术。
    分布式存储:与常见的集中式存储技术不同,分布式存储技术并不是将数据存储在某个或多个特定的节点上,而是通过网络调用企业中每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,为大规模的数据存储需求提供了低成本的手段。
    流计算:由于业务发展不断提速,业务流程也日渐复杂,我们的注意力日益集中在“数据流”而非“数据集”上。决策者需要的架构应能处理随时发生的数据流,而当前的数据库技术并不适合数据流处理。
    并行计算:并行计算能够充分利用各种计算和存储资源,把计算分布到多个计算节点上,再在指定节点上将计算结果汇总输出,轻松实现针对TB、PB级数据分析的秒级响应。
    分布式计算:如果在分布式的数据环境中工作并希望在很短的时间内处理数据,这就需要分布式处理。在分布式处理领域广为人知的一个例子就是Hadoop。
    内存计算:一般而言,内存访问速度要比磁盘访问速度快几百倍甚至上千倍。内存计算同时利用多个节点的计算能力和内存容量,CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速,是实现大数据分析的关键应用技术。
    信息整合层:这一层是将数据转换为信息的关键。在这个层面上需要对数据进行去噪和增强处理,完成关系型信息和非关系型信息在一定程度上的整合。
    关系型信息整合:关系型数据库发展已经相对成熟,具有良好的可扩展能力和较高的处理能力。
    非关系信息整合:传统关系型数据库已无法满足需求,非结构化数据库不仅需要可以处理结构化数据,而且应当更适合处理非结构化数据(如文本、多媒体等信息)。
    知识发现层:人工智能和数据挖掘技术在这一层面上大显身手,对在上一个层面整合好的信息进行分解、提炼,从中找出对目标对象有价值的信息点,完成从信息到知识的转化。
    数据沙箱:按需收集各种实验数据,建立业务实验模型,是大数据架构下用于探索业务数据的一个分析平台。
    实时决策:在不影响用户体验的情况下,从一组备选方案中选择一个合适的业务决策。
    机器学习:这是大数据非常重要的能力,从信息反馈中获取新的知识或技能,重新组织已有的知识结构,并使之不断改善自身性能。
    智慧汲取层:作为行动指导的洞察就诞生于这一层面。借助数据可视化工具,将经验、判断与知识相融合,使数据蜕变为智慧,开始为商业价值的创造提供指导。
    数据洞察:借助数据可视化工具可以从知识中发现智慧,借助叙事可视化工具可以以独特的方式探索数据,而借助探索性可视化描述工具可以帮助决策者和分析师挖掘不同数据之间的联系—这是一种可视化的洞察力。
    为了将大数据技术融入到自己现有的技术生态中,传统金融机构特别需要在基础设施和IT架构两大问题上进行权衡。(参阅图12)

    基础设施:是否“在云端”以及如何“在云端”是众多传统金融机构在大数据时代需要做出的一个核心技术决策。从理论上来说,金融机构可以选择云端、本地或混合模式。如果选择云端,金融机构还需要在公共云和私有云之间进行选择。而在实践中,这样的决策并不容易,因为这不仅仅涉及到技术问题。对数据的掌控是金融机构安身立命的根本,而如何平衡风险控制与成本效率是这个决策的关键点。
    IT架构:大数据的生命周期要求传统金融机构的IT架构对新的技术要求进行全链条的接纳:获取大数据源,建设大数据平台进行存储和处理,并开发基于大数据分析的创新应用。这一切对于历史演进而成的庞大复杂的存量架构无疑是一个巨大的挑战。
    2.2.2 数据经济:尚未破题
    当我们把数据看作是继土地、劳动力、资金之后的第四种生产资料时,就再也无法回避大数据所涉及的经济维度,也就是数据的所有权问题、定价问题和交易规则问题。纵览海内外,这些核心问题尚未得到一劳永逸的解决。然而,不断涌现的创新尝试无疑正在为这些核心问题寻找解决手段,使数据经济得以蹒跚运行。例如,数据中间商、数据汇聚商、价值链数据共享平台等都在努力使数据有理、有序、有价地得以共享。
    在国内,传统金融机构同样是数据的拥有者之一。但要真正源源不断地汲取大数据所蕴含的价值,金融机构需要以开放的思维与整个数据生态有效对接。而构建这样的生态优势的出发点就是理解这个生态本身。在国内,这样的生态正在快速成长。传统金融机构不仅可以获益于这样的发展,更可以参与到这样的发展之中。3. 超越技术的管理视角—金融机构驾驭大数据的三个关键点
    金融业虽然坐拥海量数据,但目前真正得到利用的数据仅为冰山一角。BCG多年的项目经验显示,金融机构对数据的实际利用率仅为34%,从而导致大量数据荒地的出现以及大量潜在机会处于沉睡状态。问题到底出在哪里?
    为此,BCG对部分典型金融机构客户进行了调研。调查结果显示,从数据到价值的转化过程包含了七大步骤,其中“许可和信任”以及“协调”是关键瓶颈。(参阅图13)

    步骤一:数据收集。与内部数据及外部数据形成对接,以获得丰富、全面的数据。
    步骤二:许可和信任。获得客户的许可和信任,同意企业在不透露其个人信息的前提下对其信息进行整合、分析和应用。
    步骤三:储存和处理技术。搭建合适的IT构架,以有效整理、存储和调用数据。
    步骤四:数据科学。识别合适的分析工具,以进行大数据分析。
    步骤五:协调。理解业务端需求,并将这些需求转化为具体的问题,指引技术部门和分析部门提供基础设施支持及数据分析工作。
    步骤六:行动洞察力。正确解读数据分析结果,将答案转化为行动变革、产品开发和客户发展方案。
    步骤七:嵌入式变革。将大数据分析和应用融入到整个机构组织的日常运作中,并确保每位员工都能参与实施变革。
    这样的调研结果让我们深刻认识到,掣肘大数据在金融机构发展的关键因素存在于管理层面,而非技术层面。BCG根据自身在大数据和金融行业的咨询经验,总结了金融机构驾驭大数据的三个关键点(“TMT”),包括:团队(Team)、机制(Mechanism)和思维(Thinking)。在这三个关键点上进行突破应成为传统金融机构将数据转化为价值的核心抓手。
    3.1 数据人为:建设团队是核心
    尽管“专家将会消亡”、“大数据将取代人脑”的说法此起彼伏,但BCG认为,在大数据时代创造价值的主角仍是“人”。数据源自于人并服务于人。但大数据时代无疑对身处其中的从业者提出了新的要求。善于“跨界”的复合型人才在金融机构中是稀缺资源,因此构建复合型团队就成为了关键所在。然而,是否将具备业务视角或技术能力的人员组合在一起就能实现金融机构的大数据掘金梦想呢?我们的答案是否定的。若要让团队高效运作,配套机制不可或缺。
    3.2 高效行动:形成机制是保障
    大数据无疑在冲击传统金融机构惯常的工作方式与流程。大数据中蕴藏的大量“小机会”需要通过灵活、快速而又有纪律的工作机制才能最终形成“大价值”。对于传统金融机构而言,两项机制改革是关键。
    3.2.1 引入试错机制
    “错误”在传统金融机构中不是一个受欢迎的词。“不出错”甚至在很多机构中被看作是颠扑不破的生存法则。而在大数据时代,“试错”将成为必经之路。浩瀚的数据带来了无限的想象空间,同时也带来了极高的不确定性。一个关联发现究竟是真正的商机还只是噪音,只有试了才知道。成功的试错机制包括以下七个方面:
    为创意的产生提供条件。在IT行业中,我们观察到有些公司开始给予员工“自由时间”,也就是说员工可以将10-15%的工作时间用于做自己感兴趣的项目。
    增加探索和尝试的数据。在大数据中发现商机也是个几率问题,提高基数无疑非常重要。
    降低成本,提高速度。“小步快跑”在大数据时代成为了值得推崇的工作方式。这意味着严格管理每一个试点的成本,将投入产出透明化,并大幅缩短每个试点的周期。
    降低失败的代价。这里的代价既是对机构而言,也是对个人而言。组织内部需要能够合理“容错”,降低试错者的后顾之忧。而组织自身则需要清晰的“防火墙”,让试错在可控的环境中发生。
    增强预判能力。在一个试点项目中往往存在一系列关键条件。密切关注这些关键条件的变化,尽早判断试点的成功几率是试错机制的关键一环。
    快速推广放大。当一次试错呈现出商业潜力时,机构就需要迅速果断地将成果商业化、规模化,以便充分汲取其中的价值。
    鼓励探索的文化。再完善的机制也会有“盲点”,而软性的文化则是填补空白的关键。
    3.2.2 提高人才管理与组织管控的弹性
    金融业一直是精英汇聚的行业。但在传统金融机构中,不仅数据呈现出“分治”的状态,人才的流动与重组往往也相当困难。而培养大数据时代所必需的复合型人才必然要求人才能够在组织内外灵活地流转和进出。此外,针对“业务”与“技术”对话不畅的问题,联合团队往往是有效的解决手段之一。而这样的跨部门工作机制要求在人才的选调、考核和职业发展等关键方面有相应的配套举措。只有在尝试中培养“创新的种子”,并不断将这些“种子”播种到有需求的土壤中去,才能使大数据真正融入机构的日常工作当中,持续发挥其作用,并为组织创造价值。
    3.3 构筑优势:转变思维是根本
    《大数据时代》(Big Data: A Revolution That Will Transform How We Live, Work,and Think)一书的作者指出, 在大数据价值链中“数据、技术与思维三足鼎立”。对于数据和技术的掌控在很大程度上取决于机构的商业模式。金融机构在这两个层面上已经拥有相当大的优势。然而,思维才是使数据中的价值持续爆发的力量。大数据的发展不仅作用于金融机构的商业模式及运营模式的方方面面,更直接对根深蒂固的传统理念构成挑战。采用关联而非因果的视角也可以帮助我们更好地理解世界。与封闭相比,开放可能是构筑商业壁垒的更有效的手段。这样的思维转变对于传统金融机构而言意味着一场异常深刻的变革,而这样的变革势必触碰到体制层面,因此也必然异常艰难。但胜者从来都是那些勇于拥抱变革并善于拥抱变革的机构。在金融行业,大数据带来的绝不仅仅是一场数据与技术的比拼。致胜因素将是机构触发、管理并固化变革的能力。
    并非每个“热点”都将转瞬即逝。大数据是技术发展所带来的不可逆的大趋势,它所代表的是人类对世界的认知视角的演化,以及对世界的掌控能力的进步。对传统金融机构而言,从数据到价值的转化过程意味着新的思维在蓬勃发展,并驱动商业模式与运营模式进行深刻变革。这必将是一个漫长的过程,而且无捷径可寻。及早出发,积极、理性地试水投入,让整个机构能够借力大数据来尽快实现自我提升,这是传统金融机构将数据持续转化为生产力乃至竞争优势的必由之路。4. 用实践引领思考——BCG在大数据方面的能力
    大数据是BCG倾力投入的重点领域之一。我们的全球大数据专题团队汇聚了资深咨询顾问、数据科学家、行业专家、技术专家和第三方战略合作伙伴,从战略与业务的视角出发为客户进行方案设计、实操数据分析以及试点落地。(参阅图14)

    基于多年的项目经验,我们在大数据领域形成了精辟独到的见解以及科学实用的分析框架,并拥有经验丰富的团队。BCG能够在七个领域帮助客户驾驭大数据,包括:大数据战略、战略分析、平台分析、企业信息管理、业务模式转型、创新业务模式、业务数据能力建设。(参阅图15)




    PDF下载:回归价值本源-金融机构如何驾驭大数据

    大数据如何在金融企业变成Money?

    唐半张 发表了文章 0 个评论 1233 次浏览 2015-10-19 09:40 来自相关话题

    36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。 ...查看全部

    36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。
    大数据金融进入2.0时代之后,大数据如何进行变现成为金融企业讨论的问题。在过去,金融企业采用的都是静态的数据、不活跃的数据,这样的数据变现能力很差。大数据在金融行业的应用主要集中在数据集市和数据挖掘,主要作用是生成各种各样的财务报表和管理报表,让企业管理者从不同的角度和纬度了解企业的运行情况,寻找重大决策所需要数据支持。大数据的价值应用处于被动状态,大数据变现特点不明显。
    移动互联网出现之后,消费者全面转向移动互联网,智能手机加APP构成了社会大众的主要消费场景。特别是即将成为消费主力的80后和90后,他们成了移动互联网的主体;平均每天智能手机使用时间超过了3个小时,所有的消费都通过智能手机APP来完成。进入移动互联网时代后,金融企业在进行大数据应用时应关注消费者行为的转变,需要充分考虑移动互联网的数据、活的数据,具有生命力的数据。在大数据金融2.0时代,金融企业的大数据变现将从移动互联网大数据开始。
    移动互联网具有随时随地,定人定位的特点。相对于传统互联网,消费者可以通过于智能手机在任何时间、任何地点接入互联网,进行阅读、购物、读书、导航、打游戏、查询信息等。人们已经越来越依赖智能手机,你会发现所有人都不再惧怕排队,因为有智能手机的陪伴;上厕所不再拿一本书,只是带一台智能手机;见面不再寒暄问候,因为微信上该聊的都聊了。智能手机的定位功能LBS同手机号码结合之后,金融企业很容易确定使用者的物理位置和具体用户,移动互联网可以通过位置信息了解人们的生活轨迹和消费习惯。
    移动互联网的数据特别是手机APP的数据正在成为具有价值的资产。大数据将成为金融企业未来发展的石油,是金融企业赢得未来市场的法宝。下面我们就简单介绍一下,大数据到底能为金融行业带来哪些价值?大数据在金融行业如何进行变现。
    一、帮助金融企业获客(未来金融行业,得客户者得天下)
    未来金融行业,无论是银行、证券、保险、基金还是信托,获取新客户是最主要的任务,可以说金融企业得客户者得天下。金融行业的服务范围正在跨越地理空间的限制,客户的获取不再仅仅依赖于线下的市场活动,移动互联网获客正在成为可能;基金和证券的互联网开户已经成为事实,未来银行的在线开户也将逐步变成事实。80后、90后将会成为各金融行业争夺的目标,他们的爱好和习惯将会成为各大金融企业的关注重点,每年700多万的大学毕业生也将成为各大信用卡公司争夺的对象。
    移动大数据由于具有定人定为的特点,金融行业完全可以利用客户装载的APP进行精准营销,快速获取客户。消费者的手机号是需要保密的,但是其手机的设备号和上面装载的APP信息却是可以进行利用的。金融企业可以对自己的潜在客户进行画像,定义自己目标客户经常使用的APP,或者经常出现的地点,或者最近装载的APP(例如买车、租房、招聘、理财、股票交易、信用卡APP等),发现潜在的目标客户。
    金融企业由于没有移动设备的数据,因此金融企业应该同移动大数据企业进行合作,购买这些数据。通过DSP定向进行广告投放,利用大数据连接的功能,获取新的信用卡、证券、基金、理财产品客户。另外可以进一步依据客户的消费习惯,活动轨迹为客户订制需要的金融产品。金融企业的获客`成本从50元到2000元甚至5000元不等,金融大数据获客的市场规模理论上不少于20个亿。
    二、了解你的客户(增强用户体验,利用互联网企业的法宝来赢得未来客户群体)
    未来是移动金融的天下,金融行业的APP将成为主要的客户入口。金融企业如果想了解客户喜好,了解用户的习惯,提高客户体验,提高客户的活跃度,留住更多的老客户,获得更新客户;金融企业就必须关注自身移动APP应用的运营情况,必须关注APP中的客户体验,必须了解APP中用户行为。这些也是互联网企业的核心竞争力。
    金融企业可以借助于移动APP运营统计分析平台来了解移动APP的登陆情况,活跃程度,使用时间,客户使用偏好,客户喜欢的金融产品,客户经常点击的菜单,不活跃的菜单和产品等信息。金融企业可以根据用户的喜好来进行UI的设计和更改,包括布局、图表形状、颜色搭配等,提高客户体验和活跃度。同时金融企业可以通过移动APP运营统计分析平台的数据来决定下架哪些产品,增加哪些产品,进一步开发哪些产品。移动的APP空间界面有限,一定要摆放能够给金融企业带来巨大效益的产品,节约空间和时间,实现精细化产品运营。
    借助于移动APP运营统计分析平台,大数据的反馈功能可以良好的体现出来。过去金融企业不了解的用户行为信息,通过平台进行采集和分析后,可以有效帮助金融企业了解客户,提高客户的体验,赢得未来80、90后客户。用户体验是金融企业未来一直需要重点关注的领域,无论是银行还是基金公司,吸引客户购买产品的动力除了产品自身的优秀外,还应包含平台使用的用户体验。大数据在用户体验上的应用已经发展一段时间,未来金融行业在用户体验上的投入将会逐步增加。
    三、精准营销(用最少的钱办最大的事)
    金融行业过去一直是广告市场的大客户,为了提高自身品牌形象和推广金融产品。各大金融企业不断的投入巨额广告,整体广告市场投入金额在百亿元人民币左右,金融企业经常作为各种商业活动的主要赞助商。例如F1赛车,网球大师赛,高尔夫球赛,各种媒体举办的会议和体育活动等。
    在移动互联网时代,每个人使用移动设备的时间在逐渐增加,传统媒体的优势正逐步被新媒体取代,消费者更多利用手机来获取信息,多数的年轻人都在玩手游,利用平板电脑观看电影和电视剧,数字电视节目正在成为主流。由于客户行为的改变,金融行业应加大在数字媒体上的营销力度和广告投入。如何找到目标客户,将广告投到目标客户那里成立具有挑战的问题。过去传统媒体只能通过撒网式广告,无法做到定位目标客户。但是在大数据的帮助下,数字媒体可以做得到,做的很好。
    大数据时代,用户使用的移动APP可以帮助金融企业了解客户的消费习惯和消费能力,找到目标客户。在确定目标客户之后,金融企业可以选择在客户经常观看的媒体或APP上来投放营销广告,另外利用DSP的数据,金融企业可以了解多少广告被客户主动点击,客户停留时间,客户购买产品的期望,客户的转化率等信息。大数据的精准营销将会帮助金融企业花最少的钱,办最大的事。国外金融企业的精准营销早就成为主流,每年仅美国金融行业市场,精准营销为金融企业带来的收益就超过了几十亿美金。
    四、增加风险评估维度(风险定价能力是金融行业的核心竞争力)
    金融企业之间最大的竞争力之一就是风险偏好,也就是风险定价能力。准确的风险定价能力将会帮助金融企业获取更大的利润。任何一个金融企业如果不具有风险定价能力,其将无法有效识别风险,很容易落到风险陷阱,被市场迅速淘汰。移动互联网时代无论是个人客户和企业客户,其风险评估纬度都多种多样,风险评估场景也是错综复杂。如果金融企业风险场景考虑不全,金融企业就可能面对一个巨大的风险敞口。
    大数据的连接、反馈和揭示可以帮助金融企业充分考虑风险场景和风险纬度,利用大数据揭示事物规律和本质的特点来帮助金融行业进行更加全面的风险管理。互联网金融企业和互联网巨头BAT进行的小额信贷就是利用大数据实施风险评估和管理。客户的社交数据,交易数据,LBS信息等数据,正在帮助金融企业例如银行,信用卡,保险公司,基金公司增加风险评估维度。据有关学者介绍中国的个人信用评估市场就有将近1000亿的时市场规模。
    五、挖掘客户价值(已有的客户是最大的金矿)
    金融行业的主要收入来源于已有的客户,其对金融企业的产品更加忠诚和信任。开发一个新客户的成本远高于让老客户购买产品。利用大数据的连接、反馈、揭示等功能,金融企业可以利用客户交易数据来分析其消费习惯和爱好,定位其金融需求;利用企业之间的交易数据可以了解各个企业的运营情况,现金流情况,主要的资金流向等信息。通过相关性分析可以为客户推荐已有的产品或单独设计产品。金融行业的消费贷款、贸易融资,供应链金融、融资融券、组合保险等产品都是利用了自身内部的数据相关性,通过数据挖掘来设计的,未来这种挖掘已有客户价值的趋势将会越来越明显。移动互联网的数据在对客户分析方面更有价值,更能够反映出客户的特点和金融需求,金融行业应采用移动互联网端的数据,甚至购买于外部的移动互联网数据,来帮助自己挖掘已有的客户价值。
    总结,互联网银行的出现、政府和监管对互联网金融企业的支持、互联网巨头BAT对金融行业的进军,将会将金融行业的市场竞争从蓝海推向红海。在2015年将进入金融行业大数据变现的爆发期,金融行业将会购买外部移动数据,移动APP运营统计分析平台,大数据管理平台,精准营销等方面来进行投资。大数据将会被作为金融行业的重要武器,反击互联网企业对金融行业的渗透。
    在大数据金融2.0时代,拥有移动APP数据、移动APP运营统计分析平台、大数据管理平台;独立于互联网BAT巨头、具有高度商业敏感度的大数据公司,将会成为金融行业大数据变现的主要推动者,金融企业大数据战略实施的合作伙伴。任何一个金融企业如果忽视了在移动互联网和大数据两大领域的投入,未来就会在市场竞争中处于下风,有可能被残酷的市场淘汰。不客气的说,未来金融企业之间的竞争,成败很大程度取决于对大数据和移动互联网技术的应用。

    专栏:金融企业如何利用大数据洞察客户

    唐半张 发表了文章 0 个评论 1254 次浏览 2015-10-19 09:39 来自相关话题

      36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke ...查看全部
     

    36大数据专稿,作者:鲍忠铁,转载本文需要得到作者daxiakanke 的授权。
    进入了大数据金融2.0时代之后,金融企业的大数据入口将转向移动APP。移动互联网已经成为商业的下一个前沿,关注移动APP或扫二维码下载APP俨然成了所有金融行业商业广告中的重点。金融行业的APP将成为线上金融服务的主要入口,无论是企业金融服务和个人金融服务,都将离不开APP这个客户和大数据入口。金融行业如何利用移动APP来洞察客户,了解客户喜好、做好数字营销、优化产品设计、提高单个客户价值、管控自身运营成本、进行业绩监控、优化移动平台运营成了所有金融行业需要关心和重视的问题,本文将从几个方面来介绍在移动互联网时代,如何利用移动APP来洞察客户,优化移动运营,玩转移动金融。
    珍妮.哈里斯在2007年的《分析领域的竞争》一书中提出了数字分析的五个阶段,其中阶段5属于最高级别。
    阶段1,定位为分析碎片化,表现为公司有数据有分析的兴趣,但是没有将资源组织在一起。
    阶段2,定位为分析割据化,表现为企业管理者支持数据分析,但是分析的重要性没有得到最高层面的认可。
    阶段3,定位为分析积极化,表现为高层管理者认可分析的重要性,具有数字分析的组织和能力,但是缺乏标准、支持和工作的延续性
    阶段4,定位为数字分析型公司,数字分析处于积极的发展过程中,有高管的支持,有一些标准和系统的一致性。
    阶段5,定位为分析型对手(领先的数字分析企业),具有一致的标准和实践,完全实现数据整合,企业层面数字分析所产生的商业收益都已经实现资本化。
    中国金融行业的大数据分析大部分处于阶段1到阶段3,由于缺少数据分析的标准和系统,很少出现处于阶段4的公司。因此建立数字分析标准对于金融行业分析移动大数据,洞察客户是非常重要的事情。
    一移动APP运营标准建设(2A3R指标体系介绍)
    移动APP的数据大多数为客户的点击数据和行为,代表了客户的声音(VOC),如何听取客户的声音,来了解客户,提高客户体验成了所有金融企业需要面对的问题。金融企业应该建立移动APP运营统一技术标准来帮助金融行业分析移动APP运营情况。
    金融行业可以向互联网行业学习,特别是像移动运营方面比较领先的手游行业学习。手游行业的竞争激烈,用户对手游APP体验要求较高,例如游戏的地图路线,颜色搭配,魔法工具的使用,宝物出现的地点,怪物出现的时间和地点,人物升级的点数和方式都会影响用户体验;手机游戏生命周期较短,一般都少于6个月,游戏用户高峰一般出现在注册的前几个星期等;这些特点要求手机游戏APP开发者必须对其游戏的运营情况及时进行了解,因此手游移动APP运营统计分析平台对手游行业发展具有重大意义。
    手游行业很早就上线了移动运营统计分析平台,形成了成熟的移动APP运营指标。在这些移动运营标准中,TalkingData的2A3R移动APP运营标准,值的金融行业借鉴学习。下面将简单介绍一下2A3R(AARRR)
    AARRR是Acquisition、Activation、Retention、Revenue、Refer,这个五个单词的缩写,分别对应这一款移动应用生命周期中的5个重要环节。下面我们来简单讲解一下AARRR模型中每个项目的意义。
    1、获取用户(Acquisition)
    运营一款移动应用的第一步,毫无疑问是获取用户,也就是大家通常所说的推广。如果没有用户,就谈不上运营。
    2、提高活跃度(Activation)
    很多用户可能是通过不同的渠道进入应用的,这些用户是被动地进入应用的。如何把他们转化为活跃用户,是运营者面临的第一个问题。一个重要的因素是产品本身是否能在最初使用的几十秒钟内抓住用户。再有内涵的应用,如果给人的第一印象不好,也会”相亲”失败,成为”嫁不出去的老大难”。此外,还有些应用会通过体验良好的新手教程来吸引新用户,这在游戏行业尤其突出。
    3、提高留存率(Retention)
    有些应用在解决了活跃度的问题以后,又发现了另一个问题:”用户来得快、走得也快”。有时候我们也说是这款应用没有用户粘性。解决这个问题首先需要通过日留存率、周留存率、月留存率等指标监控应用的用户流失情况,并采取相应的手段在用户流失之前,激励这些用户继续使用应用。
    4、获取收入(Revenue)
    获取收入其实是应用运营最核心的一块。极少有人开发一款应用只是纯粹出于兴趣,绝大多数开发者最关心的就是收入。即使是免费应用,也应该有其盈利的模式。前面所提的提高活跃度、提高留存率,对获取收入来说,是必需的基础。用户基数大了,收入才有可能上量。
    5、自传播(Refer)
    以前的运营模型到第四个层次就结束了,但是社交网络的兴起,使得运营增加了一个方面,就是基于社交网络的病毒式传播,这已经成为获取用户的一个新途径。这个方式的成本很低,而且效果有可能非常好;唯一的前提是产品自身要足够好,有很好的口碑。从自传播到再次获取新用户,应用运营形成了一个螺旋式上升的轨道。而那些优秀的应用就很好地利用了这个轨道,不断扩大自己的用户群体。
    具体的移动运营APP标准建设的文章请参考文章:运营总监教你搭建APP运营数据框架—AARRR模型。
    二移动互联网APP数字分析的特点
    1、移动数据中包含地理位置信息
    移动互联网同传统互联网的一个区别是,移动互联网包含了LBS数据即位置数据信息,这些信息具有非结构化特点,以文本日志信息为主,可以连接用户,揭示客户的日常习惯和行为轨迹,帮助金融行业了解客户特点和喜好。
    2、移动APP具有离线使用的特点
    移动APP可以在离线的情况下进行使用,客户使用APP的行为数据将会记录在手机APP的日志中。传统互联网只能在用户在线的情况下进行访问,其通过网页抓包软件将用户访问行为记录在网站上,称之为在线数据记录。但是移动APP所有的数据都存在APP自身的日志里面,无论在线与否都需要通过API(专业的SDK)进行收集。移动APP中产生的很多重要数据,并没有存在APP自身的日志中,这种情况下需要专门的API采集出来。
    3、移动APP的数据是活的数据,其生命周期较短
    移动App的数据由于包含了位置信息,反映用户的生活轨迹和个人喜好,可以认为移动数据是活的数据,是更有价值的数据。但是由于智能手机的更换周期一般为两年,因此采集到移动APP的数据,其生命周期最长不应超过两年。一般建议采用6个月到1年左右的数据,这些数据更能准确反映客户特点,具有更大的数据价值。
    很多大数据公司宣称拥有海量的数据,但是他们忽略了数据具有生命周期的特点,历史的数据没有办法来洞察客户现在的喜好和习惯,只有移动APP上实时抓取的数据才具有参考价值。由于移动大数据具有生命周期的特点,金融行业进行大数据应用时,建议采用移动APP收集的数据,其数据价值更大。
    4、移动互联网数字分析需专业的分析工具
    由于移动App数据不能被搜索,数据采集上就需要采用专业的数据采集工具。互联网行业都利用专业SDK工具包的API来采集数据,上传到移动APP运营统计分析平台上进行分析,因此移动App运营统计分析平台就成为金融行业了解移动运营的必备工具。金融行业如果想洞察客户,提高客户体验,对移动APP的数据进行采集和分析,了解移动APP运营情况就必须采用互联网企业专用的移动APP运营统计分析平台。
    三移动APP运营统计分析平台的选择
    金融行业的优势在在于了解其自身业务,了解金融数据的价值。但是在如何采集分析数据,如何玩大数据等方面,相对于专业的互联网公司并不具有优势。移动APP运营统计分析平台技术更新较快,用于数据采集的API需要不断增加,平台依据客户采集的需求要不断地进行升级,因此平台技术更新的速度是金融行业自身开发中心无法达到的。另外作为用户的其他金融行业客户,也将会参与平台的升级换代,因此建议金融行业不要自己开发移动APP运营统计分析平台,应将主要的精力用于数据分析和数据变现上面。
    在人人时代的背景下,有众多金融客户参与改良的移动APP运营统计分析平台,凝聚了行业的智慧和众多人才的智慧。应该比任何一家金融机构自身开发出的移动APP运营统计分析平台具有更强的DNA和自我进化能力。因此金融企业更应该使用各个金融企业共同创造的移动APP运营统计分析平台。
    四移动APP运营统计分析平台的商业价值
    1、采集客户点击数据,洞察客户特点,提高客户体验
    金融企业借助于移动APP运营统计分析平台,可以采集客户APP点击数据和位置数据。利用客户的点击数据,金融企业可以了解APP的设计情况,例如颜色搭配,按钮的摆放,客户的活跃度,客户留存时间,产品的点击率,客户产品喜好等数据,帮助金融行业提高客户体验,设计出用户喜爱的移动APP。
    2、精细化营销方案,优先推广客户需要并为企业创造更大价值的产
    移动APP的界面可视空间有限,金融企业的产品众多,到底排放哪些产品来吸引客户,成了各个产品部门的争夺焦点。有了移动App运营统计分析平台后,让统计数据说话,金融企业可以依据客户点击数,点击趋势,购买趋势等数据来进行选择。
    客户需要的,点击率较高的,点击数字趋势增加的,客户购买增加的,其在APP里面上线的位置和上线时间就应该加强,反之则应该减弱。简单的讲就是平台可以帮助金融行业利用移动APP有限的界面来创造最大的价值。
    3、依据客户点击数据和购买数据来设计优化产品
    平台记录了客户的点击和购买数据,通过这些数据金融行业可以了解客户需求,为客户设计其需要的金融产品,提高单个客户的价值。另外可以利用这些行为数据进行分析,优化已经上线的产品,增加新产品的销售份额。这些具有反馈特点的大数据将会帮助金融企业实时了解客户,以最低的成本获得最大量的数据。客观的数据将会帮助金融企业更加了解客户,提高客户服务水平。
    4、移动APP的运营管控和产品的绩效管理
    平台的数据可以监控移动APP的运营情况,了解客户的活跃度,了解营销方案的效果、市场推广活动的运营效果,帮助金融企业进行营销决策。针对客户活跃度高的营销活动加大投入,创造更大的价值。对于效果不好的市场活动及时进行撤离,减少不必要的投入,同时释放APP中具有价值的界面和时间给更好的营销活动。
    平台的数据也可以帮助金融企业了解产品绩效情况,帮助金融企业加大对受客户喜欢产品的投入,帮助金融行业实现动态产品设计和精细化营销管理,快速应对客户需求,取得市场领先。
    总结,在大数据金融2.0时代,金融企业应该向互联网企业学习,借助移动APP运营统计分析平台,采集具有生命力的移动大数据。金融企业利用这些数据来洞察客户,了解客户的特点和需求,取得同互联网企业一样的技术优势。玩转移动金融,玩转大数据金融,提高客户体验,利用大数据创造更多的价值。

    “垃圾进 垃圾出”大数据征信可靠不可靠

    唐半张 发表了文章 0 个评论 1297 次浏览 2015-10-19 09:33 来自相关话题

    当今大数据风行一时,各行各业都趋之若鹜。在征信业更是如此。但如果认真的问一下,什么是大数据,却没有一个一致的答案。
    很多分析认为借贷双方信用信息是非对称的(asymmetric),大数据可以帮助贷方弥补与借方信息的差距。这个论点的前提是对的,但美国的经验证明信用报告能够很好的解决这个问题。而大数据用于征信存在一些很难逾越的障碍。
    大数据由来
    准确性是征信的第一准则。本着这种精神,我们来看一下大数据的由来和其准确定义。
    在美国计算机协会数字图书馆中,大数据(Big Data) 第一次出现是在1997年10月,迈克尔·考克斯 (Michael Cox)和大卫·埃尔斯沃思(David Ellsworth)发表的一篇关于处理图像数字化后数据量管理的文章里 。 文章开头指出 “图像数字化给计算机系统出了一个有趣的难题,数据都相当大,占用主存储器,终端磁盘,甚至远程磁盘的容量。我们称之为大数据的问题。” 从这以后,数据随着互联网的发展呈现爆炸式增长。“大数据”也成为各行各业的一个热门的话题。
    明白“大数据”始于图像数字化非常重要。大数据包括:可视化数据 – 视频,照片,指纹印记等;言语数据 – 声音和语言,其他声音(动物,自然);社会关系 – 工作和个人关系(LinkedIn);各种同时和即时的活动 -人类,动物或自然(信用卡交易,微博,人类活动,传感器和计量器等);等等。但占压倒性比例的数据是影像。思科(Cisco)公司去年的报告指出,目前美国78%的互联网流量是影像。这一比例在三年内会增加到84%。影像在所有新创数据中的比例,应该是接近或超过它在互联网流量中所占的份额。
    具体到征信领域,通常把信息局和银行搜集的数据叫做常规数据,其他的叫大数据
    大数据包括了所有可以获得和可以产生的数据。和常规数据相比,“大数据”种类多样(影像),产生速度更快(90%的数据是近两年产生的),数据量比常规数据大千倍万倍。这些特点使得传统数据分析工具和方法难以应对。
    美国征信业的起源
    国务院“征信管理条例”对“征信业务”做出了明确定义:“征信业务是指依法收集、整理、保存、加工个人、法人及其他组织的信用信息,并对外提供信用报告、信用评分、信用评级等的业务活动”。简而言之,征信是建立和提供“信用档案”和“信用评级”。
    将此“征信业务”定义用于美国,它包括了四项相当不同的业务:
    1.个人信用信息局 — 包括美国三大信用信息局Equifax、Experian、和Trans Union 和很多小型个人信息公司。
    2.信用评分 — 主要用于个人。FICO(费埃哲)基本上垄断了这一行业。
    3.商业信用信息局 — 未上市公司的信用信息主要由一家公司Dun & Bradstreet(邓白氏)垄断。上市公司信用信息公开,在美国证卷交易委员会(SEC)的网站上即可获得。
    4. 信用评级 — 主要用于商业公司。美国有很多企业在这一领域。但最重要的有三家Standard & Poor’s (S&P), Moody’s, 和 Fitch Group.
    个人和企业征信有根本的区别。本文只讨论个人征信。企业征信将在另一篇详细论述。
    在美国,当一个人到银行去借钱,银行要对借款人进行“5C” (Character、Capacity、Capital、Collateral、Conditions)贷前分析和审查,以确定借款者是否会还本付息。分析和审查需要的数据,包括认识借款者是谁和其人品,以前是否借过钱,是不是有过借钱不还的记录(Character);借多少钱,什么用途;最近几年收入多少;借款人财产情况;根据收入和财产判断它是否能按时还钱 (Capacity);如果借钱买房,本金占多少比例(Capital);房子价格、状况(Collateral);此外还要分析当地的房市和经济情况(Conditions)。银行会要求借款人提供一系列的证明材料:收入、财产证明、银行月报、信用卡和已有房贷月报,以及其它报表;银行的信贷员还要打电话给申请人单位或者登门拜访,以了解申请人的人品、收入可靠性和稳定性等。银行要花很多时间,做很多工作。如果借款额大(在美国高于十万美元),银行有钱赚,借款人也可以理解。但如果是申请一个少于三万美元的信用卡,上述的过程让银行代价太大,借款人也很麻烦。这个小额贷款对借贷双方费用都太高,也就做不成了。当这成了一个需要解决的社会问题时,征信业应运而生,其目的是提供一个“信用档案”来减少或取消信贷、保险及雇佣过程中所需数据的采集和费用。
    美国《公平信用报告法案》解决个人征信问题
    美国在1970年通过《公平信用报告法案》以后,通过几十年的摸索和实践,基本上解决了个人征信问题。房贷中的人品分析和已有债务在信用档案中可以直接找到,减少了分析和审查的工作量。而对于无抵押小额贷款或信用卡申请,信用档案加上申请人口头报告的收入情况,就可以满足贷前分析和审查的数据要求。这极大减少了银行无抵押小额贷款或信用卡发行的费用,其结果是信用卡在2000年普及到美国成人人口的80%。
    《公平信用报告法案》以法律的形式具体规定个人信用信息局、信息使用者和信息提供者的责任和义务。要求个人信息局公平、合理、准确,保护个人信息和隐私。法律指出消费者有了解自身信用文档的权利;信息局对外透露个人信息须有信息主体本人书面同意或其他具体合理用途;当信息主体本人提出信息不准确不完整时,信息局和信息提供者必须调查并给与答复。该法案还规定,个人信用档案中超过一定年限的负面纪录必须删除。例如,破产记录只能保留7年。
    至于信用评分使用的信息,法律界有一致的解释。《公平信用报告法案》适用于个人信用评分使用的所有信息。这就是为什么FICO只使用信用信息局的信息来评分。
    在《公平信用报告法案》通过之前,很多信息局的信息中,除了直接从债权人处获取的属于具体事实的消费者信用记录,还有一部分被定义为“消费者调查报告”的非事实信息。它的目的是了解一个消费者的性格、信誉、个性特征及生活方式等;其信息是通过“调查访谈”认识或者知道被调查者的人群,比如被调查者的邻居、朋友、同事或者合伙人等。《公平信用报告法案》对这种调查行为和信息进行了详细定义和具体限制,把它摒弃于公平信用报告之外,目的是使信用报告符合三大原则:准确性,透明性,相关性。
    大数据征信难题
    征信法律是大数据征信的第一个难题。
    去年三月,美国国家消费者法律中心对主要的大数据征信公司进行了调查并发表了一篇重要的调查报告。题目是《大数据,个人信用评分的大失望》。文章指出大数据征信公司的信息错误率高于50%。这些公司的数据模型繁多又复杂,使用不准确的数据,有“垃圾进,垃圾出”之嫌。文章对这些公司的合法性提出质疑,建议政府加强监管。
    大数据征信在中国问题更大。“征信管理条例”明确规定“采集个人信息应当经信息主体本人同意,未经本人同意不得采集。”。这比美国《公平信用报告法案》对信息采集的要求更严格。如何按照条例要求,让信息主体本人同意用没人能说得清的大数据对其进行征信,这不是个容易事。
    坏账的“不可预测性”是大数据征信的第二个难题。
    征信的目的是预测借款人是否会守信还贷。那么人为什么会借钱不还?这里面有两个原因,一是有钱就是不还;二是想还就是没钱。第一种情况在美国很少。原因是信用报告和就业、住房相关,对中产阶级价值很高。有工作、有钱的人不会为几万美元债务毁掉自己的信用,这是赔本买卖。但是 2008年房贷危机后产生了一个比较特殊的现象叫做策略性欠债不还——借房贷的房主在房价下跌到比贷款额低很多的时候,再去买一栋房子,然后不付以前买房子欠的贷款,把以前的房子还给银行。这一策略可以“套利”几十万美元。银行只能把房子收回,损失几十万美元。虽然这些人的信用记录上会有一个污点,但是这对信用报告的影响有限,因为其他的债务照付不误。这种坏账历史上没出现过。造成这一现象的原因一部分是经济和房价波动,但更主要的原因是政府政策失误。大数据对这种坏账的预测(征信)能力非常有限。
    至于没钱还债又可分成两个原因。一个原因是借款人花钱花得多了,入不敷出。美国的一些研究调查显示大概有三分之一的美国人是”月光族“ — 每个月把挣的钱基本上花光。这部分人很多是低收入,一旦发生意外,比如车祸、生病,或者别的一些紧急用钱的情况,他们就只能把能借到的钱都用上。这些借款的利息都很高,利滚利,时间久了,还不了债,就成了坏账。有了坏账信用评分就比较低。这部分人有一个不雅的统称叫“次贷借款人” (subprime borrower),在个人信用信息局的档案里占20%-25%。银行根据信用报告和信用评分的信息识别这样的客户,对他们非常谨慎,贷款卡的紧,贷款额比较低,利息也比较高。美国几乎所有大数据征信公司都是在做“ 次贷借款人” 的征信细分(包括颇受国内关注的Zestfinance),声称可以通过大数据找出其中信用好的借贷人,但到目前成效不大。
    另一个原因,也是最主要、最普遍的原因是借款人收入出了问题。美国人失业后可以领取失业保险金。美国“劳工统计局”的数字显示在经济好的时候,每四个星期新增领取失业保险金的人口大约是28万人,其中15%的人失业时间会超过半年,称为长期失业。一年平均长期失业人口约为55万。这个人群中多数也属于“次贷借款人”。而在2009年经济危机的时候,每四个星期新增领取失业保险金的人是65万,长期失业的比例是45%,当年长期失业人口约为380万。也就是说,经济差的年份里长期失业率是经济好的时候的7.2倍,按人头计算是增加了325万人。增加的这部分长期失业人群大多数曾是“优良借款人” (super-prime or prime borrowers)。
    美国信用卡的坏账率在2006年是3.5%,而在2010年是10.5%。这七个百分点的增加几乎全部是新增长期失业人口造成的。经济好的时候,要预测哪年会发生经济危机、哪些人会失去工作、失去工作中的哪些人会赖账,这是不可能的。现在的经济情况和2006年有些相似,没有听说过用大数据预测下一个经济危机的,但要用大数据征信的公司倒有不少。如果清楚坏账增加的主要原因是经济危机造成的失业等内在的不可测性,那么大数据的局限性也就很明显了。
    大数据如何作用于金融领域
    那么大数据在金融领域有没有作为?答案是肯定的。大数据会促进银行业的发展和变革,但它的应用领域会有两个特点:1)对准确性的要求会比征信低一些; 2)会用很多录音和影像视频。在风险管理方面,大数据在减少欺诈、贷后管理以及坏账征收方面有很多应用;在市场营销,客户管理,也有很多成功的例子。金融领域的大数据创新应该在这些方面下工夫。
    总之,我们今天熟悉的个人信用报告体系是美国经过半个世纪的摸索,实践,提炼形成的。它以最高的效率、最低的成本解决了就业、信贷、保险交易过程中,信贷双方财务和信用记录信息不平衡的问题。由于信用报告是透明、准确的,所以对信息持有人是有价值的。从宏观的角度来看,信用报告一方面降低了借款的成本,促进了美国内需的增长;另一方面也促进了社会诚信,和谐的发展。美国成功的经验和好的法律条文很值得中国借鉴,汲取美国和其它西方国家征信业务中的优点,改进其不完善的地方,中国有可能用十年的时间达到发达国家的征信水平。放着一个成功的样本不去研究和学习,花很多时间和资金去搞一个以大数据为名义的“消费者调查报告”,名为创新,实际上是在走一段美国人走过的弯路子,实在没有必要。

    信而富:利用社交网络和网游数据为P2P贷款做信用评级

    唐半张 发表了文章 0 个评论 1250 次浏览 2015-10-19 09:28 来自相关话题

    你长期在社交网络上聊天或者打电脑游戏,这也许有助于提高你的信用评分。 至少中国最大的个 ...查看全部

    你长期在社交网络上聊天或者打电脑游戏,这也许有助于提高你的信用评分。
    至少中国最大的个人对个人(P2P)借贷网站之一是这样认为的。该公司已经利用社交网络和电脑游戏数据为5000万中国消费者进行了信用评级。
    这些数据由互联网集团腾讯(Tencent)提供,来自其成百上千万用户。信而富(China Rapid Finance)对这些数据进行处理,所用算法考察用户使用腾讯服务的频率和时长。这些服务无所不包,从拥有6亿用户的社交聊天软件微信(WeChat),到智能手机游戏《糖果粉碎传奇》(Candy Crush Saga)。
    评级标准似乎有些与众不同,但是信而富的创始人兼首席执行官王征宇(Zane Wang)称,利用互联网用户行为足以建立可靠的信用评级。更何况,这是对没有信用记录或信贷获取途径的80%左右中国人进行评级的唯一方式。
    目前中国有5亿在金融服务上活跃的消费者……但是并未被当前的金融体系覆盖,”王征宇称,“这正是我们在试图填补的空缺。”
    自从今年2月与腾讯开展合作以来,信而富利用其评级方法,在6个月内安排了300万笔P2P贷款。该公司拒绝透露这些贷款的货币价值。
    王征宇称,该算法考察的是用户使用腾讯服务的时长和频率。“一个人使用社交网络服务越多,就越能表明他关心自己的名誉和诚信,”他称。
    他补充称,网购记录——甚至购买网络游戏点卡——是另一个关键变量。
    “这些标准与传统信用机构不同,但是利用这些数据,我们仍然可以判断一个人是否有还贷倾向,”他称。
    该算法对确定信用可靠度的效果很难确定,因为该项目目前仅运行了6个月。但是,王征宇称,目前年化贷款损失率仅略高于中国消费者信用卡的平均水平。
    信而富平台为潜在借款人和贷款人牵线搭桥。这些贷款人正在寻找比银行存款更高的收益率,也可能在寻找替代高风险股市的投资方式。
    这些贷款利率不低,年利率达到21%——比传统信用卡的年利率高出3个百分点左右。因为相关数据并不能揭示收入或偿还能力,借款人的初始额度为80美元左右,重复借款人可享受最多1万美元的信用额度。
    信而富于2001年创办,在7月完成最近一轮总值3500万美元的融资后,其交易前估值达到10亿美元。有推测称,信而富或许会进行首次公开发行(IPO),不过王征宇拒绝证实相关计划。

    Monja用大数据分析为机构投资者量体裁衣

    唐半张 发表了文章 0 个评论 1171 次浏览 2015-10-19 09:23 来自相关话题

    文|英途途友玉器贷副总裁王金伟 2015 ...查看全部


      文|英途途友玉器贷副总裁王金伟
      2015年8月,英途邀请平安、宜信、玖富、景林等互联网金融领先公司到硅谷进行考察。一周时间,对话了近20家网贷、众筹、金融服务、移动支付和金融大数据等领域的创新企业,如LendingClub、Prosper、Sofi、Better Finance、Funding Circle、ZestFinance、Bitpay等。
      与其他平台相比,Monja的定位在专注于机构投资者和投资分析方面,与我们在之前提到过的更加专注于交易的Orchard形成很好的互补,因此不排除作为Orchard的分析工具插件存在进驻Orchard,同时快速进入Orchard庞大的机构投资者用户群体。

      Monja由3位专业人士创立,他们是分别来自于MorganStanley,RMS (Risk Management Solutions), Wells Fargo的资深人士。Monja 的CEO是James wu,毕业于哥伦比亚大学,是一位台湾籍华人,曾在摩根斯坦利工作。James wu回顾摩根斯坦利的情况指出,资产配置更加多样化和复杂化,现已经不仅局限于股权和固定收益,更拓展到房地产等方向。

      主要的机构投资者
      目前,越来越多的机构投资者进入市场,并不断投向互联网金融领域。2013年还主要依靠2大P2P平台LendingClub和Proper,而到了2015年P2P平台的多样性和专业化分工呈现了爆发性的增长。
      如今,平台很多,组合也很多,机构该如何选择,机构往往不清楚自己的损失,Monja通过大数据分析来处理借贷市场的复杂性,比较标杆的好坏利用两方面的数据,一个是平台购买,一个是投资人的历史数据,Monja依靠大数据提供三个工具进行管理:
      1、信贷选择工具——改善性能。
      2、投资分析工具——降低违约率。
      3、大数据分析工具——预测借贷人行为。
      之所以建立专业的分析工具来自于两点核心原因:
      (1)2012-2014年期间美国P2P等互联网金融业务快速发展,且快速得到机构投资者认可,机构投资者投资金额占比从2012年的26%快速上升到2014年7月的74%,且依然不断上升,机构投资者的投资需求及专业性明显增强;
      (2)2013年还主要依靠2大P2P平台LendingClub和Proper,而到了2015年P2P平台的多样性和专业化分工呈现了爆发性的增长,在多样性大幅度上升的同时,选择难度也在上升。也给各类专业化工具型公司提供了机会。
      通过以上的分析可以使投资者清楚自己的资产组合情况。

      大数据驱动下的银行应用——广发银行数据挖掘分析平台实践

      唐半张 发表了文章 0 个评论 1305 次浏览 2015-10-18 16:45 来自相关话题

      随着互联网金融的兴起,传统金融企业与互联网企业竞合加剧,越来越多的传统银行通过整合数据资源,加强数据挖掘,提升数据分析效率,助力业务转型、创新和发展,提高精细化营销、管理和决策水平。 广发银行很早就认识到数据挖掘分析在客户维护、营销推广、风险管理等 ...查看全部
      随着互联网金融的兴起,传统金融企业与互联网企业竞合加剧,越来越多的传统银行通过整合数据资源,加强数据挖掘,提升数据分析效率,助力业务转型、创新和发展,提高精细化营销、管理和决策水平。
      广发银行很早就认识到数据挖掘分析在客户维护、营销推广、风险管理等领域的核心价值和战略意义。由于各业务部门业务发展需求差异,从2002年起,信用卡、零售、风险管理、小企业金融等部门先后各自建立了数据挖掘分析系统,带来了重复部署投入、资源使用不均、系统扩展性不强、数据共享性差等问题。随着各业务条线的需求日益清晰、对数据挖掘资源需求趋于共性,考虑到集中管理、数据等资源共享、平台扩展、信息安全等诸多因素,急需对全行数据挖掘分析资源进行整合并统筹分配使用,以节约资源投入、提升数据挖掘分析效率,实现数据共享、灵活扩展。
      2014年,广发银行结合信息资源大集中、大整合、共分享、重安全的IT战略,经过严谨的调研论证,启动实施、搭建了全行数据挖掘分析平台,实现全行数据分析资源集中优化管理,提升数据分析的处理性能,满足不断增长的数据分析需求,实现了全行数据分析挖掘  的灵活扩展。该平台荣获《亚洲银行家》颁发的“2015年度最佳数据与分析项目”大奖。
      一、统一数据挖掘分析平台方案概述
      全行统一数据挖掘分析平台利用SAS网格技术的资源集中管理、负载均衡、架构灵活和高可用性等特点,规范管理数据分析,实现了全行数据分析资源的集中优化管理、数据的有效治理及共享,提高数据分析处理效率,合理控制了全行数据分析挖掘工具及系统资源的重复投入,不仅很好地满足全行各业务条线的数据分析需求,还可针对未来爆发增长的数据服务需求进行灵活扩展。广发银行全行统一数据挖掘分析平台技术架构如图1所示。

      二、统一数据挖掘分析平台技术特点
      经过7个月的建设实施,广发银行统一数据挖掘分析平台顺利投产,系统使用效果完全达到预期目标,平台自身一些独特的技术特点也大幅提升了数据挖掘分析效率。
      1.资源集中管理、调配和共享
      (1)集中管理
      平台实现了广发银行数据分析资源的集中管理和分配,包括分析平台的数据安全集中管理,用户访问权限集中管理,资源分配集中管理,任务调度集中管理等,支持全行的数据分析应用按作业、队列、主机和用户进行管理,进行不同作业的优先级设定,基于事先制定的规则排队作业,更好地利用计算资源,支持自动识别、分配、管理和优化计算资源和程序流,用户和应用程序可以利用所有的计算资源,进行更大型、更复杂的数据挖掘分析。
      (2)负载均衡
      平台实现了分析平台资源的动态优化管理,通过负载均衡管理技术,实现了数据分析多任务的均衡处理,缩短了业务分析总体处理时间,降低了单节点主机资源的消耗,满足了业务分析峰值的负载要求,提升了分析平台的处理性能。平台可以自动为应用程序生成多线程和分布式处理,在多个计算资源上运行,从而加速应用程序的运行效率,更有效地利用计算资源。
      (3)高可用
      平台提供高可用性手段来支持关键的应用服务,使用网格节点作为容灾热备节点,进行无中断的运行维护。自动检测网格中的软硬件故障并及时恢复,确保运行作业能够及时完成。借助于网格计算架构的作业检查点、重启特性,实现成功检查点自动重启作业。
      (4)灵活扩展
      平台的技术架构支持计算资源的动态扩展,可灵活地逐步添加硬件资源,以应对不断增加的用户数量和业务需求。允许网格环境中的服务器脱机而不中断业务,从而方便地进行硬件服务器的维护。专业分析工具的配置充分考虑了全行各业务发展目前及未来的数据分析需求,通过灵活的分析产品配置,运用许可分阶段更新激活的方式,实现了分析平台在数据分析、数据挖掘功能方面的灵活扩展。
      2.数据统一、规范使用
      (1)统一数据视图
      广发银行数据仓库平台(EDW)已经将分散在各个应用平台中的数据信息按客户、账户、产品、渠道等多个主题的方式进行有效的组织和存储,统一数据挖掘分析平台以EDW作为主要数据源,针对各业务部门的数据需求,统一数据加工规则,统一处理,提供给各业务部门统一的数据视图,避免了各业务部门由于数据加工口径不同带来的数据差异。
      (2)规范使用
      在统一数据挖掘分析平台的实施过程中,联合数据管控平台、信息安全处、稽核等部门,健全了配套的数据使用管理规范制度,制定了《数据工作间管理办法》、《数据挖掘需求管理办法》和《统一数据挖掘平台运营办法》等相关管理制度,使数据挖掘分析的流程固化,改变了之前数据挖掘分析松散、模糊的工作模式,使数据挖掘分析工作有章可依,提升了数据安全性。
      (3)数据共享
      统一数据挖掘分析平台保存了各业务部门的共性数据和个性数据,统一进行数据加工处理,在平台集中管理下,可以根据业务发展需要,有针对性地开放和共享跨业务条线的业务数据,快速满足跨业务条线的数据挖掘分析需求,有效支持了交叉营销、客户维护等方面的工作。
      (4)高效数据处理
      整合优化既有的数据ETL处理模式,实现了规范化的统一数据抽取、转换和加载处理,实现每天可以提供T-1的业务数据,数据处理时间控制在2.5小时之内,提升了业务数据分析的实效性。
      三、统一数据挖掘分析平台实施经验
      1.分批次实施平滑切换
      此前广发银行数据挖掘分析系统由各部门独立建设,主要应用于目标客户群定位、客户准入、额度核定、风险控制、催收、定价及贷后风险监测等领域,为广发银行的各类差异化产品及金融服务设计、营销提供决策支持。因此,全行统一数据挖掘分析平台的建设要有序实施这些应用的改造及迁移,减少对正常业务管理的影响。在平台实施中,通过与数据分析人员逐一细致分析各应用的有效性、重要性,在充分验证数据满足度、准确性基础上,分批实施数据挖掘应用的改造及迁移。
      2.数据处理优化与数据治理双管齐下
      在平台实施过程中,我们发现各部门原有数据挖掘分析系统数据处理效率不高,无法保障数据供给及时性,为此统一数据挖掘平台专门成立了数据优化小组,对各业务部门的SAS数据ETL处理模式进行整合和流程再造,形成全行统一的数据处理规范,不仅大幅提升了数据处理效率,并且有效解决了数据供给时效性不强,数据处理时间过长等问题,使业务分析人员从繁杂的数据处理工作中解放出来,将更多精力聚焦在数据分析和数据建模等提升业务价值领域的工作。
      数据优化小组的另外一项主要工作是提升数据质量,在各业务部门进行数据核对检查的过程中,存在数据质量问题,这是影响数据分析效果的关键问题,为解决这一问题,统一数据挖掘分析平台联合数据管控平台,采取多种策略进行数据治理,对于发现的业务系统数据质量问题,督促业务系统整改,确保从源头解决问题。对于数据加工口径引起的数据质量问题,和相关业务部门沟通确定数据加工口径,确保数据处理规则的权威性。针对管控平台上已制定数据规范的数据,与业务部门讨论,在统一数据挖掘分析平台上落地数据规范,针对还未制定数据规范的数据,和相关业务部门讨论沟通确定各个数据的规则,补充制定相应的数据规范。通过这种“多管齐下”、“多头治理”的方式,有效提升了数据质量。
      四、平台分析应用实践
      统一数据挖掘分析平台在推动广发银行经营管理和业务绩效提升方面发挥的重要作用主要体现在以下三个方面。一是通过对绩效考核指标的分析和挖掘,实现对分支行机构、客户经理、员工的精细化科学管理,优化内部管理和考核机制;二是通过加强对客户的分析和洞察,丰富客户全景视图,制定个性化的客户维护策略,提高客户的获取率和留存率,活跃客户的激活率和持续力,提高客户交叉销售效能,提升客户整体价值,实现对银行客户关系的精准管理;三是通过建立相应挖掘模型实现对客户信用风险、操作风险、市场风险等主要风险的计量,根据广发银行的风险偏好选择发展最优业务,在降低资本占用的同时提升全行风险管控水平。具体案例如下。
      1.官网首页金融超市理财产品精准营销案例
      为了更好地销售理财产品,广发银行官网首页于2014年3月新增了金融超市功能,为每位访问官网首页的客户固定推荐三款在售理财产品。考虑到每个客户理财偏好的差异,金融超市基于统一数据挖掘分析平台和企业级数据仓库整合的客户“360度”信息,对全行个人网银客户的理财产品偏好度进行深度分析挖掘,为访问官网的客户精准推荐定制化理财产品,有效提高理财产品的签约率和销售效率。分析平台实施前后的理财产品推荐方式对比如图2所示。

      2.对公客户担保圈图形化识别案例
      近年来,关联担保、互保、联保授信风险事件频发,担保圈授信风险愈加凸显,为此银监会专门下发通知要求商业银行加强企业担保圈贷款风险防范和化解工作。在此背景下,广发银行启动了担保圈专项检查工作,对全行有信贷余额的客户进行风险排查。相比较而言,分支行掌握的信息有限,总行拥有全行所有客户的数据,更具数据及技术优势,所以工作模式是由总行生成客户清单及担保圈明细,下发各分行,由分行逐一进行风险排查。由于担保圈可能涉及数十甚至上百家企业,并且企业间关系错综复杂、种类繁多,文字或表格描述的方式难以让分行完整理解和掌握担保圈的传递途径,需用一种简单、直观、易于理解的图形化展示方法。
      本案例对1741个担保圈,使用统一数据挖掘分析平台提供的SAS DS2CONST分析方法生成相应的HTML文件,用线条箭头描述担保方向、线条颜色描述企业间的关联关系、线条虚实描述有无资金往来、节点颜色/形状/大小描述企业的风险情况,鼠标置于企业简称上方显示企业全称、信贷余额、广发银行及他行的风险分类、风险预警信号,更简单、直观的表现出企业间的关系。分析平台实施前后的对公客户担保圈展现方式对比如图3所示。

      五、统一数据挖掘平台发展展望
      统一数据挖掘平台的建立为广发银行的数据分析团队打造了一个稳定、灵活的工作平台,不仅大幅提高了数据分析效率,还可以灵活扩展。未来,统一数据挖掘分析平台希望实施数据沙箱、分布式存储等技术,以满足爆炸式的数据存储分析需求。
      1.利用数据沙箱技术,深挖数据价值
      银行不缺数据,关键是对海量数据的整合和运用。广发银行企业级数据仓库平台已经将分散在各个应用平台中的数据信息按标准化主题的方式进行有效的组织和存储,如何挖掘出这些数据的最大价值、快速把价值传递到对客户的服务中尤为关键,利用数据沙箱技术,可以减少系统间的数据传递消耗,进一步提升数据价值传递的效率。在EDW中建立数据沙箱,统一数据挖掘分析平台可以直接基于数据沙箱进行个性化数据探索、临时性数据分析、共性数据需求提炼、概念验证、自主分析等数据试验室类分析应用,不仅减少了EDW和统一数据挖掘平台之前的数据传递消耗,还可有效降低统一数据挖掘分析平台对存储空间的需求。
      2.建立分布式存储,满足“大数据”应用需求
      大数据是重塑金融竞争格局的重要支撑,为金融企业带来创新动能,善于高效运用大数据的金融机构,将在未来的竞争中脱颖而出,大数据的应用水平也将成为金融企业打造差异化竞争优势的重要支柱。但机遇与挑战并存,面对大数据挑战,传统IT架构亟待转型。目前广发银行统一数据挖掘分析平台已经具备了一定的数据处理能力,但要面对未来爆炸式的数据量增长,还需进一步优化,可利用分布式存储技术,使用集群应用、网络技术,分布式文件系统等功能,将网络中各种不同类型的存储设备集合起来协同工作,共同对外提供数据存储及业务访问功能,在提升系统I/O读写性能、数据高可用性和管理复杂性的同时,有效降低存储成本。

      六种可用于互联网金融风险控制(征信)的大数据来源

      唐半张 发表了文章 0 个评论 1285 次浏览 2015-10-18 16:40 来自相关话题

      近年来,以第三方支付、P2P平台、众筹为代表的互联网金融模式引起了人们的广泛关注,该模式大量运用了搜索引擎、大数据、社交网络和云计算等技术,有效降低了市场信息不对称程度,大幅节省了信息处理的成本,让支付结算变得更便捷,达到了同资本市场直接融资、银行间接融资一样 ...查看全部
      近年来,以第三方支付、P2P平台、众筹为代表的互联网金融模式引起了人们的广泛关注,该模式大量运用了搜索引擎、大数据、社交网络和云计算等技术,有效降低了市场信息不对称程度,大幅节省了信息处理的成本,让支付结算变得更便捷,达到了同资本市场直接融资、银行间接融资一样高的资源配置效率。但由于我国互联网金融出现的时间短,发展快,目前还没有形成完善的监控机制和信用体系,一旦现有互联网金融体系失控,将存在着巨大的风险。

      首先是信用风险大。目前我国信用体系尚不完善,互联网金融的相关法律还有待配套,互联网金融违约成本较低,容易诱发恶意骗贷、卷款跑路等风险问题。特别是P2P网贷平台由于准入门槛低和缺乏监管,成为不法分子从事非法集资和诈骗等犯罪活动的温床。
      其次是网络安全风险大。我国互联网安全问题突出,网络金融犯罪问题不容忽视。一旦遭遇黑客攻击,互联网金融的正常运作会受到影响。
      互联网金融企业通过获得多渠道的大数据原料,利用数学运算和统计学的模型进行分析,从而评估出借款者的信用风险,典型的企业是美国的Zest Finance。其通过分析模型对每位信贷申请人的上万条原始信息数据进行分析,并得出超过数万个可对其行为做出测量的指标,而这一过程在5秒钟内就能全部完成。在进行数据处理之前,对业务的理解、对数据的理解非常重要,这决定了要选取哪些数据原料进行数据挖掘,在进入“数据工厂”之前的工作量通常要占到整个过程的60%以上。
      目前,可被用于助力互联网金融风险控制的数据存在多个来源。
      一是电商大数据,以阿里巴巴为例,它已利用电商大数据建立了相对完善的风控数据挖掘系统,并通过旗下阿里巴巴、淘宝、天猫、支付宝等积累的大量交易数据作为基本原料,将数值输入网络行为评分模型,进行信用评级。
      二是信用卡类大数据,此类大数据以信用卡申请年份、通过与否、授信额度、卡片种类、还款金额等都作为信用评级的参考数据。国内典型企业是成立于2005年的“我爱卡”,它利用自身积累的数据和流量优势,结合国外引入的FICO(费埃哲)风控模型,从事互联网金融小额信贷业务。
      三是社交网站大数据,典型企业为美国的Lending Club,它基于社交平台上的应用搭建借贷双方平台,并利用社交网络关系数据和朋友之间的相互信任聚合人气,平台上的借款人被分为若干信用等级,但是却不必公布自己的信用历史。
      四是小额贷款类大数据,目前可以充分利用的小贷风控数据包括信贷额度、违约记录等。由于单一企业信贷数据的数量级较低、地域性较强,业内共享数据的模式已正逐步被认可。
      五是第三方支付大数据,支付是互联网金融行业的资金入口和结算通道,此类平台可基于用户消费数据做信用分析,支付方向、月支付额度、消费品牌都可以作为信用评级数据。
      六是生活服务类网站大数据,包括水、电、煤气、物业费交纳等,此类数据客观真实地反映了个人基本信息,是信用评级中一种重要的数据类型。
       
      证券定价,资本资产定价模型,期权定价模型,套利定价模型,多因子定价模型,保险精算模型