大数据问题如何解决?选择一款好的数据分析软件很重要
近来,大数据话题在网上传的比较多,那么大数据这个词从何而来呢,我在网上搜了一下,因为我也不是特别的专业哈。
其实最早提出”大数据“时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来”。大数据正式被提及是在2012年,它上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等一些知名证券公司写进了投资推荐报告。
《纽约时报》2012年的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。
哈佛大学社会学教授加里 金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论是学术界、商界还是政府,所有领域都将开始这种进程。”于是大数据便迅速的火了起来。
大数据那么火,那它存在的价值到底是什么呢?下面几组案例将会让你知道它究竟有多厉害:
1、华尔街根据民众情绪抛售股票;
2、对冲基金依据购物网站的顾客评论,分析企业产品销售状况;
3、银行根据求职网站的岗位数量,推断就业率;
4、投资机构搜集并分析上市企业声明,从中寻找破产的蛛丝马迹;
5、美国疾病控制和预防中心依据网民搜索,分析全球范围内流感等病疫的传播状况;
6、美国总统奥巴马的竞选团队依据选民的微博,实时分析选民对总统竞选人的喜好。
一分钟内,微博推特上新发的数据量超过10万;社交网络“脸谱”的浏览量超过600万……
这些庞大数字,这些案例意味着什么?它意味着,一种全新的致富手段也许就摆在面前,它的价值堪比石油和黄金,而且它所带来的影响力是令人难以想象的。
数据量那么大,如何创造它的价值呢?
农夫山泉用大数据卖矿泉水
发挥你您的想象力,选择您认为可是的答案
这里是上海城乡结合部九亭镇新华都超市的一个角落,农夫山泉的矿泉水堆头静静地摆放在这里。来自农夫山泉的业务员每天例行公事地来到这个点,拍摄10张 照片:水怎么摆放、位置有什么变化、高度如何……这样的点每个业务员一天要跑15个,按照规定,下班之前150张照片就被传回了杭州总部。每个业务员,每 天会产生的数据量在10M,这似乎并不是个大数字。
但农夫山泉全国有10000个业务员,这样每天的数据就是100G,每月为3TB。当这些图片如雪片般进入农夫山泉在杭州的机房时,这家公司的CIO胡健就会有这么一种感觉:守着一座金山,却不知道从哪里挖下第一锹。
胡健想知道的问题包括:怎样摆放水堆更能促进销售?什么年龄的消费者在水堆前停留更久,他们一次购买的量多大?气温的变化让购买行为发生了哪些改变?竞争对手的新包装对销售产生了怎样的影响?不少问题目前也可以回答,但它们更多是基于经验,而不是基于数据。
从2008年开始,业务员拍摄的照片就这么被收集起来,如果按照数据的属性来分类,“图片”属于典型的非关系型数据,还包括视频、音频等。要系统地对非 关系型数据进行分析是胡健设想的下一步计划,这是农夫山泉在“大数据时代”必须迈出的步骤。如果超市、金融公司与农夫山泉有某种渠道来分享信息,如果类似 图像、视频和音频资料可以系统分析,如果人的位置有更多的方式可以被监测到,那么摊开在胡健面前的就是一幅基于人消费行为的画卷,而描绘画卷的是一组组复 杂的“0、1、1、0”。
SAP全球执行副总裁、中国研究院院长孙小群接受《中国企业家》采访时表示,企业对于数据的挖掘使用分三个阶 段,“一开始是把数据变得透明,让大家看到数据,能够看到数据越来越多;第二步是可以提问题,可以形成互动,很多支持的工具来帮我们做出实时分析;而 3.0时代,信息流来指导物流和资金流,现在数据要告诉我们未来,告诉我们往什么地方走。”
SAP从2003年开始与农夫山泉在企业管理软件ERP方面进行合作。彼时,农夫山泉仅仅是一个软件采购和使用者,而SAP还是服务商的角色。
而等到2011年6月,SAP和农夫山泉开始共同开发基于“饮用水”这个产业形态中,运输环境的数据场景。
关于运输的数据场景到底有多重要呢?将自己定位成“大自然搬运工”的农夫山泉,在全国有十多个水源地。农夫山泉把水灌装、配送、上架,一瓶超市售价2元 的550ml饮用水,其中3毛钱花在了运输上。在农夫山泉内部,有着“搬上搬下,银子哗哗”的说法。如何根据不同的变量因素来控制自己的物流成本,成为问 题的核心。
基于上述场景,SAP团队和农夫山泉团队开始了场景开发,他们将很多数据纳入了进来:高速公路的收费、道路等级、天气、配送中心辐射半径、季节性变化、不同市场的售价、不同渠道的费用、各地的人力成本、甚至突发性的需求(比如某城市召开一次大型运动会)。
在没有数据实时支撑时,农夫山泉在物流领域花了很多冤枉钱。比如某个小品相的产品(350ml饮用水),在某个城市的销量预测不到位时,公司以往通常的 做法是通过大区间的调运,来弥补终端货源的不足。“华北往华南运,运到半道的时候,发现华东实际有富余,从华东调运更便宜。但很快发现对华南的预测有偏 差,华北短缺更为严重,华东开始往华北运。此时如果太湖突发一次污染事件,很可能华东又出现短缺。”
这种没头苍蝇的状况让农夫山泉头疼 不已。在采购、仓储、配送这条线上,农夫山泉特别希望大数据获取解决三个顽症:首先是解决生产和销售的不平衡,准确获知该产多少,送多少;其次,让400 家办事处、30个配送中心能够纳入到体系中来,形成一个动态网状结构,而非简单的树状结构;最后,让退货、残次等问题与生产基地能够实时连接起来。
也就是说,销售的最前端成为一个个神经末梢,它的任何一个痛点,在大脑这里都能快速感知到。
“日常运营中,我们会产生销售、市场费用、物流、生产、财务等数据,这些数据都是通过工具定时抽取到SAP BW或Oracle DM,再通过Business Object展现。”胡健表示,这个“展现”的过程长达24小时,也就是说,在24小时后,物流、资金流和信息流才能汇聚到一起,彼此关联形成一份有价值 的统计报告。当农夫山泉的每月数据积累达到3TB时,这样的速度导致农夫山泉每个月财务结算都要推迟一天。更重要的是,胡健等农夫山泉的决策者们只能依靠 数据来验证以往的决策是否正确,或者对已出现的问题作出纠正,仍旧无法预测未来。
2011年,SAP推出了创新性的数据库平台SAP Hana,农夫山泉则成为全球第三个、亚洲第一个上线该系统的企业,并在当年9月宣布系统对接成功。
胡健选择SAP Hana的目的只有一个,快些,再快些。采用SAP Hana后,同等数据量的计算速度从过去的24小时缩短到了0.67秒,几乎可以做到实时计算结果,这让很多不可能的事情变为了可能。
这些基于饮用水行业实际情况反映到孙小群这里时,这位SAP全球研发的主要负责人非常兴奋。基于饮用水的场景,SAP并非没有案例,雀巢就是SAP在全 球范围长期的合作伙伴。但是,欧美发达市场的整个数据采集、梳理、报告已经相当成熟,上百年的运营经验让这些企业已经能从容面对任何突发状况,他们对新数 据解决方案的渴求甚至还不如中国本土公司强烈。
这对农夫山泉董事长钟目炎目炎而言,精准的管控物流成本将不再局限于已有的项目,也可以 针对未来的项目。这位董事长将手指放在一台平板电脑显示的中国地图上,随着手指的移动,建立一个物流配送中心的成本随之显示出来。数据在不断飞快地变化, 好像手指移动产生的数字涟漪。
以往,钟目炎目炎的执行团队也许要经过长期的考察、论证,再形成一份报告提交给董事长,给他几个备选方案,到底设在哪座城市,还要凭借经验来再做判断。但现在,起码从成本方面已经一览无遗。剩下的可能是当地政府与农夫山泉的友好程度,这些无法测量的因素。
有了强大的数据分析能力做支持后,农夫山泉近年以30%-40%的年增长率,在饮用水方面快速超越了原先的三甲:娃哈哈、乐百氏和可口可乐。根据国家统 计局公布的数据,饮用水领域的市场份额,农夫山泉、康师傅、娃哈哈、可口可乐的冰露,分别为34.8%、16.1%、14.3%、4.7%,农夫山泉几乎 是另外三家之和。对于胡健来说,下一步他希望那些业务员搜集来的图像、视频资料可以被利用起来。
获益的不仅仅是农夫山泉,在农夫山泉场 景中积累的经验,SAP迅速将其复制到神州租车身上。“我们客户的车辆使用率在达到一定百分比之后出现瓶颈,这意味着还有相当比率的车辆处于空置状态,资 源尚有优化空间。通过合作创新,我们用SAP Hana为他们特制了一个算法,优化租用流程,帮助他们打破瓶颈,将车辆使用率再次提高了15%。”
大数据经过分析之后,能帮助企业创造如此大的价值,数据分析软件功不可没,一些数据分析软件就随之兴起,所以根据广大网友的需求,我在网上搜了一下相关的数据分析软件,体验了之后觉得还不错,以下是我体验之后写出来的感受。
经过我对国内比较靠前的软件进行对比之后,果断决定将亿信华辰的亿信BI推选出来,由于产品的功能太多,我就把他们拆开来讲,如果想体验一下的话 ,可以进去玩一下。
亿信BI我觉得最好用的一个亮点就是他们整体一个获取数据的方法是比较好的,不用编辑sql语句,简单的拖拽拾取,就可以将数据展现出来,像我这种数据库没学好的用着很合适,当然你们不要像我一样,这是过来人的经验。报表模板的布局也可以随意设置,里面有各种类型的布局,只要简单的拖到空白面板就行了,下图是示例,需要什么东西直接将左图的直接拖到右边。
第二个亮点就是产品的统计图的多样化,统计图能直观的将数据展现出来,基本的有条形图、饼图、折线图,进阶的有词云图、和弦图、导向图等。下面是用法,将统计图组件里面的图随便拖出来一个,然后双击进入下图页面,右上方是选择统计图类型的,配色方案是选择统计图展现出来的颜色,中间部分是统计图外观设计以及展示的数据点,点击手图案,就可以抓取表格的元素将表格里面的数据展示出来啦,是不是很简单。
好啦,今天就讲两个,下次再给你们分享吧!