《大数据时代》这本书主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革。
文中清晰的阐述了大数据的基本概念和特点,并列出明确的观点。不管对于产业实践者,还是对于政府和公众机构,都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代处理数据理念上的三大转变:抽样等于全体;要效率不要绝对精确;要相关不要因果;第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力;最后一部分,作者描绘了大数据帝国前夜的脆弱和不安,包括产业生态环境、数据安全隐私、信息公正公开等问题。
本书观点掷地有声,作者观念高屋建瓴,从很多实例和经验中萃取普适性观念。例子详实丰富,囊括了进百个学术和商业实例。
引言提出了大数据将给生活、工作于思维带来重大的变革。一个例子是20xx年H1N1流行病毒背景下谷歌通过检测检索词条,处理了4.5亿个不同的数据模型,通过预测并与20xx年、20xx年美国疾控中心记录的实际流感病例进行对比后,确定了45条检索词条组合,并将其用于一个特定的数学模型后,预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程,通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病,信息滞后两周是致命的。而谷歌运用大数据技术,以前所未有的方式,通过海量数据分析得出流感所传播的范围,为世界预测流感提供了一种更快捷的预测工具。此外,我联想到原淘宝董事长马云通过大量数据分析得出20xx年经济疲弱,为其商家提前做好迎接经济危机提供了时间缓冲。(补充并清晰描述详细)关于大数据在商业领域的应用, Farecast公司是一个成功的典型范例。该公司由奥伦·埃齐奥尼创办,利用机票的销售数据来预测未来的机票价格,旨在帮助用户在购买机票方面做出预测,并对机票价格走势预测的可信度标示出来供消费者查考。Farecast系统利用近十万亿条价格记录预测的准确度达75%,使得使用Farecast票价预测工具购买机票的旅客,平均每张机票节约50美元。而处理如此多的数据离开了大数据技术将无法进行。
也正是由于我们进入了一个前所未有的信息化时代,人们拥有了如此多的数据,才提供给我们利用大数据的分析处理手段,创造新的价值。也许有人以为我们大数据时代的还未来临。其实大数据技术早已渗透到我们中间,它被应用在垃圾邮件的过滤,新浪微博技术平台,谷歌翻译以及输入文字的自动纠错等。
文中提出的一个观点是,预测是大数据的核心。其实从过去的时代人们就利用掌握的数据进行各种分析,从而对经济等各方面进行预测、矫正。只是进入了大数据时代人们掌握的数据爆炸性的速度在增长,从而数据的存储和分析数据分方法成了释放大数据能量的关键。
关于不是随机样本而是整体数据中。作者指出了随机取样是小数据时代用最少的数据获取最大价值的做法。作者用大数据与乔布斯的癌症治疗例子说明了使用全部数据而非样本的意义。乔布斯成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。乔布斯曾开玩笑说“我要么是第一个通过这种方式战胜癌症的人,要么就是最后一个因为这种方式死于癌症的人”。虽然最后难免死于癌症但这种获得所有数据而不是仅样本的方法将他的生命延长了几年。同样,从事跨境汇款业务的Xoom公司侦破一起犯罪集团的诈骗也是由于使用了整体数据。初此之外,他还列举了日本“相扑”等来证明使用全体数据的重要性。
作者同时也指出随着数据使用的越来越多,其得出的结果并一定能越来越精确,毕竟数据不能保证百分之百的正确,特别是大数据时代各种结构化与非结构化类型的数据聚集在一起难免导致结果的不太精确。大数据时代要求我们重新审视精确性的优劣。作者特别举了谷歌翻译成功的例子。谷歌翻译之所以优于IBM的Candide系统并不是因为它拥有更好的算法机制。和微软的班科和布里尔一样,谷歌翻译增加了各种各样的数据,并且接受了有错误的数据。(其语库来自于未经过滤的网页内容,会包含一些不完整的句子、拼写错误、语法错误以及其他各种错误)
在不是因果关系,而是相关关系的篇章中。作者指出在大数据时代往往知道是什么要比知道为什么来的更实在。作者列举了林登的亚马逊推荐系统的成功,证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分利用并挖掘各类数据信息的先锋和代表,从以前广为人事的啤酒和尿布的案例,以及作者举的有关蛋挞和飓风天气的案例,都说明了掌握了相关关系对于其策略的帮助。建立在相关关系分析法基础上的预测是大数据的核心。Aviva保险公司利用几百种生活方式的数据,如爱好、长浏览网页等间接的预测出哪些人更可能患高血压、糖尿病和抑郁症。UPS国家快递公司通过使用预测性分析检测其全美6万辆车队。进行防御性的修理,节约巨大得的成本。这些都充分显示了大数据在预测方面的优势。
本书第二部分讲的是大数据时代的商业变革。
作者用莫里绘制导航图的例子告诉我们,远在信息数字化之前,对数据的运用就已经开始了。莫里利用大量的人力去分析多年保存的航海记录,他从这些大量的数据中获取到新的利用价值。绘制的图表帮助商人节约一大笔钱,使年轻的海员们间接获取了成千上万名经验丰富的航海家的指导。日本先进工业技术研究所越水重臣教授通过安装压力传感器将人屁股特征数据化,进而形成对乘客身份的特征识别。这项技术为汽车防盗系统提供了方案。公司,致力于为顾客预测商品的价格,通过收集处理海量的价格信息,预测准确率高达77%,帮助顾客在购买一个产品时节约了大约100美元。MasterCardd.Advisor部门通过分析来自210个国家的15亿信用卡用户的650亿条交易记录,分析得出商业发展和客户消费趋势,如通过分析发现如果一个人下午四点左右给汽车加油的话,他很可能在接下来的一个小时内去购物或者去餐馆吃饭 ,且在这一小时里大约花费35到40美元。商家正可以利用这个分析结果,在加油的小票背面附加上附近商店的优惠券。
这些例子都证明了大数据蕴藏着巨大的商业价值。根据提供价值的不同来源,大数据价值链包括三大构成部分。包括第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据,却不一定有从数据中提取价值或者用数据催生创新思想的技能。第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或者提出数据创性用途的才能。比如说,沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司的分析来获得营销点子,天睿就是一家大数据分析公司。第三种是基于思维的公司。皮特.华登,Jetpac的联合创始人,就是通过想法获得价值的一个例子,他通过用户分享到网上的旅行照片来为人们推荐下一次旅行目的地。对于某些公司来说,数据和技能并不是成功的关键。挖掘数据的新价值的创新思维才是这些公司脱颖而出的优势所在。
大数据成为许多公司竞争力的来源,未来可能整个行业的结构会发生改变,大公司和小公司最有可能成为赢家。如今的核心竞争力在于快速而廉价地进行大量的数据存储和处理。当然公司要根据自己的情况进行调整。大数据向小数据时代的赢家以及那些线下大公司(如沃尔玛、联邦快递、宝洁公司、雀巢公司、波音公司)提出了挑战。同时,大数据也为小公司带来了机遇。大数据也将会影响国家竞争力。当制造业已经大幅转向发展中国家,而大家都争相发展创新行业的时候,工业化国家因为掌握了数据以及大数据技术,所以仍然在全球竞争中占据优势,但这个优势很难持续。随着技术的发展,西方世界在大数据技术的优势将会慢慢消失。对于大公司而言,好消息是大数据技术可以加剧优胜劣汰。一旦公司掌握了大数据,它不但可能超过对手还可能遥遥领先。
文章第三部分讲了大数据带来无数好处的同时带来的不良影响以及如何面对这些影响。包括如数据的收益的处理问题以及数据中用户资料的隐私和决策过程带来的影响。作者在保护个人隐私方面提出了几种想法。一种是使用数据时征询数据所有个人的知晓和授权。第二个技术途径就是匿名化。作者同时也指出了这两种方式的难度。一方面收集到的数据可能会被后续的多次利用。另一方面,匿名化会在数据收集越来越多和数据的相互结合关联使用时变得无效。作者列列举电影《少数派报告》的情节说明越来越依赖数据时,大数据可能将我们禁锢在可能性之中。当然通过分析犯罪的常发地与常发时间,合理安排警力会对治安防范提供不小的帮助。作者还指出不能尽信数据的分析结果,因为不能保证获取分析结果来源的数据准确性。大数据在给我们生活提供便利的同时,也让隐私保护的法律手段失去了作用。我们必须杜绝对数据的过分依赖。
在高速迈进大数据时代的同时,人类信息管理准则需要重新定位,这将带动社会核心价值观的转变。大数据时代,对原有规范的修修补补已经不足以抑制大数据带来的风险。保护个人隐私就需要对个人数据处理器对其政策和行为承担更多责任。同时必须重新定义公正的概念,以确保人类行为的自由。作者提出了解决这些问题的方向。如个人隐私保护方面,可以让使用者承担更多的社会责任。将责任从民众转移到数据使用者有很多意义,也有充分的理由。因为他们更清楚将如何使用数据且是数据应用最大的受益者。关于公正方面简单的讲就是个人可以并应为他们的行为而非倾向负责。就像公司有内部会计和外部审计人员一样,大数据时代,公司将设置专门的人员--内部和外部算法师对大数据活动进行监督。还有可能出现第三方的机构对大数据行为进行监督和衡量。作者甚至考虑到对大数据存在的垄断情况进行分析并在反垄断反面给了建议。最后结语中作者提出大数据提供给人们的只是参考答案,提醒我们在利用这个工具时要铭记人类的作用是无法完全替代的。
大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的国际竞争中摆脱受制于人的弱势境地,才能把握发展的方向,冲破与西方国家的差距。对于一个国家如此,对于一个企业亦是如此。在如此快速的到来的大数据时代,我们还有很多知识需要学习,许多思维需要转变,许多技术需要研究。公司的规划中,也需充分考虑到大数据对于公司的未来发展所带来的机遇和挑战。对于掌握大量数据的公司,需要考虑有多少数字化的数据,又有哪些可以通过大数据的分析处理而带来有价值的用途?比如国内目前的社交网站,购物网站等都掌握了用户的大量的数据信息。在大数据时代制胜的良药也许是创新的点子,也许可以利用外部的数据,通过多维化、多层面的分析给其他企业或个人带来价值。
大数据时代读书心得体会范文6
“大数据”概念早在1980年就有国外的学者提出,可是最近几年才广泛受到大家的关注。当“大数据”这个概念传到中国的时候,瞬间引起了轰动。随即,各种有关“大数据”的资料和书籍充斥的我们的视野。随意打开某个电子商务平台图书类页面,在搜索框中搜索“大数据”三个字,就会出现好多本有关“大数据”的书籍。可是,有一个很有趣的现象就是:几乎所有的平台上,出现的第一本关于“大数据”的书籍一定是《大数据时代》。一点进去,这本书推荐栏里的第一句话就是:迄今为止全世界最好的一本大数据专著。同时,为这本书做推荐的都是各行业的精英领袖。所有“大数据”方面的书籍也是这本书销量最高,评价最好。
我从来不会因为哪本书畅销和很多人推荐就盲目跟风的去看一本书。因为我知道通常在这种情况下选择一本书,整个阅读的体会和感受是无法遵从自己的内心的,整个过程都很容易夹杂着别人对这本书的感受。所以通常我读书的节奏大多都是跟不上“潮流”的,但往往经过风雨洗礼之后沉淀下来的都是精华。坦白讲,阅读这本书的初衷并不是因为我想从书中获取到多少大数据方面的精华,只是很想知道对于这么一个很直白的名词,作者是怎么写出这么厚的一本书的。这种初衷或许很无知和幼稚,可就是这种“愚蠢”的好奇心,让我更透彻的看到书中的精华。
在看《大数据时代》这本书之前,我的所有读后感都是集中在书籍给了我什么思考。对于这本书的读后感,除了观点碰撞之外,我还会加上大部分个人看这本书的体会。因为这本书,已经完全让我模糊了大多数人口中的“全世界最好的书”是一种什么标准。也许《大数据时代》真的无法承载那么高的赞美!
大数据时代的入门书
看完这本书,我随意调查了一些阅读过这本书并且给这本书绝对好评的朋友。询问他们这本书好在哪里?大多数的回答是说《大数据时代》这本书让对大数据一无所知的他们了解了大数据这个概念,同时通过很多案例说明原来大数据能有这么大的用处,影响会有这么大!仅此而已。我看完这本书最大的感受是这本书分为上、下两部分。前120多页为上部分,后120多页为下部分。之所以说《大数据时代》是一本关于大数据的入门书,是因为这本书用了前面120多页的篇幅反复的强调大数据的出现对社会发展影响很大,并且要人们转变小数据时代惯有的思想。所以整本书的前半部分就强调大数据时代的三个转变:1、大数据利用所有的数据,而不再仅仅依靠一小部分数据,不再依赖于随机采样。2、大数据数据多,不再热衷于追求精确性,也不再期待精确性。3、大数据时代不再热衷于寻找因果关系,而是追求相关关系。所以整个上半部分没什么可详说的。我们重点聊聊本书的后半部分。
既然一直都在强调大数据对我们的意义,总要有具体体现。整本书中,我感触最大的一个案例就是某公司通过分析大数据发现:新品发布的时候,旧一代的产品可能会出现短暂的价格上涨。因为人们在心理上就认为新产品的推出,旧产品就会便宜,从而就会提高购买量。这个发现和我们平常的心理是完全违背的,而且如果不用数据来证明,直接讲道理给大家可能还是无法相信。这就是大数据对我们很多传统思维的颠覆。一旦涉及到思维的改变,往往就会引起整个社会的大变动。
大数据这个概念的出现,让大数据逐渐发展形成一条价值链。在这条价值链上,数据本身、技能和思维是最重要的环节。随着互联网技术的发展,越来越多的公司都能收集到大量的数据,这些数据也会越来越公开。可是在这些公司中,不是所有的公司都有从数据中提取价值或者用数据催生创新思想的技能。于是就会出现以下两种公司,一种是掌握了专业技能但不一定拥有数据或者提出数据创新性用途才能的公司,另一种就是拥有超前思维,懂得怎样挖掘数据的新价值的创新公司。短时间内,我们可能会感觉拥有创新思维,懂得挖掘出数据新价值的大数据思维是最重要的。可是等到产业成熟之后,所有人都知晓了大数据的意义,所有人便开始挖掘自己的大数据思维。同时,随着科技的进步,掌握大数据技术的也将成为常态。所以到后来,整个价值链的核心环节还是回到了数据本身。而到那时候,大数据的公开性也就越来越小。
在大谈完大数据对人类发展的积极意义之后,作者也考虑到大数据时代的风险。这一部分是作者脑洞大开的精彩之处,同时也是最荒谬的一部分。书中说大数据时代将要惩罚未来犯罪,这样可以在嫌疑人在可能犯罪之前就把犯罪行为给防止。这样的社会,大数据俨然已经延伸到了我们每个人生活的点滴。几乎我们在生活中所做的一切都在大数据的“监控”之下,我想到那时候,别说我们每个人的隐私已经没有的了,严重一点可以说是我们可能连人都不算了。在我们人的社会属性中,自由权利是一项很重要的指标。通过大数据惩罚人的未来犯罪已经否定了人的自由选择能力和人的行为责任自负。同时,由于数据是永久保存,大数据预测也是通过每个人之前的数据来判断,所以大数据同样也否定了人的求善心理。还有,从现在各种大数据预测的结果来看,很多发言人都说大数据不是百分百的准确。所以利用大数据来判断人的行为发展已经违背了大数据不追求精确性的特征,这也是书中自相矛盾的地方。
对于一个新事物,如果能让大家了解这个事物并且对此产生兴趣,这已经算是一本不错的入门书了。
大数据时代的心灵鸡汤
从小到大,鸡汤对于我们来说一直都挺珍贵的。身体虚弱了,喝点鸡汤能够补充营养。心灵受伤了,看点心灵鸡汤可以鼓舞人心。可是近几年,人们生活水平提高了,营养富余,鸡汤已经不是人们补营养的期待了。同样,心灵鸡汤也是如此。
心灵鸡汤其实是一个很虚伪的东西。很多人都被心灵鸡汤诱人的外表给迷惑。在我看来,心灵鸡汤很大的一个特征就是:立人的志,但是就不告诉你实现志的方法。很多人每次在失意的时候就喜欢看心灵鸡汤,希望能得到慰藉。看完后也觉得醍醐灌顶,感觉整个世界都亮了。但又有几个人想过喝完这些鸡汤之后你除了看似重拾梦想,你还获得了什么?你知道怎么去做吗?《大数据时代》就是这样一本书。整本书从头到尾都在向读者讲述大数据的意义,当然期间也会用相应的案例来证明大数据确实有这样的能力。但是,整本书从没有涉及到技术层面的问题。或许对于大数据这种依靠互联网技术的新事物,即使向读者讲技术,也没有几个人看得懂,可是整本书没有一点关于大数据思维的技能引导。给出的案例中只有少数案例向读者讲述了这个公司为什么要利用大数据来解决这种问题,大多数都只是告诉读者国外某家公司运用大数据得出了某种结论。同时,在本书中文译作者写的序里,强调自己翻译这本著作的一大优点是可以结合国内的案例来分析书中的理论,结果,看到最后一页都没有看到一个国内企业关于大数据运用的案例。
之所以我称之为“心灵鸡汤”,还有一个原因就是作者在书中大讲特讲的大数据的作用,事实上按照现在的经济发展水平和社会文明发展程度是很难实现的。书中很多时候的理论都是要建立在社会各项文明都发展健全的基础上才能实现。
大数据的“传销手册”
看到这个标题,大家可能会觉得我夸大其词,受到如此多人好评的书怎么是“传销手册”呢?对于这个表达,我只想说两点:1、此说法仅代表我个人观点,是否认同是个人问题。2、此说法主要针对本书的上部分。
我们都知道传销组织在发展下线的前期是要花大力气去培训的,也就是洗脑。而对于一个陌生又很难以理解的事物,最好的“洗脑”方式就是重复。《大数据时代》这本书就是运用这种方式,前半部分为了让读者能够接受“大数据”这个概念,作者反反复复提醒读者大数据不是随机采样、不追求精确和不寻找因果关系。同时用很多看似很通俗易懂其实看完后还是不知道说了什么的案例来让人信服大数据的作用。书中的后半部分虽然也是用这种方式来感染读者,可后半部分中作者的畅想和对大数据的威胁分析还是对读者有一些实质意义的,所以后半部分的“传销”影响就不是很重要。
大数据时代是未来的趋势,这谁都不会否认。大数据改造了我们的生活,改变着我们的世界。不管它是以一种什么样的姿态面向世界,它都没有错,因为大数据只是一种工具。但当人类开始质疑甚至恐惧大数据的时候,人类就该思考自己是否利用好这个好工具了。
无处不在的大数据:各种云计算,谷歌的神通,亚马逊的推送,天涯人肉,微博万能等等,我们掌握了新的工具,也获取了以前从未有过的各种信息。大数据拉近了我们与现实的距离,“地球村”变成了“地球屋”,仿佛所有人所有事物都触手可及,而这些牛逼哄哄的互联网巨头就在客厅展示着世界的每一寸光景。
作者站在理论的至高点上,阐述了大数据对人类的工作、生活、思维带来的革新,大数据时代的三种典型的商业模式,以及大数据时代对于个人隐私保护、公共安全提出的挑战。作者认为大数据时代具有三个显著特点。
一、人们研究与分析某个现象时,将使用全部数据而非抽样数据。
二、在大数据时代,不能一味地追求数据的精确性,而要适应数据的多样性、丰富性、甚至要接受错误的数据。
三、了解数据之间的相关性,胜于对因果关系的探索。“是什么”比“为什么”重要。作者指出,随着技术的发展,数据的存储与处理成本显著降低,人们现在有能力从支离破碎的、看似毫不相干的数据矿渣中抽炼出真知烁见。在大数据时代,三类公司将成为时代的宠儿。一是拥有大数据的公司与组织,如政府、银行、电信公司、全球性互联网公司(阿里巴巴、淘宝网)。二是拥有数据分析与处理技术的专业公司,如亚马逊、谷歌。三是拥有创新思维的公司,他们可能既不掌握大数据,也没有专业技术,但却擅长使用大数据,从大数据中找到自己的理想天地。面对即将来临的大数据时代,个人将如何应对自如?这是个严肃的问题。大数据时代的社会伦理重点都在讨论如何保护个人隐私。因为手机越来越智能,网络越来越快,个人的信息也越来越透明——隐形几乎完全不可能。我想说的是,作为硬币的另外一面,我们无法舍弃:互联网只不过是让人与人之间碎片的关系得以统一,其实各种人肉和信息只不过是坊间传闻的升级罢了。当我们住在拥挤的小区,三公里走完一圈的县城,半小时散步完的村落,人和人之间有隐私吗?现在只不过是把这个范围放大到了一个地球而已。硬币的一面是人和人之间有沟通的需要,去团结对抗世界的未知,那么另外一面就是隐私的缺乏。与其说是要在大数据时代保护自己的信息不被泄露,不如站起来维护自己和他人的隐私,从法律和道德的角度来尊重人与人之间的权利。
大数据时代是信息社会运作的必然结果,而借由它,人类的信息社会更上一个台阶。农业社会人们以土地为核心资源,工业时代转为能源,信息社会则将变更为数据。谁掌握数据,以及数据分析方法,谁就将在这个大数据时代胜出,无论是商业组织,还是国家文明。
未来的十年,将是大数据引领下的智慧科技时代。不管你是否意识到它的存在,大数据都将越来越快地改变我们这个时代,包括我们的生活方式。
维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例,来帮助我们理解“大数据”的潜在影响力,那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙,显微镜能够让我们观测微生物,它们都是收集海量数据的新工具,因为这种工具的发明,人们同步更新了分析数据的技术和方法,促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命,那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,以及更多的传感设备、移动终端接入到网络,由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代,不经意间顺理成章地翩然而至。
一、什么是大数据?
大数据是当前最热门的话题之一。但什么是大数据,人们尚未给出确切的定义。首先,“大数据”是相对过去小的、局部性的数据而言的;其次,利用大数据进行分析和工作时,所依据的关于此事尽可能完整的数据,从而“一览众山小”,而不是采用局部的小数据,从局部推断整体。
维克托也并未直接给出大数据的定义。不过,他用三大转变描述了大数据的特性:
转变之一:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析,这算不上一个很大的数字,但由于这是过去十年所有的比赛,所以它是大数据。
转变之二:由于有了更多的数据,我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点,那么每一个数据点都必须非常精确,因为每个数据点都是有用的;但是如果我们有5000万个,去掉10个,甚至去掉1000个都没有太大的问题。
转变之三:不再探求难以捉摸的因果关系,转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”,而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因,实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了,我不需要知道为什么;知道什么时候在网上购买机票能够获得最优惠的价格就足够了,我不需要知道为什么此时价格最低。
二、大数据带来的变化
大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆,很多旧的制度将面临挑战。举例来说:
第一,科学探究的思路和方式受到挑战
探究是新课程改革中的一个热词,是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是:发现问题,提出假设,制定方案,实践探究,分析数据,得出结论。之所以会梳理出这样一个探究的路径,与我们对问题知晓的信息过少有关。换句话说,对所要研究的事物,我们知道的数据很少,需要从这些很小的数据出发,通过猜想和假设,进行试探性的研究,如果研究得出的结果和自己的假想是一致的,则说明我们的假说是正确的,这些假说会上升为对该事物描述的知识,我们掌握该事物的数据也随之增加。
利用测量所获得的点滴数据,从一个局部来推测世界是怎样的,这是科学探究的基本思路和方式。长期以来,我们总是通过这样的方式来认识世界,对其有宗教般的信仰。尽管我们知道,决策者总是先有了想法,才会提出假设。如果决策者自身对所研究的事情存在着偏见,所提出的假设就很难得到实证的支持,这往往会导致探究花费了很长的时间、很大的物力和财力,也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行,学校在教学中也将其作为科学研究的基本规范来传授。
在大数据时代,这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌?关于这个问题,无论我们的假设如何,实验的设计都很难进行。首先,样本选择过少,没有统计学上的意义;其次,不能拿人做研究对象;第三,短时间的研究很难观察到变化。有了大数据之后,这样的难题就可以迎刃而解了。前段时间,丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至20__年拥有手机的所用用户的数据,同时,他们还收集了这一期间医院收集的所有癌症患者的数据,然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的,在作分析之前从来没有想过可以做这样的研究。结果表明,使用移动用户和癌症风险增加之间不存在任何关系。20__年10月,这一研究的结果发表在《英国医学杂志》上。
上述的案例告诉我们,在获得了大量的数据,能够对事物的整体进行全面的认识之后,假想就没有意义了,我们可以直接根据全面的数据做出结论。
第二,传统的思维习惯受到挑战
因果关系思维,是人们生活中最为普遍的一种思维方式。既是看上去没有关系的事情,人们也总是从因果的角度去理解他。比如说,1885年7月6日,巴斯德接诊了一个被带有狂犬病毒的狗咬伤的孩子,他把自己刚研制出来的狂犬疫苗给孩子注射,结果孩子活下来了。巴斯德的这一举措,使得狂犬疫苗和孩子的生存之间建立起了一个因果关系。但事实上,人被狂犬病狗咬伤后换上狂犬病的概率是只有七分之一,就算没有狂犬疫苗,这个孩子活下来的几率还是有85%。
在哲学界,关于因果关系的争论已经持续了几个世纪。争论的焦点在于:如果因果关系是普遍存在的,每一个果都有一个因和他相对应,世界上的所有事情都有因果的话,我们就没有决定任何事情的自由了。尽管哲学领域的争论很热烈,但并不耽误人们在日常生活中通过因果关系来思考问题。不仅如此,由于掌握的数据过少,人们还容易从线性关系的角度找寻事物之间的因果关系。在物理学中,有一种处理数据的方式之一就是“化曲为直”,设法找到两个变量之间的线性因果关系,从而进行定量的描述。事实上,由于很多事情之间的关系是很复杂的,简单的线性处理容易导致人们对事物本质属性的误解。
在大数据时代,相关关系比因果关系重要。20__年甲型H1N1流感发生之后,美国的卫生系统极力想从因果关系上来找到流感的源头,但信息反馈的速度太慢,让专家们束手无策。谷歌公司做出了快速反应,把5000万条美国人最频繁检索的词条和美国疾控中心在20__年至20__年间季节性流感传播时期的数据进行比较,研究特定检索词条的频繁使用与流感在时间和空间上的传播之间的联系,很快就确定了流感是从哪个地方传播出来的。谷歌采取的就是相关关系分析的方法,而不是因果关系分析的方法。这是大数据时代,对数据进行处理的一种典型方法。
第三,数据化比数字化更加重要
数字化是将模拟数据转化成0和1的二进制码,以便电脑进行数据处理的过程。过去的很长时间,我们所做的事情,就是对文本进行数字化。很多书籍包括教材,通过PDF等格式,变成了数字形态的资料,存入了电脑或者网路之中。
但是,这些数字化的资料要查询起来并不方便。首先你要知道所需的资料在那本书中,其次你还要仔细地去翻阅这些数字化的资源,以便找到你所需要的信息。这和到书本里去找没有本质的区别。
如果这些数字文本能够被数据化,文本中的字、词和段落能够一一被识别,利用搜索殷勤加以检索就会方便很多。所谓数据化就是将一种现象转化为可以制表分析的可量化的过程,量化,是数据化的核心。信息只能被数据化,其巨大的潜在价值才有可能被释放出来。
数字化带来了数据化,但数字化不能替代数据化。今天,很多学校都在进行“电子书包”的课程教学实践,但有不少实践者认为,所为电子书包,就是将纸质的课本和教辅资料数字化,装入电脑中让学生上课中使用,这其实是对电子书包最大的误解。电子书包的核心在于数据化,要通过对学生学习过程所记录的大数据分析,把握学生的个性化学习特征,以便给予更有针对性的指导。
三、需要关注的一些问题
从教育的角度看,大数据时代的来临,对教育的变革将带来巨大的影响。
首先是教育内容要进行革新。大数据使得传统的因果思维方式、科学研究方式不再是生活、工作起主导地位的方式,这必然要求我们在教学中要将这些变化和学生讲清楚,以便他们能够在今后走上社会的时候有足够的能力迎接挑战。
其次是教学方式要进行革新。过去的教学,因为没有大量数据的支撑,该教什么全凭教师自己跟着感觉走。今天,我们可以将教师的教学视频挂在晚上,通过深度分析学生在观看视频的过程中在哪些地方停顿或者重放的频次比较高,来找出学生不明确或者课程吸引人的地方,帮助教师改进教学、确定教学重点。这必然导致教师教学方式的变革。
第三是学习路径会发生变化。在过去,如果你想成为一个优秀的生物学家,一定要认识很多生物学家。今天,要解决一个生物难题,可能与天体物理学家或者数据视图设计师联系就可以实现。
第四是要防止对数据的痴迷。一方面,我们要研究学校长期以来储存下来的大量数据,同时积累学校每天的教育数据,为进入大数据时代做好充分的思想准备;另一方面,要唤醒学校里沉睡的数据,让其在学校管理和教师教学中发挥更大的作用;再一方面,也要防止出现另一个极端,那就是对数据的痴迷。能仅仅为了收集数据而收集数据,要让数据在如何全面反映一个学生的能力、全面反映教师的教育质量等方面做出实践和探索。
信息和数据的定义。维基百科解释:信息,又称资讯,是一个高度概括抽象概念,是一个发展中的动态范畴,是进行互相交换的内容和名称,信息的界定没有统一的定义,但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据:或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”,如图形、声音、文字、数、字符和符号等。从定义看来,数据是原始的处女地,需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发,只是当数据爆发到无法驾驭的状态,大数据时代应运而生。这是否是《大数据时代》一书所未曾阐述的背景材料?
在《大数据时代》一书中,大数据时代与小数据时代的区别:1、思维惯例。大数据时代区别与转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。作者语言绝对,却反思其本质区别。数据的更多、更杂,导致应用主意只能尽量观察,而不是倾其所有进行推理?这也是明智之举2、使用用途。小数据停留在说明过去,大数据用驱动过去来预测未来。笔者认为数据的用途意在何为,与数据本身无关,而与数据的解读者有关,而相关关系更有利于预测未来。3、结构。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进,理论来创立处理非结构化数据的方法,处理结果与未来进行验证。4、分析基础。大数据是在互联网背景下数据从量变到质变的过程。笔者认为,小数据时代也即是信息时代,是大数据时代的前提,大数据时代是升华和进化,本质是相辅相成,而并非相离互斥。
数据未来的故事。数据的发展,给我们带来什么预期和启示?银行业天然有大数据的潜质。客户数据、交易数据、管理数据等海量数据不断增长,海量机遇和挑战也随之而来,适应变革,适者生存。我们可以有更广阔的业务发展空间、可以有更精准的决策判断能力、可以有更优秀的经营管理能力„„可以这些都基于数据的收集、整理、驾驭、分析能力,基于脱颖而出的创新思维和执行。因此,建设“数据仓库”,培养“数据思维”,养成“数据治理”,创造“数据融合”,实现“数据应用”才能拥抱“大数据”时代,从数据中攫取价值,笑看风云变换,稳健赢取未来。
大数据这个词一直存在但我们很少在这个时代前能有所耳闻,在我读了维克托写的大数据之后,我明白了在更早的年代之所以不流行这个词是因为人们喜欢感性的思考而不是拿数据理性的分析。究其原因,一方面是数据量小,另一方面是人们的思想落后。然而随着信息时代的到来和云技术的发展,大数据逐渐成为一个可靠的参考标准,以及大数据在诸多领域做出的贡献足以证明他在这个时代的重要地位。
维克托在书中例举了大量有关美国在这半个世纪信息开发技术创新的典型案例,从侧面向我们阐述了大数据在诸多领域的不同作用,例举其在医学方面的作用,在不久之前,你也许可能还会听到两个医生对于一个医学问题争论的喋喋不休,……公说公有理婆说婆有理……,但怎么说都是建立在“我认为”的主观臆断之上,幸运地是,大数据的出现给帮助医生在问题上给予一个正确的指向,通过云端和千千万万的数据,可以更清楚还原问题的直观事实。
这样的例子在生活中也数不胜数,其力量存在于人们无形的生活中,却有形的帮助人们解决了在经济,科学,人文方面的各种问题,通过整合混沌的信息,分析加工我们就能很好的了解自己所处的世界并驾驭在时代的前沿。
我主要读了第一部分和第三部分。
第一部分是大数据的思维变革,作者舍恩伯格提出了三个观点,一是"不是随机样本,而是全体数据",二是"不是精确性,而是混杂性",三是"不是因果关系,而是相关关系",作者被誉为"大数据时代的预言家",抛出的观点是掷地有声的,下面我将谈谈我对这三点的理解。
对于一,我们必须承认我们以往做的处理抽样数据得到结果的方法,是省时省力省钱的,而且判断结果是相对高精准的,如人口普查这一案例,如果采用全体数据进行统计分析的话,工作难度是相当大的,最后的结果也不会很满意,这是得不偿失的。但是随着数据处理技术的飞速发展,我们已经具备了处理大量数据的能力,如果在数据分析过程中采用全体数据,就能避免抽样数据可能由于选取偏见带来的非随机性,处理全体数据也必将成为一种趋势。用在国防生管理工作中,就是管理层要对每个个体都给予充分的关心与互动,对于优秀的固然要偏爱,但是对于较差的也要保持"不抛弃不放弃"的态度,让每一个个体都找到自己的定位与价值。
对于二,作者强调通过掌握更多的数据,暂时牺牲精确性,关注更多容易被忽略的细节,来做更多的事,得到更多的结果,也就是说我们要有一定的包容错误的能力。我们在收集数据时,要主动获取更多的数据,少加一些限制性条件,然后应用我们处理大数据的能力,或许会获得意想不到的结果。作者举了一个谷歌翻译系统的例子,通过英语作为中转,进行各语言之间的转换。此处的启发就是用我们最擅长的途径,不拘泥于特定规则,来达到我们的目的,也就是说我们要先认清自己,不去刻意的模仿,找出最适合自己的一套方法。
对于三,作者指出知道"是什么"就够了,没必要知道"为什么",乍一看这个观点觉得有点无脑,但是结合第二点就合理了,降低对精确性及原因结果的要求,通过对相关数据的广泛分析,进而得到更丰富更多元的结果。如购物时,系统的购物推荐,并不是肯定你会购买,仅仅是你感兴趣进而可能会买就足够了。其实作者对"相关关系"的强调,主要是大数据强大的预测能力,而且这种预测性能还是相当精确的。以上只是我用作者的观点佐证他自己的观点,证明其一定的合理性,但是我是不完全认同的,在航天领域,我们对成功率的要求是极高的,尤其是载人航天领域,我们必须做到万无一失,我们对每一个结果都会深究其根,找出原因。对于国防生体能成绩的分析也是如此,结果只是我们的一个评价机制,而最重要的还是产生这一结果的原因及过程。
第三部分是大数据的管理变革,本来以为作者会讲点如何通过大数据来改革管理机制和提高管理效率,没想到作者只是讲了大数据其实就是我们的隐私的暴露,提出了要让数据采集管理公司对数据的使用负起责任的解决途径。个人感觉,一是我们在平时要意识到个人隐私的保护,而是相关法律政策的完善,真正的让大数据服务我们的工作生活,而不是一种变相的威胁。
读了《大数据时代》后,感觉到一个大变革的时代将要来临。虽然还不怎么明了到底要彻底改变哪些思维和操作方式,但显然作者想要“终结”或颠覆一些传统上作为我们思维和生存基本理论、方法和方式。在这样的想法面前,我的思想被强烈震撼,不禁战栗起来。
“在小数据时代,我们会假象世界是怎样运作的,然后通过收集和分析数据来验证这种假想。”“随着由假想时代到数据时代的过渡,我们也很可能认为我们不在需要理论了。”书中几乎肯定要颠覆统计学的理论和方法,也试图通过引用《连线》杂志主编安德森的话“量子物理学的理论已经脱离实际”来“终结”量子力学。对此我很高兴,因为统计学和量子力学都是我在大学学习时学到抽筋都不能及格的课目。但这两个理论实在太大,太权威,太基本了,我想我不可能靠一本书就能摆脱这两个让我头疼一辈子的东西。作者其实也不敢旗帜鲜明地提出要颠覆它们的论点,毕竟还是在前面加上了“很可能认为”这样的保护伞。
近几十年,我们总是在遇到各种各样的新思维。在新思维面前我们首先应该做到的就是要破和立,要改变自己的.传统,跟上时代的脚步。即使脑子还跟不上,嘴巴上也必须跟上,否则可能会被扣上思想僵化甚至阻碍世界发展的大帽子。既然大数据是“通往未来的必然改变”,那我就必须“不受限于传统的思维模式和特定领域里隐含的固有偏见”,跟作者一起先把统计学和量子力学否定掉再说。反正我也不喜欢、也学不会它们。
当我们人类的数据收集和处理能力达到拍字节甚至更大之后,我们可以把样本变成全部,再加上有能力正视混杂性而忽视精确性后,似乎真的可以抛弃以抽样调查为基础的统计学了。但是由统计学和量子力学以及其他很多“我们也很可能认为我们不再需要的”理论上溯,它们几乎都基于一个共同的基础——逻辑。要是不小心把逻辑或者逻辑思维或者逻辑推理一起给“不再需要”的话,就让我很担心了!
《大数据时代》第16页“大数据的核心就是预测”。逻辑是——描述时空信息“类”与“类”之间长时间有效不变的先后变化关系规则。两者似乎是做同一件事。可大数据要的“不是因果关系,而是相关关系”,“知道是什么就够了,没必要知道为什么”,而逻辑学四大基本定律(同一律、矛盾律、排中律和充足理由律)中的充足理由律又“明确规定”任何事物都有其存在的充足理由。且逻辑推理三部分——归纳逻辑、溯因逻辑和演绎逻辑都是基于因果关系。两者好像又是对立的。在同一件事上两种方法对立,应该只有一个结果,就是要否定掉其中之一。这就是让我很担心的原因。
可我却不能拭目以待,像旁观者一样等着哪一个“脱颖而出”,因为我身处其中。问题不解决,我就没法思考和工作,自然就没法活了!更何况还有两个更可怕的事情。
其一:量子力学搞了一百多年,为了处理好混杂性问题,把质量和速度结合到能量上去了,为了调和量子力学与相对论的矛盾,又搞出一个量子场论,再七搞八搞又有了虫洞和罗森桥,最后把四维的时空弯曲成允许时间旅行的样子,恨不得马上造成那可怕的时间旅行机器。唯一阻止那些“爱因斯坦”们“瞎胡闹”的就是因果关系,因为爸爸就是爸爸,儿子就是儿子。那么大数据会不会通过正视混杂性,放弃因果关系最后反而搞出时间机器,让爸爸不再是爸爸,儿子不再是儿子了呢?其二:人和机器的根本区别在于人有逻辑思维而机器没有。《大数据时代》也担心“最后做出决策的将是机器而不是人”。如果真的那一天因为放弃逻辑思维而出现科幻电影上描述的机器主宰世界消灭人类的结果,那我还不如现在就趁早跳楼。
还好我知道自己对什么统计学、量子力学、逻辑学和大数据来说都是门外汉,也许上面一大篇都是在胡说八道,所谓的担心根本不存在。但问题出现了,还是解决的好,不然没法睡着觉。自己解决不了就只能依靠专家来指点迷津。
所以想向《大数据时代》的作者提一个合理化建议:把这本书继续写下去,至少加一个第四部分——大数据时代的逻辑思维。
《大数据时代》这本书主要描述的是大数据时代到临人们生活、工作与思维各方面所遇到的重大变革。
文中清晰的阐述了大数据的基本概念和特点,并列出明确的观点。不管对于产业实践者,还是对于政府和公众机构,都非常具有价值。作者将本书分为3个部分。第一部分提出了大数据时代处理数据理念上的三大转变:抽样等于全体;要效率不要绝对精确;要相关不要因果;第二部分作者从万事万物数据化和数据交叉复用的巨大价值两个方面,讲述驱动大数据战车在材质和智力方面向前滚动的最根本动力;最后一部分,作者描绘了大数据帝国前夜的脆弱和不安,包括产业生态环境、数据安全隐私、信息公正公开等问题。
本书观点掷地有声,作者观念高屋建瓴,从很多实例和经验中萃取普适性观念。例子详实丰富,囊括了进百个学术和商业实例。
引言提出了大数据将给生活、工作于思维带来重大的变革。一个例子是20__年H1N1流行病毒背景下谷歌通过检测检索词条,处理了4.5亿个不同的数据模型,通过预测并与20__年、20__年美国疾控中心记录的实际流感病例进行对比后,确定了45条检索词条组合,并将其用于一个特定的数学模型后,预测的结果与官方数据的相关系数高达97%。按照传统的信息返回流程,通告新流感病毒病例将有一到两周的延迟。对于飞速传播的疾病,信息滞后两周是致命的。而谷歌运用大数据技术,以前所未有的方式,通过海量数据分析得出流感所传播的范围,为世界预测流感提供了一种更快捷的预测工具。此外,我联想到原淘宝董事长马云通过大量数据分析得出20__年经济疲弱,为其商家提前做好迎接经济危机提供了时间缓冲。(补充并清晰描述详细)关于大数据在商业领域的应用, Farecast公司是一个成功的典型范例。该公司由奥伦·埃齐奥尼创办,利用机票的销售数据来预测未来的机票价格,旨在帮助用户在购买机票方面做出预测,并对机票价格走势预测的可信度标示出来供消费者查考。Farecast系统利用近十万亿条价格记录预测的准确度达75%,使得使用Farecast票价预测工具购买机票的旅客,平均每张机票节约50美元。而处理如此多的数据离开了大数据技术将无法进行。
也正是由于我们进入了一个前所未有的信息化时代,人们拥有了如此多的数据,才提供给我们利用大数据的分析处理手段,创造新的价值。也许有人以为我们大数据时代的还未来临。其实大数据技术早已渗透到我们中间,它被应用在垃圾邮件的过滤,新浪微博技术平台,谷歌翻译以及输入文字的自动纠错等。
文中提出的一个观点是,预测是大数据的核心。其实从过去的时代人们就利用掌握的数据进行各种分析,从而对经济等各方面进行预测、矫正。只是进入了大数据时代人们掌握的数据爆炸性的速度在增长,从而数据的存储和分析数据分方法成了释放大数据能量的关键。
关于不是随机样本而是整体数据中。作者指出了随机取样是小数据时代用最少的数据获取最大价值的做法。作者用大数据与乔布斯的癌症治疗例子说明了使用全部数据而非样本的意义。乔布斯成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。乔布斯曾开玩笑说“我要么是第一个通过这种方式战胜癌症的人,要么就是最后一个因为这种方式死于癌症的人”。虽然最后难免死于癌症但这种获得所有数据而不是仅样本的方法将他的生命延长了几年。同样,从事跨境汇款业务的Xoom公司侦破一起犯罪集团的诈骗也是由于使用了整体数据。初此之外,他还列举了日本“相扑”等来证明使用全体数据的重要性。
作者同时也指出随着数据使用的越来越多,其得出的结果并一定能越来越精确,毕竟数据不能保证百分之百的正确,特别是大数据时代各种结构化与非结构化类型的数据聚集在一起难免导致结果的不太精确。大数据时代要求我们重新审视精确性的优劣。作者特别举了谷歌翻译成功的例子。谷歌翻译之所以优于IBM的Candide系统并不是因为它拥有更好的算法机制。和微软的班科和布里尔一样,谷歌翻译增加了各种各样的数据,并且接受了有错误的数据。(其语库来自于未经过滤的网页内容,会包含一些不完整的句子、拼写错误、语法错误以及其他各种错误)
在不是因果关系,而是相关关系的篇章中。作者指出在大数据时代往往知道是什么要比知道为什么来的更实在。作者列举了林登的亚马逊推荐系统的成功,证实了大数据在分析相关性方面的优势以及在销售中获得的成功。沃尔玛也是充分利用并挖掘各类数据信息的先锋和代表,从以前广为人事的啤酒和尿布的案例,以及作者举的有关蛋挞和飓风天气的案例,都说明了掌握了相关关系对于其策略的帮助。建立在相关关系分析法基础上的预测是大数据的核心。Aviva保险公司利用几百种生活方式的数据,如爱好、长浏览网页等间接的预测出哪些人更可能患高血压、糖尿病和抑郁症。UPS国家快递公司通过使用预测性分析检测其全美6万辆车队。进行防御性的修理,节约巨大得的成本。这些都充分显示了大数据在预测方面的优势。
本书第二部分讲的是大数据时代的商业变革。
作者用莫里绘制导航图的例子告诉我们,远在信息数字化之前,对数据的运用就已经开始了。莫里利用大量的人力去分析多年保存的航海记录,他从这些大量的数据中获取到新的利用价值。绘制的图表帮助商人节约一大笔钱,使年轻的海员们间接获取了成千上万名经验丰富的航海家的指导。日本先进工业技术研究所越水重臣教授通过安装压力传感器将人屁股特征数据化,进而形成对乘客身份的特征识别。这项技术为汽车防盗系统提供了方案。公司,致力于为顾客预测商品的价格,通过收集处理海量的价格信息,预测准确率高达77%,帮助顾客在购买一个产品时节约了大约100美元。MasterCardd.Advisor部门通过分析来自210个国家的15亿信用卡用户的650亿条交易记录,分析得出商业发展和客户消费趋势,如通过分析发现如果一个人下午四点左右给汽车加油的话,他很可能在接下来的一个小时内去购物或者去餐馆吃饭 ,且在这一小时里大约花费35到40美元。商家正可以利用这个分析结果,在加油的小票背面附加上附近商店的优惠券。
这些例子都证明了大数据蕴藏着巨大的商业价值。根据提供价值的不同来源,大数据价值链包括三大构成部分。包括第一种是基于数据本身的公司。这些公司拥有大量数据或者至少可以收集到大量数据,却不一定有从数据中提取价值或者用数据催生创新思想的技能。第二种是基于技能的公司。它们通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或者提出数据创性用途的才能。比如说,沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司的分析来获得营销点子,天睿就是一家大数据分析公司。第三种是基于思维的公司。皮特.华登,Jetpac的联合创始人,就是通过想法获得价值的一个例子,他通过用户分享到网上的旅行照片来为人们推荐下一次旅行目的地。对于某些公司来说,数据和技能并不是成功的关键。挖掘数据的新价值的创新思维才是这些公司脱颖而出的优势所在。
大数据成为许多公司竞争力的来源,未来可能整个行业的结构会发生改变,大公司和小公司最有可能成为赢家。如今的核心竞争力在于快速而廉价地进行大量的数据存储和处理。当然公司要根据自己的情况进行调整。大数据向小数据时代的赢家以及那些线下大公司(如沃尔玛、联邦快递、宝洁公司、雀巢公司、波音公司)提出了挑战。同时,大数据也为小公司带来了机遇。大数据也将会影响国家竞争力。当制造业已经大幅转向发展中国家,而大家都争相发展创新行业的时候,工业化国家因为掌握了数据以及大数据技术,所以仍然在全球竞争中占据优势,但这个优势很难持续。随着技术的发展,西方世界在大数据技术的优势将会慢慢消失。对于大公司而言,好消息是大数据技术可以加剧优胜劣汰。一旦公司掌握了大数据,它不但可能超过对手还可能遥遥领先。
文章第三部分讲了大数据带来无数好处的同时带来的不良影响以及如何面对这些影响。包括如数据的收益的处理问题以及数据中用户资料的隐私和决策过程带来的影响。作者在保护个人隐私方面提出了几种想法。一种是使用数据时征询数据所有个人的知晓和授权。第二个技术途径就是匿名化。作者同时也指出了这两种方式的难度。一方面收集到的数据可能会被后续的多次利用。另一方面,匿名化会在数据收集越来越多和数据的相互结合关联使用时变得无效。作者列列举电影《少数派报告》的情节说明越来越依赖数据时,大数据可能将我们禁锢在可能性之中。当然通过分析犯罪的常发地与常发时间,合理安排警力会对治安防范提供不小的帮助。作者还指出不能尽信数据的分析结果,因为不能保证获取分析结果来源的数据准确性。大数据在给我们生活提供便利的同时,也让隐私保护的法律手段失去了作用。我们必须杜绝对数据的过分依赖。
在高速迈进大数据时代的同时,人类信息管理准则需要重新定位,这将带动社会核心价值观的转变。大数据时代,对原有规范的修修补补已经不足以抑制大数据带来的风险。保护个人隐私就需要对个人数据处理器对其政策和行为承担更多责任。同时必须重新定义公正的概念,以确保人类行为的自由。作者提出了解决这些问题的方向。如个人隐私保护方面,可以让使用者承担更多的社会责任。将责任从民众转移到数据使用者有很多意义,也有充分的理由。因为他们更清楚将如何使用数据且是数据应用最大的受益者。关于公正方面简单的讲就是个人可以并应为他们的行为而非倾向负责。就像公司有内部会计和外部审计人员一样,大数据时代,公司将设置专门的人员--内部和外部算法师对大数据活动进行监督。还有可能出现第三方的机构对大数据行为进行监督和衡量。作者甚至考虑到对大数据存在的垄断情况进行分析并在反垄断反面给了建议。最后结语中作者提出大数据提供给人们的只是参考答案,提醒我们在利用这个工具时要铭记人类的作用是无法完全替代的。
大数据时代是信息化社会发展必然趋势,我们只有紧紧跟随时代发展的潮流,在技术上、制度上、价值观念上做出迅速调整并牢牢跟进,才能在接下来新一轮的国际竞争中摆脱受制于人的弱势境地,才能把握发展的方向,冲破与西方国家的差距。对于一个国家如此,对于一个企业亦是如此。在如此快速的到来的大数据时代,我们还有很多知识需要学习,许多思维需要转变,许多技术需要研究。公司的规划中,也需充分考虑到大数据对于公司的未来发展所带来的机遇和挑战。对于掌握大量数据的公司,需要考虑有多少数字化的数据,又有哪些可以通过大数据的分析处理而带来有价值的用途?比如国内目前的社交网站,购物网站等都掌握了用户的大量的数据信息。在大数据时代制胜的良药也许是创新的点子,也许可以利用外部的数据,通过多维化、多层面的分析给其他企业或个人带来价值。
“大数据”概念早在1980年就有国外的学者提出,可是最近几年才广泛受到大家的关注。当“大数据”这个概念传到中国的时候,瞬间引起了轰动。随即,各种有关“大数据”的资料和书籍充斥的我们的视野。随意打开某个电子商务平台图书类页面,在搜索框中搜索“大数据”三个字,就会出现好多本有关“大数据”的书籍。可是,有一个很有趣的现象就是:几乎所有的平台上,出现的第一本关于“大数据”的书籍一定是《大数据时代》。一点进去,这本书推荐栏里的第一句话就是:迄今为止全世界最好的一本大数据专著。同时,为这本书做推荐的都是各行业的精英领袖。所有“大数据”方面的书籍也是这本书销量最高,评价最好。
我从来不会因为哪本书畅销和很多人推荐就盲目跟风的去看一本书。因为我知道通常在这种情况下选择一本书,整个阅读的体会和感受是无法遵从自己的内心的,整个过程都很容易夹杂着别人对这本书的感受。所以通常我读书的节奏大多都是跟不上“潮流”的,但往往经过风雨洗礼之后沉淀下来的都是精华。坦白讲,阅读这本书的初衷并不是因为我想从书中获取到多少大数据方面的精华,只是很想知道对于这么一个很直白的名词,作者是怎么写出这么厚的一本书的。这种初衷或许很无知和幼稚,可就是这种“愚蠢”的好奇心,让我更透彻的看到书中的精华。
在看《大数据时代》这本书之前,我的所有读后感都是集中在书籍给了我什么思考。对于这本书的读后感,除了观点碰撞之外,我还会加上大部分个人看这本书的体会。因为这本书,已经完全让我模糊了大多数人口中的“全世界最好的书”是一种什么标准。也许《大数据时代》真的无法承载那么高的赞美!
大数据时代的入门书
看完这本书,我随意调查了一些阅读过这本书并且给这本书绝对好评的朋友。询问他们这本书好在哪里?大多数的回答是说《大数据时代》这本书让对大数据一无所知的他们了解了大数据这个概念,同时通过很多案例说明原来大数据能有这么大的用处,影响会有这么大!仅此而已。我看完这本书最大的感受是这本书分为上、下两部分。前120多页为上部分,后120多页为下部分。之所以说《大数据时代》是一本关于大数据的入门书,是因为这本书用了前面120多页的篇幅反复的强调大数据的出现对社会发展影响很大,并且要人们转变小数据时代惯有的思想。所以整本书的前半部分就强调大数据时代的三个转变:1、大数据利用所有的数据,而不再仅仅依靠一小部分数据,不再依赖于随机采样。2、大数据数据多,不再热衷于追求精确性,也不再期待精确性。3、大数据时代不再热衷于寻找因果关系,而是追求相关关系。所以整个上半部分没什么可详说的。我们重点聊聊本书的后半部分。
既然一直都在强调大数据对我们的意义,总要有具体体现。整本书中,我感触最大的一个案例就是某公司通过分析大数据发现:新品发布的时候,旧一代的产品可能会出现短暂的价格上涨。因为人们在心理上就认为新产品的推出,旧产品就会便宜,从而就会提高购买量。这个发现和我们平常的心理是完全违背的,而且如果不用数据来证明,直接讲道理给大家可能还是无法相信。这就是大数据对我们很多传统思维的颠覆。一旦涉及到思维的改变,往往就会引起整个社会的大变动。
大数据这个概念的出现,让大数据逐渐发展形成一条价值链。在这条价值链上,数据本身、技能和思维是最重要的环节。随着互联网技术的发展,越来越多的公司都能收集到大量的数据,这些数据也会越来越公开。可是在这些公司中,不是所有的公司都有从数据中提取价值或者用数据催生创新思想的技能。于是就会出现以下两种公司,一种是掌握了专业技能但不一定拥有数据或者提出数据创新性用途才能的公司,另一种就是拥有超前思维,懂得怎样挖掘数据的新价值的创新公司。短时间内,我们可能会感觉拥有创新思维,懂得挖掘出数据新价值的大数据思维是最重要的。可是等到产业成熟之后,所有人都知晓了大数据的意义,所有人便开始挖掘自己的大数据思维。同时,随着科技的进步,掌握大数据技术的也将成为常态。所以到后来,整个价值链的核心环节还是回到了数据本身。而到那时候,大数据的公开性也就越来越小。
在大谈完大数据对人类发展的积极意义之后,作者也考虑到大数据时代的风险。这一部分是作者脑洞大开的精彩之处,同时也是最荒谬的一部分。书中说大数据时代将要惩罚未来犯罪,这样可以在嫌疑人在可能犯罪之前就把犯罪行为给防止。这样的社会,大数据俨然已经延伸到了我们每个人生活的点滴。几乎我们在生活中所做的一切都在大数据的“监控”之下,我想到那时候,别说我们每个人的隐私已经没有的了,严重一点可以说是我们可能连人都不算了。在我们人的社会属性中,自由权利是一项很重要的指标。通过大数据惩罚人的未来犯罪已经否定了人的自由选择能力和人的行为责任自负。同时,由于数据是永久保存,大数据预测也是通过每个人之前的数据来判断,所以大数据同样也否定了人的求善心理。还有,从现在各种大数据预测的结果来看,很多发言人都说大数据不是百分百的准确。所以利用大数据来判断人的行为发展已经违背了大数据不追求精确性的特征,这也是书中自相矛盾的地方。
对于一个新事物,如果能让大家了解这个事物并且对此产生兴趣,这已经算是一本不错的入门书了。
大数据时代的心灵鸡汤
从小到大,鸡汤对于我们来说一直都挺珍贵的。身体虚弱了,喝点鸡汤能够补充营养。心灵受伤了,看点心灵鸡汤可以鼓舞人心。可是近几年,人们生活水平提高了,营养富余,鸡汤已经不是人们补营养的期待了。同样,心灵鸡汤也是如此。
心灵鸡汤其实是一个很虚伪的东西。很多人都被心灵鸡汤诱人的外表给迷惑。在我看来,心灵鸡汤很大的一个特征就是:立人的志,但是就不告诉你实现志的方法。很多人每次在失意的时候就喜欢看心灵鸡汤,希望能得到慰藉。看完后也觉得醍醐灌顶,感觉整个世界都亮了。但又有几个人想过喝完这些鸡汤之后你除了看似重拾梦想,你还获得了什么?你知道怎么去做吗?《大数据时代》就是这样一本书。整本书从头到尾都在向读者讲述大数据的意义,当然期间也会用相应的案例来证明大数据确实有这样的能力。但是,整本书从没有涉及到技术层面的问题。或许对于大数据这种依靠互联网技术的新事物,即使向读者讲技术,也没有几个人看得懂,可是整本书没有一点关于大数据思维的技能引导。给出的案例中只有少数案例向读者讲述了这个公司为什么要利用大数据来解决这种问题,大多数都只是告诉读者国外某家公司运用大数据得出了某种结论。同时,在本书中文译作者写的序里,强调自己翻译这本著作的一大优点是可以结合国内的案例来分析书中的理论,结果,看到最后一页都没有看到一个国内企业关于大数据运用的案例。
之所以我称之为“心灵鸡汤”,还有一个原因就是作者在书中大讲特讲的大数据的作用,事实上按照现在的经济发展水平和社会文明发展程度是很难实现的。书中很多时候的理论都是要建立在社会各项文明都发展健全的基础上才能实现。
大数据的“传销手册”
看到这个标题,大家可能会觉得我夸大其词,受到如此多人好评的书怎么是“传销手册”呢?对于这个表达,我只想说两点:1、此说法仅代表我个人观点,是否认同是个人问题。2、此说法主要针对本书的上部分。
我们都知道传销组织在发展下线的前期是要花大力气去培训的,也就是洗脑。而对于一个陌生又很难以理解的事物,最好的“洗脑”方式就是重复。《大数据时代》这本书就是运用这种方式,前半部分为了让读者能够接受“大数据”这个概念,作者反反复复提醒读者大数据不是随机采样、不追求精确和不寻找因果关系。同时用很多看似很通俗易懂其实看完后还是不知道说了什么的案例来让人信服大数据的作用。书中的后半部分虽然也是用这种方式来感染读者,可后半部分中作者的畅想和对大数据的威胁分析还是对读者有一些实质意义的,所以后半部分的“传销”影响就不是很重要。
大数据时代是未来的趋势,这谁都不会否认。大数据改造了我们的生活,改变着我们的世界。不管它是以一种什么样的姿态面向世界,它都没有错,因为大数据只是一种工具。但当人类开始质疑甚至恐惧大数据的时候,人类就该思考自己是否利用好这个好工具了。
信息时代的到来,我们感受到的是技术变化日新月异,随之而来的是生活方式的转变„„我们这样评论着的信息时代已经变为曾经。如今,大数据时代成为炙手可热的话题。笔者在这说明信息和数据,只是试图首先说明信息、数据的关系和不同,也试图说明,为什么信息时代转变为了大数据时代?大数据时代带给了我们什么?
信息和数据的定义。维基百科解释:信息,又称资讯,是一个高度概括抽象概念,是一个发展中的动态范畴,是进行互相交换的内容和名称,信息的界定没有统一的定义,但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据:或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”,如图形、声音、文字、数、字符和符号等。从定义看来,数据是原始的处女地,需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发,只是当数据爆发到无法驾驭的状态,大数据时代应运而生。这是否是《大数据时代》一书所未曾阐述的背景材料?
在《大数据时代》一书中,大数据时代与小数据时代的区别:1、思维惯例。大数据时代区别与转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。作者语言绝对,却反思其本质区别。数据的更多、更杂,导致应用主意只能尽量观察,而不是倾其所有进行推理?这也是明智之举2、使用用途。小数据停留在说明过去,大数据用驱动过去来预测未来。笔者认为数据的用途意在何为,与数据本身无关,而与数据的解读者有关,而相关关系更有利于预测未来。3、结构。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进,理论来创立处理非结构化数据的方法,处理结果与未来进行验证。4、分析基础。大数据是在互联网背景下数据从量变到质变的过程。笔者认为,小数据时代也即是信息时代,是大数据时代的前提,大数据时代是升华和进化,本质是相辅相成,而并非相离互斥。
数据未来的故事。数据的发展,给我们带来什么预期和启示?银行业天然有大数据的潜质。客户数据、交易数据、管理数据等海量数据不断增长,海量机遇和挑战也随之而来,适应变革,适者生存。我们可以有更广阔的业务发展空间、可以有更精准的决策判断能力、可以有更优秀的经营管理能力„„可以这些都基于数据的收集、整理、驾驭、分析能力,基于脱颖而出的创新思维和执行。因此,建设“数据仓库”,培养“数据思维”,养成“数据治理”,创造“数据融合”,实现“数据应用”才能拥抱“大数据”时代,从数据中攫取价值,笑看风云变换,稳健赢取未来。
现在已经进入到了二十一世纪了,当今社会已经摆脱了上个世纪的那种消息滞后的时代了,我们最应该感谢的就是科学的进步为我们带来了这么多便利。与此同时,科学的进步还为我们带来了“大数据”这个让人类减少了很多工作量的东西。
在这个学期的名著导读课上我们就被要求读:《大数据时代》这本书。《大数据时代》是国外大数据系统研究的先河之作,本书作者维克托·迈尔·舍恩伯格被誉为“大数据时代的预言家”,他是一个特别厉害的人,他作为一个教师,他曾经在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多所世界前列名校任教的经历。他作为一个科学家,早在20__年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。他是十余年潜心研究数据科学的技术权威。他是最早洞见大数据时代发展趋势的数据科学家之一,也是最受人尊敬的权威发言人之一。现任牛津大学网络学院互联网治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人,哈佛国家电子商务研究中网络监管项目负责人;曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。他作为一个研究学者,他的学术成果斐然,有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上,他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球顶级企业;"大数据"在百度上搜索到的解释是:称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。特点:数量、速度、品种、真实性。而舍恩伯格认为,大数据并不能定义一个确切的概念。他提到"大数据是人们获得新的认知,创造新的价值的源泉;大数据还是改变市场、组织机构,以及政府和公民关系的方法。"这是一种更具有人文色彩和社会意义的诠释。
大数据不仅改变了公共卫生领域,整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。就像书中写到20__年,奥伦·埃齐奥尼准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜,于是他在这个大喜日子来临之前的几个月,就在网上预订了一张去洛杉矶的机票。在飞机上,埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚,但是票价却比他便宜得多时,他感到非常气愤。于是,他又询问了另外几个乘客,结果发现大家买的票居然都比他的便宜。
飞机着陆之后,埃齐奥尼下定决心要帮助人们开发一个系统,用来推测当前网页上的机票价格是否合理。作为一种商品,同一架飞机上每个座位的价格本来不应该有差别。但实际上,价格却千差万别,其中缘由只有航空公司自己清楚。
埃齐奥尼表示,他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的,但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。
在信息时代,信息安全问题的日趋凸显,数据独裁与隐私保护之间的矛盾更是立于风口浪尖,成为众矢之的,舍恩伯格在本书的最后章节曾试图寻找一种解决方式来摆脱这一种困境,但最终没能做到,但是他提出"大数据并不是一个充斥着算法的和机器的冰冷世界,人类的作用仍无法被完全代替。"这里表明人在数据时代同样的重要,数据是为人类服务的,也就该人类驱使下完成相应的目的。在这样的大环境下,常引起我更多的思考和担忧。
大数据时代对于我们同是机遇与挑战,一些国家已开始步入大数据时代的行列,并在各个领域开始研究和使用。而对于我国庞大的人口,以及较大的领土面积,都可以在大数据时代为我们提供数据的保障,而能否面临挑战,在大国之间的新一轮角色角逐间崭露头角,我们更需要解决技术等方面的问题,更应在政策上逐步开放各领域的数据,保证数据来源、权限等问题得到解决,不断学习先进的计算机技术,缩小与其他国家的差距。
信息时代的到来,我们感受到的是技术变化日新月异,随之而来的是生活方式的转变我们这样评论着的信息时代已经变为曾经。如今,大数据时代成为炙手可热的话题。笔者在这说明信息和数据,只是试图首先说明信息、数据的关系和不同,也试图说明,为什么信息时代转变为了大数据时代?大数据时代带给了我们什么?
信息和数据的定义。维基百科解释:信息,又称资讯,是一个高度概括抽象概念,是一个发展中的动态范畴,是进行互相交换的内容和名称,信息的界定没有统一的定义,但是信息具备客观、动态、传递、共享、经济等特性却是大家的共识。数据:或称资料,指描述事物的符号记录,是可定义为意义的实体,它涉及到事物的存在形式。它是关于事件之一组离散且客观的事实描述,是构成信息和知识的原始材料。数据可分为模拟数据和数字数据两大类。数据指计算机加工的“原料”,如图形、声音、文字、数、字符和符号等。从定义看来,数据是原始的处女地,需要耕耘。信息则是已经处理过的可以传播的资讯。信息时代依赖于数据的爆发,只是当数据爆发到无法驾驭的状态,大数据时代应运而生。这是否是《大数据时代》一书所未曾阐述的背景材料?
在《大数据时代》一书中,大数据时代与小数据时代的区别:
1、思维惯例。大数据时代区别与转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。作者语言绝对,却反思其本质区别。数据的更多、更杂,导致应用主意只能尽量观察,而不是倾其所有进行推理?这也是明智之举。
2、使用用途。小数据停留在说明过去,大数据用驱动过去来预测未来。笔者认为数据的用途意在何为,与数据本身无关,而与数据的解读者有关,而相关关系更有利于预测未来。
3、结构。大数据更多的体现在海量非结构化数据本身与处理方法的整合。大数据更像是理论与现实齐头并进,理论来创立处理非结构化数据的方法,处理结果与未来进行验证。
4、分析基础。大数据是在互联网背景下数据从量变到质变的过程。笔者认为,小数据时代也即是信息时代,是大数据时代的前提,大数据时代是升华和进化,本质是相辅相成,而并非相离互斥。
数据未来的故事。数据的发展,给我们带来什么预期和启示?银行业天然有大数据的潜质。客户数据、交易数据、管理数据等海量数据不断增长,海量机遇和挑战也随之而来,适应变革,适者生存。我们可以有更广阔的业务发展空间、可以有更精准的决策判断能力、可以有更优秀的经营管理能力可以这些都基于数据的收集、整理、驾驭、分析能力,基于脱颖而出的创新思维和执行。因此,建设“数据仓库”,培养“数据思维”,养成“数据治理”,创造“数据融合”,实现“数据应用”才能拥抱“大数据”时代,从数据中攫取价值,笑看风云变换,稳健赢取未来。
去年的“云计算”炒得热火朝天的,今年的“大数据”又突袭而来。仿佛一夜间,各厂商都纷纷改旗换帜,推起“大数据”来了。于是乎,各企业的CIO也将热度纷纷转向关注“大数据”来了。有一张来自《程序员》微博的漫画很形象。我觉得这张图,很真实地反映了现实中小企业云计算,大数据的现状。
不过话又还得说回来,《大数据时代》是本好书。
当然,很多IT知名人士也大力推荐,写了好多读后感来表述对这本书的喜欢没看此书之前,对所谓大数据的概念基本上是一头雾水,虽则有了解关注过现在也比较火热的BI,觉得也差不多,可能就是更多的数据,更细致的数据分析与数据挖掘。看过此书后,感觉到之前的想法,只能算是中了一小半吧—。巨量的数据,而另一前:着眼于数据关联性,而非数据精确性,或许才是大数据与现时BI的不同,不仅仅是方法,更多的时思想方法。不过坦白讲,到底是数据的关联性重佳,还是数据的精确性更好,还真的需要时间来检验一下,至少从现在的数据分析方法来论,更多的倾向于数据的精确性。
看完此书,我心中的一些问题:
1、什么是大数据?
查了查百度百科,是这样定义的:大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume、Velocity、Variety、Veracity这个好像是IBM的定义吧。
以个人的观点来看:数据海量,存储海量都是大数据的基本原型吧。
2、大数据适合什么样的企业?
诚然,大数据的前提是海量的数据,只有拥有巨量的数据资源,方能从中查找出数据的关联性,才可以让通过专业化的处理,让其为企业产生价值。针对电信运营,互联网应用这样海量用户的数据的大企业,也是在应用大数据的道路上拥有得天独厚的条件,但是针对中小企业呢?销售订单数据?若非百年老店,估计数据也是少得可怜,能用的可能只有消费者数据了吧。貌似大多数厂商,用来举例的也就是消费都购买行为分析为最多。
同样,在公共事业类的政府机构,大数据的作用也许也能很好的发挥。反而感觉在大多数中小型企业应用大数据,似乎有点大题小作。书中说:大数据是企业竞争力。诚然,数据是一个企业的核心无形资源(利用得好的话),但是否所有的数据,或都换则方式说:所有的企业都以大数据为竞争力,是否真的合适么?是否在中小企业中,会显示得小题大做呢?
3、大数据带来的影响
当一波又一波的IT技术热潮源源不断地向我们铺面而来的时候,你甚至都没有做好准备,你都要开始迎接它所给你带来的影响了。经过物联网,云计算的推波助澜下,大数据开始登场了。但它到底给我们带来了什么呢?
1)预测未来书中以Google成功预测了未来可能发生流感的案例来开篇,表明通过大数据的应用,可以为我们的生活起一个保驾护航的指向标。实质很简单,技术改变世界。
2)变革商业大数据所带来的商机,同时会衍生出一系列与大数据相关的商业机遇与商业模式,数据的潜在价值会源源不断地发挥作用可以容易想到的是未来有专门的数据收集,数据分析,数据生成的一条数据产业链产生。影响的,当然是IT公司
3)变革思维书中所说:因为有海量的数据作基础,未来,我们可能更关注数据的相关,而非精细度。对这条,本人还是持保留意见的。
如今说起新媒体和互联网,必提大数据,似乎不这样说就OUT了。而且人云亦云的居多,不少谈论者甚至还没有认真读过这方面的经典著作——舍恩佰格的《大数据时代》。维克托·迈尔舍恩伯格何许人也?他现任牛津大学网络学院互联网研究所治理与监管专业教授,曾任哈佛大学肯尼迪学院信息监管科研项目负责人。他的咨询客户包括微软、惠普和IBM等全球企业,他是欧盟互联网官方政策背后真正的制定者和参与者,他还先后担任多国政府高层的智囊。这位被誉为:大数据时代的。预言家“的牛津教授真牛!那么,这位大师说的都是金科玉律吗?并不一定,读大师的作品一定要做些功课才好读懂,才能能与之进行一场思想上的对话。
舍恩伯格分三部分来讨论大数据,即思维变革、商业变革和管理变革。
在第一部分”大数据时代的思维变革“中,舍恩伯格旗帜鲜明的亮出他的三个观点:
一、更多:不是随机样本,而是全体数据。
二、更杂:不是精确性,而是混杂性。
三、更好:不是因果关系,而是相关关系。对于第一个观点,我不敢苟同。
一方面是对全体数据进行处理,在技术和设备上有相当高的难度。另一方面是不是都有此必要,对于简单事实进行判断的数据分析难道也要采集全体数据吗?
我曾与香港城市大学的祝建华教授讨论过。祝教授是传播学研究方法和数据分析的专家,他认为一定可以找到一种数理统计方法来进行分析,并不一定需要全部数据。联系到舍恩伯格第二个观点中所说的相关关系,我理解他说的全体数据不是指数量而是指范围,即大数据的随机样本不限于目标数据,还包括目标以外的所有数据。我认为大数据分析不能排除随机抽样,只是抽样的方法和范围要加以拓展。
我同意舍恩伯格的第二观点,我认为这是对他第一个观点很好的补充,这也是对精准传播和精准营销的一种反思。”大数据的简单算法比小数据的复杂算法更有效。“更具有宏观视野和东方哲学思维。对于舍恩伯格的第三个观点,我也不能完全赞同。”不是因果关系,而是相关关系。“不需要知道”为什么“,只需要知道”是什么“。传播即数据,数据即关系。在小数据时代人们只关心因果关系,对相关关系认识不足,大数据时代相关关系举足轻重,如何强调都不为过,但不应该完全排斥它。大数据从何而来?为何而用?如果我们完全忽略因果关系,不知道大数据产生的前因后果,也就消解了大数据的人文价值。如今不少学者为了阐述和传播其观点往往语出惊人,对旧有观念进行彻底的否定。
世间万物的复杂性多样化并非非此即彼那么简单,舍恩伯格也是这种二元对立的幼稚思维吗?其实不然,读者在阅读时一定要看清楚他是在什么语境下说的,不要因囫囵吞枣的浅读而陷入断章取义的误读。比如说舍恩伯格在提出”不是因果关系,而是相关关系。“这一论断时,他在书中还说道:”在大多数情况下,一旦我们完成了对大数据的相关关系分析,而又不再满足于仅仅知道‘是什么’时,我们就会继续向更深层次研究的因果关系,找出背后的‘为什么’。“[i]由此可见,他说的全体数据和相关关系都在特定语境下的,是在数据挖掘中的选项。
大数据研究的一大驱动力就是商用,舍恩伯格在第二部分里讨论了大数据时代的商业变革。舍恩伯格认为数据化就是一切皆可”量化“,大数据的定量分析有力地回答”是什么“这一问题,但仍然无法完全回答”为什么“。因此,我认为并不能排除定性分析和质化研究。数据创新可以创造价值,这是毫无疑问的。舍恩伯格在讨论大数据的角色定位时仍把它置于数据应用的商业系统中,而没有把它置于整个社会系统里,但他在第二部分大数据时代的管理变革中讨论了这个问题。
在风险社会中信息安全问题日趋凸显。如何摆脱大数据的困境?舍恩伯格在最后一节”掌控“中试图回答,但基本上属于老生常谈。我想,或许凯文·凯利的《失控》可以帮助我们解答这个问题?至少可以提供更多的思考维度。正如舍恩伯格在结语中所道:”大数据并不是一个充斥着算法和机器的冰冷世界,人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案,只是参考的答案,帮助是暂时的,而更好的方法和答案还在不久的未来。“谢谢舍恩伯格!让大数据讨论从自然科学回到人文社科。由此推断,《大数据时代》不是最终答案,也不是标准答案,只是参考的答案。
此外,在阅读此书之前还必须具备一些数据科学的基本知识和基本概念,比如说什么叫数据?什么叫大数据?数据分析与数据挖掘的区别,数字化与数据化有什么不同?读前做些功课读起来就比较好懂了。
去年的“云计算”炒得热火朝天的,今年的“大数据”又突袭而来。仿佛一夜间,各厂商都纷纷改旗换帜,推起“大数据”来了。于是乎,各企业的CIO也将热度纷纷转向关注“大数据”来了。有一张来自《程序员》微博的漫画很形象。我觉得这张图,很真实地反映了现实中小企业云计算,大数据的现状。
不过话又还得说回来,《大数据时代》是本好书。
当然,很多IT知名人士也大力推荐,写了好多读后感来表述对这本书的喜欢没看此书之前,对所谓大数据的概念基本上是一头雾水,虽则有了解关注过现在也比较火热的BI,觉得也差不多,可能就是更多的数据,更细致的数据分析与数据挖掘。看过此书后,感觉到之前的想法,只能算是中了一小半吧---巨量的数据,而另一前:着眼于数据关联性,而非数据精确性,或许才是大数据与现时BI最大的不同,不仅仅是方法,更多的时思想方法。不过坦白讲,到底是数据的关联性重佳,还是数据的精确性更好,还真的需要时间来检验一下,至少从现在的数据分析方法来论,更多的倾向于数据的精确性。看完此书,我心中的一些问题:
1.什么是大数据?
查了查百度百科,是这样定义的:大数据(bigdata),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点:Volume、Velocity、Variety、Veracity--这个好像是IBM的定义吧。
以个人的观点来看:数据海量,存储海量都是大数据的基本原型吧。
2.大数据适合什么样的企业?
诚然,大数据的前提是海量的数据,只有拥有巨量的数据资源,方能从中查找出数据的关联性,才可以让通过
专业化的处理,让其为企业产生价值。针对电信运营,互联网应用这样海量用户的数据的大企业,也是在应用大数据的道路上拥有得天独厚的条件,但是针对中小企业呢?销售订单数据?若非百年老店,估计数据也是少得可怜,5,能用的可能只有消费者数据了吧。貌似大多数厂商,用来举例的也就是消费都购买行为分析为最多。同样,在公共事业类的政府机构,大数据的作用也许也能很好的发挥。反而感觉在大多数中小型企业应用大数据,似乎有点大题小作。书中说:大数据是企业竞争力。诚然,数据是一个企业的核心无形资源(利用得好的话),但是否所有的数据,或都换则方式说:所有的企业都以大数据为竞争力,是否真的合适么?是否在中小企业中,会显示得小题大做呢?
3.大数据带来的影响
当一波又一波的IT技术热潮源源不断地向我们铺面而来的时候,你甚至都没有做好准备,你都要开始迎接它所给你带来的影响了。经过物联网,云计算的推波助澜下,大数据开始登场了。但它到底给我们带来了什么呢?
1)预测未来书中以Google成功预测了未来可能发生流感的案例来开篇,表明通过大数据的应用,可以为我们的生活起一个保驾护航的指向标。实质很简单,技术改变世界。
2)变革商业大数据所带来的商机,同时会衍生出一系列与大数据相关的商业机遇与商业模式,数据的潜在价值会源源不断地发挥作用可以容易想到的是未来有专门的数据收集,数据分析,数据生成的一条数据产业链产生。影响最大的,当然是IT公司
3)变革思维书中所说:因为有海量的数据作基础,未来,我们可能更关注数据的相关,而非精细度。对这条,本人还是持保留意见的。
“除了上帝,任何人都必须用数据来说话。”——这是《大数据》中出现的让人印象深刻的一句话,也是全书力图传递的信息。在数字信息时代,数据和空气一样遍布生活,对于有些人来说,数据无意义,而对于有些人来说,数据,即真相。
美国是《大数据》的主角,全书通过讲述美国半个多世纪信息开放、技术创新的历史,以别开生面的经典案例——设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起,以及云计算、Facebook和推特等社交媒体、Web3·0与下一代互联网的未来图景等等,为读者一一细解数据创新给公民、政府、社会带来的种种挑战和变革。
透过全书,一个立体的美国及美国人民的思想呈现在我们面前——美国人民执著于个人隐私的保护,却又不遗余力地推动着政府信息的透明与公开。
读完此书,对生活中的数据及数据处理突然有了很大的兴趣。如果有一天,处处以数据说话,那么,政治、制度、生活将更加清明,事故将降到最低点。
作为信息技术教师,是有必要阅读此书的!有慧根的教师将能从书中挖掘出信息技术特有的文化以及能用于教学的鲜活案例。
每天能用来阅读的时间很少,总是要等到夜深疲倦时才有空打开书本,总是在眼睛极不舒服的情况下坚持阅读,《大数据》就这样在坚持中溶入我的思想……
4月13日下午,在湖南大学东楼205参加了关于《大数据时代》的读书交流活动。通过相互交流学习,使我更深层次的理解了大数据时代的利与弊,机遇和挑战。在写心得体会前,我想再重新审视一下关于大数据的历史沿革和现实意义。
首先,最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数 据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后又IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
其次,进入20xx年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。正如《纽约时报》20xx年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
最后,随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。著云台的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……,截止到20xx年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,20xx年全球产生的数据量为0.49ZB,20xx年的数据量为0.8ZB,20xx年增长为1.2ZB,20xx年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到20xx年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了20xx年,全世界所产生的数据规模将达到今天的44倍。
首先,谈谈大数据带给生活的转变。大数据已经是信息产业发展的必然趋势,可以说,大数据现在已经开始慢慢渗透入我们的生活,如:现在流行的打车软件、三维立体化社区的建立、某些从事生产销售的行业利用大数据来优化规模和实现利益最大化。而我们很多人对大数据还很陌生,只是被动的适应着大数据给生活带来的改变。大数据时代是以云计算为基础的,所以,要实现大数据,相关的很多的硬件设备都要更新换代,信息处理系统、信息传输系统、信息反馈系统、信息决策系统都将面临新的挑战,相关产业都要重新调整产业结构,在那时,可以夸张的说,信息就是黄金,信息就是石油。大数据时代的到来会解放更多的劳动生产力,势必将会更加加剧生产力过剩的现状,社会两极分化现象会更加明显,掌握不了信息资源,很难再翻身,要防止信息垄断带来的可怕局面。大数据时代的到来会使人们的生活节奏急速加快,信息的时效性决定了它的流通速率,人们的生活节奏要跟上信息流通的速率,就不得不加快自己的节奏,人们会越来越忙,到那时,就像现在的日本,可能想找个人听你说说话,真的是一件很难的事。
第二,关于数据管理的看法。大数据时代,数据管理是一件很重要的工作,如何才能避免自己的数据被非法窃取、丢失和被盗?我的看法是,人防、技防、物防一体化。人防,即我们要从思想上牢固树立信息安全防范的意识,不主动泄露信息,要管理好自己身边的信息设备;技防,就是要运用软件来管理和处理数据,经常检查更新数据库,定时查杀电脑病毒,确保电脑状况安全;物防,就是重要的数据一定要备份保留,而且应当做到备份与原始文件是物理隔离,无关的信息应当及时删除,减轻硬盘的压力。
三、怎么保护自己的隐私。隐私,顾名思义,就是不愿意让别人看到的东西,所以,在大数据时代,更要管理好自己的隐私,以免对自己和家人造成麻烦和损失。越是隐私的信息,越要远离网络,不要再公开的社交网络储存和展示个人图片、资料等信息,免得被非法人士采用和窃取。建议还是用纸质的日记代替电脑日记,避免信息传播范围太大,管理好自己的日记本。研发一种新的硬件连接器,总是以随机码来保护自己真实IP地址,提高网络安全的可靠性,加强对联网信息的管理和保护。
不论我们情不情愿,大数据时代都会到来,现实社会是我们高喊着走向大数据时代,其实大数据时代已经向我们走来,所以与其被动接受,不如主动学习,从中找到自己的出路,成为大数据时代的建设者和受益者。
知道"是什么"就够了,没必要知道"为什么"。在大数据时代,我们不必非得知道现象背后的原因,而是让数据自己"发声"。这个命题是我读这本书最大的感触。
对于大多数人来说,这的确是一场思维变革。对于理科学生来说,会认为这是一个错误的观点,因为这无异于否定了他们对世界客观物理化学规律探索的重要性;对于一名工科学生,其实这并不是一个多么新颖的观点,因为工科是讲求时用性的,如何能更好地利用基本自然科学规律创造社会财富比探索自然科学知识显得更重要。
这些天来,在读大数据这本书的同时,也稍微重温了一下自动控制原理,认识到控制系统中存在明显的大数据时代思维方式,借读书交流会之际,与大家分享。
对系统的有效控制需要对系统理解与建模。以一个日常生活中的例子说明。开车的时候一脚油门下去车就飞出去了,但并不知道这一脚油门下去能给多大车速,这就需要驾驶人员的熟练的驾驶技能了,不然超速被开罚单是很正常的。那么,问题就来了:如何能实现速度的自动控制而不用驾驶人员踩油门?这就是控制系统最关键的环节——建立系统数学模型。大白话就是知道车速与燃油量的数学关系式。若是以探索为什么的思维模式,不可避免的要列一大堆能量方程、动量方程等物理化学式子,经过繁杂的计算,还是能得到车速和燃油量的数学关系式的。很明显这是一个繁琐的过程,因为得知道现象背后的原因。这仅是对于这种简单的系统,若是对于航空发动机这种复杂的系统,结构工艺过于复杂,分析各部分的物理化学过程是十分困难的,这时候可以通过实验法得到数学模型。
实验法主要有时域测定法、频域测定法和统计相关法。与大数据时代思维最接近的是统计相关法,主要过程是对被研究对象施加某种随机信号,根据被测对象各参数的变化,采用统计相关法确定被测系统或对象的动态特性。这种方法可以在被测系统或生产过程正常运行状态下进行在线辨识,测试结果精度较高,但要求采集大量测试数据,并需要相关仪和计算机进行数据计算和处理。
若用开车实例来解释,此时的系统为汽车动力系统,施加的随机信号为燃油量,被测对象指车转速,得到的动态特性就是指车速与燃油量函数关系式,从而不用探求背后的物理化学规律就得到了数学模型。
在沈阳黎明航空公司实习时去过试车间,除了发动机点火后震撼的场景动人心魄,控制室屏幕上海量的数据也同样引人注目,我想这么多数据无非就是验证数学模型或直接实验法得到数学模型,结合航空发动机这种复杂的系统,对于搞控制的人来说,得到数学模型就够了,现象背后的原因交给研发的人来探索更好。
《大数据时代》是英国维克托·迈尔-舍恩伯格教授的著作,这本书也被尊为国外大数据研究的先河之作。这本书最大的优点就在于作者利用上百个例子来对大数据的方方面面做了详细解说,让外行也很容易理解。结构上,作者通过大数据时代的思维变革、商业变革和管理变革三个角度依次阐述,条理清晰。
所谓"大数据",按作者的说法,就是"所有数据"。随着计算机运算速度和存储能力的发展,收集数据变得越来越简单,储存数据的成本越来越低。在过去,由于技术限制,人们做统计时只能收集有限的数据做样本,其中要考虑随机样本的选择,努力减小因样本问题出现的误差;统计结果往往不能重复使用,造成数据利用率低。而现在则可以做到"样本=总体"。数据的增多带来不可避免的精确性问题。 "小数据"时代,一个样本的错误就可以造成对总体估计的失败,幸运的是,"大数据"时代对精确性不再那么要求苛刻——也无法要求太严格——数据的数量足以弥补这一缺陷。在对思维变革这一部分的阐述中,最重要也是全书的核心观点就是大数据时代,我们应该从追求"因果关系"的旧思维方式向追求"相关关系"转变。 在我看来,这实际上是通过大数据来透视一种事物的发展趋势,而很多精确学科领域依然需要探寻"因果关系"解决更有针对性的问题,所以,这局限了这一转变只能在特定的领域发生。作者自己也说,"大数据的相关性将人们指向了比探讨因果关系更有前景的领域。"
大数据时代的数据获取方式是多种多样,数据形式也是千变万化,任何文字、行为、万物都可以被数据化后用来分析。对这些数据的利用,不仅要考虑到其初次使用价值,更要放眼它未来可能的用途以提高数据的利用率。当然数据并不是无限使用,时效、环境的变化肯定会对数据提出新的要求,所以数据的折旧也是应当考虑的。这又引出了对数据这一无形资产的估值可能性。对于Facebook, Twitter这样的公司来说,数据就是他们的核心,如何在资产负债表上给他们一个公正的体现正是我们需要考虑的。
大数据时代的价值链由三部分构成,我把它们简化为"生产—分析—使用"三个环节,这对应书中的三种类型公司: 第一种是基于数据本身的公司,第二种是基于技能,第三种则是基于思维。在大数据早期,技能和思维最有价值,但作者认为,最终,大部分的价值还是必须从数据本身来挖掘。这是假定了一个成熟的市场,人人都了解了大数据的用途。
对于普通人来说,大数据时代最关心的还是隐私问题。不知不觉中,个人的一举一动都暴露在政府甚至私人企业之下,还面临潜在的泄露风险。对此,作者提出了使用者承担责任的解决办法,而不是过去那种流于形式的使用授权。大数据甚至能预测一个人的犯罪动机,这给监管者带来的难题是,预测一个人要犯罪,惩罚还是不惩罚?在这点上,社会达成"个人仅需对行为而非动机负责"的共识非常重要。
大数据时代的风险控制靠的是"算法师",类似会计师一样的职业,对大数据的准确度或有效性进行鉴定。这能在一定程度上防止数据滥用的发生和数据独裁。当今的法律亦需对大数据监管进行修订补充。
当代大数据发展主要由科技公司推动,相信在不久的将来更多的传统领域会意识到大数据的重要性。但我们也应该保持清醒,大数据并不是万能药,对某些领域或环节,使用大数据是一种简单且实用的选择;但对某些领域,盲目使用大数据只会适得其反。
这本书里主要介绍的是大数据在现代商业运作上的应用,以及它对现代商业运作的影响。
《大数据时代》这本书的结构框架遵从了学术性书籍的普遍方式。也既,从现象入手,继而通过对现象的解剖提出对这一现象的解释。然后在通过解释在对未来进行预测,并对未来可能出现的问题提出自己看法与对策。
下面来重点介绍《大数据时代》这本书的主要内容。
《大数据时代》开篇就讲了Google通过人们在搜索引擎上搜索关键字留下的数据提前成功的预测了20xx年美国的H1N1的爆发地与传播方向以及可能的潜在患者的事情。Google的预测比政府提前将近一个月,相比之下政府只能够在流感爆发一两个周之后才可以弄到相关的数据。同时Google的预测与政府数据的相关性高达97%,这也就意味着Google预测数据的置信区间为3%,这个数字远远小于传统统计学上的常规置信区间5%!而这个数字就是大数据时代预测结果的相对准确性与事件的可预测性的最好证明!通过这一事以及其他的案例,维克托提出了在大数据时代“样本=总体”的思想。我们都知道当样本无限趋近于总体的时候,通过计算得到的描述性数据将无限的趋近于事件本身的性质。而之前采取的“样本<总体”的做法很大程度上无法做到更进一步的描述事物,因为之前的时代数据的获取与存储处理本身有很大的难度只导致人们采取抽样的方式来测量事物。而互联网终端与计算机的出现使数据的获取、存储与处理难度大大降低,因而相对准确性更高的“样本=总体”的测算方式将成为大数据时代的主流,同时大数据时代本身也是建立在大批量数据的存储与处理的基础之上的。
接下来,维克多又通过了IBM追求高精确性的电脑翻译计划的失败与Google只是将所有出现过的相应的文字语句扫描并储存在词库中,所以无论需要翻译什么,只要有联系Google词库就会出现翻译,虽然有的时候的翻译很无厘头,但是大多数时候还是正确的,所以Google的电脑翻译的计划的成功,表明大数据时代对准确性的追求并不是特别明显,但是相反大数据时代是建立在大数据的基础住上的,所以大数据时代追求的是全方位覆盖的数字测度而不管其准确性到底有多高,因为大量的数据会湮埋少数有问题的数据所带来的影响。同时大量的数据也会无限的逼近事物的原貌。
之后,维克托又预测了一个在大数据时代催生的重要职业——数据科学家,这是一群数学家、统计学与编程家的综合体,这一群人将能够从获取的数据中得到任何他们想要的结果。换言之,只要数据充足我们的一切外在的与内在的我们不想让他人知道的东西都见会在这一群家伙的面前展现得淋漓尽致。所以为了避免个人隐私在大数据时代被这一群人利用,维克托建议将这一群人分为两部分,一部分使用数据为商业部门服务,而另一群人则负责审查这一些人是否合法的获得与应用数据,是否侵犯了个人隐私。
无论如何,大数据时代将会到来,不管我们接受还是不接受!
我觉得《大数据时代》这本书写的很好,很值得一读。因为会给我们很多启发,比如你在相关的社交网站发表的言论或者照片都很有可能被“数据科学家”们利用,从而再将相关数据卖给各大网店。不过,事实就是我们将会成为被预测被引诱的对象。所以说,小心你在网上留下的痕迹。
我喜欢这本书是因为它给我展现了一个新的世界。
未来的十年,将是大数据引领下的智慧科技时代。不管你是否意识到它的存在,大数据都将越来越快地改变我们这个时代,包括我们的生活方式。
维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例,来帮助我们理解“大数据”的潜在影响力,那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙,显微镜能够让我们观测微生物,它们都是收集海量数据的新工具,因为这种工具的发明,人们同步更新了分析数据的技术和方法,促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命,那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟,移动带宽迅速提升,云计算、物联网应用更加丰富,以及更多的传感设备、移动终端接入到网络,由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代,不经意间顺理成章地翩然而至。
一、什么是大数据?
大数据是当前最热门的话题之一。但什么是大数据,人们尚未给出确切的定义。首先,“大数据”是相对过去小的、局部性的数据而言的;其次,利用大数据进行分析和工作时,所依据的关于此事尽可能完整的数据,从而“一览众山小”,而不是采用局部的小数据,从局部推断整体。
维克托也并未直接给出大数据的定义。不过,他用三大转变描述了大数据的特性:
转变之一:在大数据时代,我们可以分析更多的数据,有时候甚至可以处理和某个特别现象相关的所有数据,而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析,这算不上一个很大的数字,但由于这是过去十年所有的比赛,所以它是大数据。
转变之二:由于有了更多的数据,我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点,那么每一个数据点都必须非常精确,因为每个数据点都是有用的;但是如果我们有5000万个,去掉10个,甚至去掉1000个都没有太大的问题。
转变之三:不再探求难以捉摸的因果关系,转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”,而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因,实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了,我不需要知道为什么;知道什么时候在网上购买机票能够获得最优惠的价格就足够了,我不需要知道为什么此时价格最低。
二、大数据带来的变化
大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆,很多旧的制度将面临挑战。举例来说:
第一,科学探究的思路和方式受到挑战
探究是新课程改革中的一个热词,是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是:发现问题,提出假设,制定方案,实践探究,分析数据,得出结论。之所以会梳理出这样一个探究的路径,与我们对问题知晓的信息过少有关。换句话说,对所要研究的事物,我们知道的数据很少,需要从这些很小的数据出发,通过猜想和假设,进行试探性的研究,如果研究得出的结果和自己的假想是一致的,则说明我们的假说是正确的,这些假说会上升为对该事物描述的知识,我们掌握该事物的数据也随之增加。
利用测量所获得的点滴数据,从一个局部来推测世界是怎样的,这是科学探究的基本思路和方式。长期以来,我们总是通过这样的方式来认识世界,对其有宗教般的信仰。尽管我们知道,决策者总是先有了想法,才会提出假设。如果决策者自身对所研究的事情存在着偏见,所提出的假设就很难得到实证的支持,这往往会导致探究花费了很长的时间、很大的物力和财力,也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行,学校在教学中也将其作为科学研究的基本规范来传授。
在大数据时代,这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌?关于这个问题,无论我们的假设如何,实验的设计都很难进行。首先,样本选择过少,没有统计学上的意义;其次,不能拿人做研究对象;第三,短时间的研究很难观察到变化。有了大数据之后,这样的难题就可以迎刃而解了。前段时间,丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至20xx年拥有手机的所用用户的数据,同时,他们还收集了这一期间医院收集的所有癌症患者的数据,然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的,在作分析之前从来没有想过可以做这样的研究。结果表明,使用移动用户和癌症风险增加之间不存在任何关系。20xx年10月,这一研究的结果发表在《英国医学杂志》上。
上述的案例告诉我们,在获得了大量的数据,能够对事物的整体进行全面的认识之后,假想就没有意义了,我们可以直接根据全面的数据做出结论。
通过读ViktorMayer-Schonberger的《大数据时代》重新认真思考了大数据,全书以数据为核心,引导人们用数据的思维去理解世界,用数据的思维去解决问题,是推荐读物。但个人认为本书叫《数据时代》更为合适,因其讲了不少统计学、数据收集的故事,“大数据”的故事只占一小部分。
维基百科说大数据由巨型数据集组成,这些数据集大小常超出常用软件在可接受时间下的收集、庋用、管理和处理能力,或称巨量数据、海量数据、大资料,大数据的常见特点是3V:Volume、Velocity、Variety。
规模巨大的数据未必是大数据,需满足她的三个特点。以研究掷硬币概率的实验为例,当传统实验次数达到一定规模后就能帮助实验者分析正反面出现的概率,随着实验次数的增加,数据大量积累可能越来越支持这一结论,数据达到一定量,它的边际效应就出现了,数据继续增加对分析概率还有多少意义呢?按照现代概率学伯努利试验去带入函数计算就好了,这仅算是概率学或者是统计学吧。故大数据不是因为单纯体积大而大,是因为杂而大,研究硬币正反面的概率如引入天文学、心理学、材料学、物理学等领域的数据而使之变大,进而研究关联关系(或因果关系,注:本书不认同因果关系的重要性),从而得出概率的分布,然而大量相关数据的引入,按照传统分析过程的时间是不可接受的,需利用高效计算资源,迅速把杂而大的处理结果呈现出来,并且实验者对结果的预期不能要求100%的精确。大数据并不是数据本身,而是一种思维方式。
大数据令人着迷的地方在于用“科学”的办法挑战了“预测学”,帮助人们发现未知,帮忙人们进行决策。然而本书作者ViktorMayer-Schonberger强调“大数据不是因果关系,而是相关关系,相关关系比因果关系更重要”,此观点不能认同,因果关系是宇宙的基本定律,且不说种瓜得瓜、善有善报之类哲学命题,若商家在发现电容器、钉子、高压锅有关联购买关系而去做大量营销的话岂不是有可能发生更多的波士顿爆炸案①。关联关系在大数据中被提取出来使用,而不去关心因果关系是一种粗暴的、倒退的处理方式,是作者理解的现代社会浮躁的心里体现。我认为的大数据应该是把看起来不相干的数据放到一起分析,找到某些跨领域的关联关系,进而推论因果关系,发现其中价值。作者引用了安德森的观点“现在已经是一个有海量数据的时代,应用数学已经取代了其他的所有学科工具,而且只要数据足够,就能说明问题”,数据和所有科学的关系,我觉得有点像现在互联网和其他所有行业的关系一样,互联网终究还是一个工具。作者举了沃尔玛“尿布与啤酒”③的故事,这也是大家熟知的一个数据分析的故事,但是沃尔玛真的是这么做的吗?大家可以去沃尔玛的时候留意一下。一家大型的超市,如果为了这种所谓相关关系,所有商品用这种关联关系去摆放,天哪,这将是一家多么混乱的超市,顾客进去将难以区分食品在哪、生活用品在哪!有人可能说这种关联关系更适合电子商务,是的,但是我还是比较看好已知原因的关联关系,比如婴幼儿智力玩具和孕妇减肥放到一起,比如在线播放器旁边放卫生纸的广告(哈哈哈,你懂的)。本书用美国折扣零售店塔吉特与怀孕预测②来佐证他的观点,但恰恰是知道因果关系后商业价值才能更多的体现出来,未知因果关系前顾客的父亲生气并要求赔偿,知道因果关系后才使得这种广告理所应当并让客户接受。
互联网信息时代数据的积累以及BI、数据仓库、人工智能、HADOOP、NOSQL等技术的流行,使得人们考虑问题的方式已经发生变化,接下来我们要做的只有接受拥抱数据时代、大数据时代。软件行业程序上线的变更差错率是一个考核IT水平的指标,为此很多公司引进了CMMI体系,以求他保障软件的质量,为此也收集了大量的过程数据。若用数据的思维,是否可能根据之前的各种相关数据预测下次投产变更的成功率?若用大数据的思维,是否可以根据CMMI数据以及程序员开发期间上下班考勤数据、工资发放时间、上线当天天气情况来综合预测投产变更的成功率?用大数据的思维,订餐网站不仅根据之前你定的是咸的还是辣的来给你推荐菜单,可能因为你微博上发了一句“每个月总有那么几天”修改了订餐的推荐菜单(哈哈)!故在数据时代,提议童鞋们检查公司的信息系统,是否有定期删除“垃圾”日志、数据的机制(Viktor说,即使最平凡的信息业可以具有特殊的价值),为了日益廉价的存储而删除日益昂贵的数据,请三思后行吧。
4月13日下午,在湖南大学东楼205参加了关于《大数据时代》的读书交流活动。通过相互交流学习,使我更深层次的理解了大数据时代的利与弊,机遇和挑战。在写心得体会前,我想再重新审视一下关于大数据的历史沿革和现实意义。
首先,最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后又IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
其次,进入20__年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。正如《纽约时报》20__年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
最后,随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。著云台的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……,截止到xx年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,xx年全球产生的数据量为0.49ZB,xx年的数据量为0.8ZB,xx年增长为1.2ZB,xx年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到xx年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB.IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了xx年,全世界所产生的数据规模将达到今天的44倍。
首先,谈谈大数据带给生活的转变。大数据已经是信息产业发展的必然趋势,可以说,大数据现在已经开始慢慢渗透入我们的生活,如:现在流行的打车软件、三维立体化社区的建立、某些从事生产销售的行业利用大数据来优化规模和实现利益最大化。而我们很多人对大数据还很陌生,只是被动的适应着大数据给生活带来的改变。大数据时代是以云计算为基础的,所以,要实现大数据,相关的很多的硬件设备都要更新换代,信息处理系统、信息传输系统、信息反馈系统、信息决策系统都将面临新的挑战,相关产业都要重新调整产业结构,在那时,可以夸张的说,信息就是黄金,信息就是石油。大数据时代的到来会解放更多的劳动生产力,势必将会更加加剧生产力过剩的现状,社会两极分化现象会更加明显,掌握不了信息资源,很难再翻身,要防止信息垄断带来的可怕局面。大数据时代的到来会使人们的生活节奏急速加快,信息的时效性决定了它的流通速率,人们的生活节奏要跟上信息流通的速率,就不得不加快自己的节奏,人们会越来越忙,到那时,就像现在的日本,可能想找个人听你说说话,真的是一件很难的事。
第二,关于数据管理的看法。大数据时代,数据管理是一件很重要的工作,如何才能避免自己的数据被非法窃取、丢失和被盗?我的看法是,人防、技防、物防一体化。人防,即我们要从思想上牢固树立信息安全防范的意识,不主动泄露信息,要管理好自己身边的信息设备;技防,就是要运用软件来管理和处理数据,经常检查更新数据库,定时查杀电脑病毒,确保电脑状况安全;物防,就是重要的数据一定要备份保留,而且应当做到备份与原始文件是物理隔离,无关的信息应当及时删除,减轻硬盘的压力。
三、怎么保护自己的隐私。隐私,顾名思义,就是不愿意让别人看到的东西,所以,在大数据时代,更要管理好自己的隐私,以免对自己和家人造成麻烦和损失。越是隐私的信息,越要远离网络,不要再公开的社交网络储存和展示个人图片、资料等信息,免得被非法人士采用和窃取。建议还是用纸质的日记代替电脑日记,避免信息传播范围太大,管理好自己的日记本。研发一种新的硬件连接器,总是以随机码来保护自己真实IP地址,提高网络安全的可靠性,加强对联网信息的管理和保护。