我们对大数据技术的运用也阅历了一个生长历程。从最开端的Google在搜索引擎中开端运用大数据技术，到如今无处不在的种种人工智能使用，陪同着大数据技术的生长，大数据使用也从曲高和寡走到了明天的各处开花。

Google从最开端颁发大数据划时代论文的时分，也许本身也没有想到，本身开启了一个大数据的新时代。明天大数据和人工智能的种种成绩，离不开全球数百万大数据从业者的努力，这其中也包罗你和我。历史也许由天赋开启，但毕竟照旧由人民发明，作为大数据时代的到场者，我们正在发明历史。

大数据使用的搜索引擎时代

作为全球最大的搜索引擎公司，Google也是我们公认的大数据鼻祖，它存储着全世界简直一切可拜候的网页，数目能够凌驾万亿范围，全部存储起来约莫需求数万块磁盘。为了将这些文件存储起来，Google开发了GFS（Google文件零碎），将数千台办事器上的数万块磁盘一致治理起来，然后看成一个文件零碎，一致存储一切这些网页文件。

你能够会觉得，假如只是复杂地将一切网页存储起来，似乎也没什么太了不起的。没错，但是Google失掉这些网页文件是要构建搜索引擎，需求对一切文件中的单词停止词频统计，然后凭据PageRank算法计算网页排名。这两头，Google需求对这数万块磁盘上的文件停止计算处置惩罚，这听上去就很了不起了吧。固然，也正是基于这些需求，Google又开发了MapReduce大数据计算框架。

其真实Google之前，世界上最知名的搜索引擎是Yahoo。但是Google凭仗本身的大数据技术和PageRank算法，使搜索引擎的搜索体验失掉了质的奔腾，人们纷繁弃Yahoo而转投Google。所以当Google颁发了本身的GFS和MapReduce论文后，Yahoo应该是最早存眷这些论文的公司。

Doug Cutting率先凭据Google论文做了Hadoop，于是Yahoo就把Doug Cutting挖了已往，专职开发Hadoop。可是Yahoo和Doug Cutting的蜜月也没有连续多久，Doug Cutting不胜Yahoo的外部妥协，跳槽到专职做Hadoop商业化的公司Cloudera，而Yahoo则投资了Cloudera的竞争敌手Horton Work沈阳网站建设s。

顶尖的公司和顶尖的妙手一样，做事有一种优雅的美感。你可以看Google一路走来，从搜索引擎、Gmail、舆图、Android、无人驾驶，每一步都将人类的技术界限推向更高的高度。而差一点的公司即便也已经取得过显赫的职位，但是一旦得到做事的美感和节拍感，在这个疾速厘革的时代，陨落得比流星还快。

大数据使用的数据堆栈时代

Google的论文刚颁发的时分，吸引的是Yahoo这样的搜索引擎公司和Doug Cutting这样的开源搜索引擎开发者，其他公司还只是吃瓜群众。但是当Facebook推出Hive的时分，嗅觉敏感的科技公司都不淡定了，他们开端认识到，大数据的时代真正开启了。

已经我们在停止数据阐发与统计时，仅仅局限于数据库，在数据库的计算情况中对数据库中的数据表停止统计阐发。而且受数据量和计算才能的限制，我们只能对最重要的数据停止统计和阐发。这里所谓最重要的数据，通常指的都是给老板看的数据和财政相关的数据。

而Hive可以在Hadoop上停止SQL操纵，完成数据统计与阐发。也就是说，我们可以用更昂贵的价钱取得比以往多得多的数据存储与计算才能。我们可以把运转日志、使用收罗数据、数据库数据放到一同停止计算阐发，取得以前无法失掉的数据后果，企业的数据堆栈也随之呈指数级收缩。

不但是老板，公司中每个普通员工好比产物经理、运营人员、工程师，只需无数据拜候权限，都可以提出阐发需求，从大数据堆栈中取得本身想要理解的数据阐发后果。

你看，在数据堆栈时代，只需无数据，简直就必然要停止统计阐发，假如数据范围比力大，我们就会想到要用Hadoop大数据技术，这也是Hadoop在这个时期生长特别快的一个缘由。技术的生长同时又促进了技术使用，这也为接上去大数据使用走进数据发掘时代埋下伏笔。

大数据使用的数据发掘时代

大数据一旦进入更多的企业，我们就会对大数据提出更多希冀，除了数据统计，我们还希望掘客出更少数据的价值，大数据随之进入数据发掘时代。

讲个真实的案例，很早以前商家就经过数据发明，买尿不湿的人通常也会买啤酒，于是精明的商家就把这两样商品放在一同，以促进销售。啤酒和尿不湿的干系，你可以有种种解读，但是假如不是经过数据发掘，能够冲破脑袋也想不出它们之间会有干系。在商业情况中，如何解读这种干系并不重要，重要的是它们之间只需存在关联，就可以停止关联阐发，最终目的是让用户尽能够看到想购置的商品。

除了商品和商品有干系，还可以应用人和人之间的干系保举商品。假如两小我私家购置的商品有许多都是相似甚至相反的，不论这两小我私家天南海北相隔多远，他们必然有某种干系，好比能够有差不多的教育配景、经济支出、兴味喜好。凭据这种干系，可以停止关联保举，让他们看到本身感兴味的商品。

更进一步，大数据还可以将每小我私家身上的差别特性发掘出来，打上种种百般的标签：90后、生活在一线都会、月支出1～2万、宅……这些标签组成了用户画像，而且只需这样的标签足够多，就可以完好描画出一小我私家，甚至比你最亲近的人对你的描绘还要完好、精确。

除了商品销售，数据发掘还可以用于人际干系发掘。你听过“六度分开实际”吗，它以为世界上两个互不看法的人，只需求很少的两头人就能把他们联络起来。这个实际在美国的实验后果是，经过六步就能联络上两个不看法的美国人。也是基于这个实际，Facebook研讨了十几亿用户的数据，试图找到关联两个生疏人之间的数字，答案是惊人的3.57。你可以看到，种种百般的社交软件记载着我们的挚友干系，经过干系图谱发掘，简直可以把世界上一切的人际干系网都描画出来。

古代生活简直离不开互联网，种种百般的使用无时不刻不在搜集数据，这些数据在背景的大数据集群中一刻不绝地在被停止种种阐发与发掘。这些阐发和发掘带给我们的是美妙照旧恐惧，依赖大数据从业人员的努力。但是可以必定，不论最初后果如何，这个进程只会减速不会中止，你我只能投入其中。

大数据使用的机器学习时代

我们很早就发明，数据中蕴藏着纪律，这个纪律是一切数据都遵照的，已往产生的事情遵照这个纪律，未来要产生的事情也遵照这个纪律。一旦找到了这个纪律，对付正在产生的事情，就可以根据这个纪律停止预测。

在已往，我们受数据收罗、存储、计算才能的限制，只能经过抽样的方法获取小部门数据，无法失掉完好的、全局的、细节的纪律。而如今有了大数据，可以把全部的历史数据都搜集起来，统计其纪律，进而预测正在产生的事情。

这就是机器学习。

把历史上人类围棋对弈的棋谱数据都存储起来，针对每一种盘面记载何种落子可以失掉更高的赢面。失掉这个统计纪律当前，就可以应用这个纪律和人下棋，每一步都计算落在那边将失掉更大的赢面，于是我们就失掉了一个会下棋的机器人，这就是前两年惊动一时的AlphaGo，以压倒性优势下赢了人类的顶尖棋手。

再举个和我们生活更近的例子。把人聊天的对话数据都搜集起来，记载每一次对话的上下文，假如上一句是是问明天过得怎样样，那么下一句该如何应对，经过机器学习可以统计出来。未来有人再问明天过得怎样样，就可以自动复兴下一句话，于是我们就失掉一个会聊天的机器人。Siri、天猫精灵、小爱同窗，这样的语音聊天机器人在机器学习时代曾经满大街都是了。

将人类运动发生的数据，经过机器学习失掉统计纪律，进而可以模仿人的行为，使机器体现出人类特有的智能，这就是人工智能AI。

如今我们看待人工智能另有些不睬智的态度，有的人以为人工智能会越来越弱小，未来会统治人类。实践上，略微理解一点人工智能的原理就会发明，这只是大数据计算出来的统计纪律罢了，体现的再智能，也不成能了解这样做的意义，而有意义才是人类智能的源泉。按目后人工智能的生长思绪，永远不成能呈现逾越人类的智能，更不成能统治人类。

写在最初

大数据从搜索引擎到机器学习，生长思绪其实是一脉相承的，就是想发明数据中的纪律并为我们所用。所以许多人把数据称作金矿，大数据使用就是从这座包含知识宝藏的金矿中掘客中有商业价值的真金白银出来。

数据中蕴藏着价值曾经是众所周知的事情了，那么如何从这些庞大的数据中掘客出我们想要的知识价值，这正是大数据技术目前正在处理的事情，包罗大数据存储与计算，也包罗大数据阐发、发掘、机器学习等使用。

美国的西部淘金运动带来了美国的大拓荒时代，来自全世界各地的人涌向美国西部，将人口、资源、消费力带到了荒蛮的西部沈阳SEO地带，一条条铁路也将美国的工具海岸衔接起来，整个美国也随之昌盛起来。大数据这座越发庞大的金矿目前也正发扬着异样的作用，全世界有数的政府、企业、小我私家正在存眷着这座金矿，有数的资源正在向这里涌来。

我们未曾生活在美国西部淘金的昌盛时代，错过了阿谁庆幸与梦想、自在与热情的小我私家英雄主义时代。但是如今，一个更具划时代意义的大数据淘金时代正在到来，而你我正身处其中。