大数据实验室之大数据的本质是什么？

大数据的本质是什么？归根结底，大数据是因为硬盘逐渐变得便宜了，很多在过去不得不删除的日志、记录等等数据能够长时间保存下来了，大数据实验室里，数据分析师们常常觉得“咦，为什么不用这些历史数据构建一个数学模型来模拟近期某种走势或者预测未来的某种趋势呢？”。我们先来看看有一种观点认为：大数据分析=机器学习+统计学（其实这二者本来就有交集）。

大数据概述

大数据放在现在来讲，已经有不少比较成熟的理论、方法以及工具，已经不是一个空泛的口号了为什么还让人觉得空泛？究其原因我认为虽然大数据已经有了不少的应用，但是，大部分在宣传“大数据”的企业/公司，却拿不出能让人眼前一亮的实践示例（但原因不一定是人家没有）。这就导致了我们都知道大数据火，因为人人都在谈它的概念、它的好处、它的未来，但是除非你真的身处这个领域，不然你较少能看到真正能让你觉得“哦，这是大数据”的例子

在统计学里，样本的空间越大，对总体的体现就越准确。这就是大数据的“大”和小数据的区别。也就是说，数据量越大，在相对正确的数学模型之下，其结果就越接近真值至于分析方法上，一方面，某些适用于小数据的分析方法，在数据量增大之后会出现失真的情况；另一方面，假如数据量已经大到不能用一台计算机来完成了，自然需要采用特别的大数据分析方法和工具了（如hadoop）

常见的大数据公司类型：

（1）基于数据本身的公司。

这些公司拥有大量的数据或者至少拥有可以收集大量数据的能力，却不一定有从数据中提取价值或者用数据催生创新思想的技能。自己好的例子就是Twitter，它拥有海量的数据这是毫无疑问的，但是它的数据都是通过两个独立的公司授权给别人使用。

（2）基于思维的公司。

Jetpac的联合创始人皮特·华登就是通过想法获得价值的一个例子。Jetpac通过用户分享到网上的旅行照片来为人们推荐下次旅行的目的地。对于某些公司来说，数据和技能并不是成功的关键。让这些公司脱颖而出的是其创始人和员工的创新思维，他们有怎么挖掘数据的新价值的独特想法。

（3）基于技能的公司。

它们通常是资讯公司，技术供应商或者分析类公司。它们掌握了专业技能但并不是一定又有数据或者提出数据创新性用途的才能。比如说，沃尔玛和Pop-Tarts这两个零售商就是借助天睿公司（Teradata）的分析来获得营销方案，而这里说的天睿就是大数据分析公司。

考虑到我们现在处于一个数据过量而技能稀缺的时代，所以风靡一时的大数据时代也主要是关注前面两种类型的公司。我一直觉得资讯的价值就是资讯本身而不是资讯的来源，所以我同样觉得数据的数量不是Z关键的，大数据Z值钱的部分就是它自身。即便我们大数据实验室处理数据量不是很大，这并不妨碍我们去更多的去关注数据本身的价值！

总结

综上所述，大数据从本质上说，是人类认识世界的方式进一步发展，以数据量化的方式，发现事物发展变化的规律和趋势，进而通过有效干预，推动事物向人们预计的方向发展。从物质基础上分析，大数据是人类社会进入信息化、网络化时代，发展到一定阶段的产物，是科技推到社会发展的又一社会现象，其社会效益，经济效益将不断显现。具体到个人，就是把握机会，顺势而为，实现梦想。