作者：廖宇

      大数据首先出现在互联网、通信和金融行业，其上升到国家层面和在国际上推广来自于美国白宫2012年3月发布的《大数据的研究和发展计划》，提出要投入2亿美元联合六个政府部门来推动大数据发展。但是在这份仅有4页纸的纲要里面却找不到一个明确的定义，唯一可以拿来背书的是一些模糊的描述：大且复杂的数据，管理、分析、可视化、提炼数据的一揽子平台。

       与以往的诸多新概念一样，被人们吹捧的热度词往往都具备这样的特点：名称至简，含义至深。

       要解释什么是大数据，先要定义清楚什么是数据。数据即DATA，这个词来源于拉丁文，被称作“已知的事”，其准确科学的定义翻看不同版本的辞典可有上百种不同的解释。但最简单直观的理解，数据就是信息的片断，可以理解为孩子们玩的拼图游戏里面的每一个小拼片。人们研究各种数据，建立数据库完成各种计算，就是为了完成这样一个拼图，找到最后要集体传递的那个信息——是巴黎的埃菲尔铁塔，还是一只大熊猫。

      迄今为止，我们可以对这样的数字世界定义为数据1.0。解读这样的数据，靠的是记忆力和计算力，更大更快更聪明。谁拥有最强的“大脑”，谁就会占有先机。

      那么大数据是不是就是一幅很大很大的拼图，或者是很多很多个拼图游戏呢？目前看来到处宣扬海量数据的人们似乎就是这样理解的。但，这是对大数据的严重低估。

      我们可以想象一下：如果整幅拼图当中的每个小拼片都顶着一个显示芯片，上面会不断变化着显示不同的碎片图像，理论上讲如果可以成功拼出全图，人们就可以不断地看到成千上万不同的图像——但问题是，当每个小拼片都在不断闪烁的时候，我们何以依赖直观的观察去把一堆动态碎片撮合起来完成这个变化万千的拼图？

       结果可以想象，但实现途径几乎为零。为了探知全部结果而努力的梦想实践，我们可以称之为大数据工程：这远远不止很多很多的数据，而是全景数据。科学的表述，就是业界人士津津乐道的4V：Volume(量大)、Velocity(快速)、 Variety(多样)、Value(价值)。有人干脆也说：多到人类根本无法处理的数据，就算大数据。

      在这个阶段，人们最关注的是如何得出数据的相关性而不是因果分析——比如有人用facebook上出现的代表人们心情的关键词频率来预测股市。沿用拼图的例子，每幅静态的拼图都是丝丝入扣息息相关的，但动态的拼图之间的相关性如何验证？

       一定有，但不确定，不过值得做——这样的时代，我们可以称作数据2.0。

      在大数据之上，智慧数据（Smart Data）的概念呼之欲出。基于大数据分析的结果可以用作预测和推衍，甚至可以影响改变需求的那些数据，我们可以称之为“会说话的数据”。总有一天人类会对自己的资源配置精确到令人发指的地步：每个路口，每栋建筑，每个城市，有多少人吃饭，就有多少菜下锅。

      这样的时代，我们暂且称作数据3.0，不过不知道是该期盼还是恐惧。但是仔细一点的人们都会发现，无论是智能电网还是智慧交通，其骨子里的逻辑与此一脉相承：适应、影响、改变人类需求。

大数据的作用

      由此可见，耗费巨大、实施艰难的大数据工程，最应该投入使用的，首先应该是与人们生活最紧密相关的重要领域：军事、能源、交通、医疗、金融、保险、环保和政府公共决策。

      以能源领域的电力行业为例，由于电网的实时动态性和电力的不可储存性，电网的整个发输配售的链式结构特征使得大数据在电力生产中早已有了其数据基石：电厂和电网每分钟提供的各节点电压、电流、有功无功等数据堪称海量，而电网最核心的调度自动化系统里面最重要的功能模块潮流计算，也是数据分析和算法研究领域的必争之地。

      大数据对于电力系统的生态圈而言，虽不陌生但可提升的空间甚大，至少可在以下五个领域，结合最新的数据测量采集和分析处理技术产生巨大价值：

系统安全稳定。电力生产最重要的就是安全无故障供电，电力部门最紧张最紧绷的日子就是重大活动下的保电工作，如何判断哪里是系统最薄弱环节，需重点巡查或更换设备？在目前条件下，故障发生之前往往还是根据专业人员的经验加数据敏感度进行预测判断；故障发生之后，也需依赖调度人员经验判断故障类型决定是否重合或更改运行方式。在大数据背景和N-1原则的支撑下，结合新型的测量保护技术如PMU（同步相量测量装置）、WAMS（ 广域测量系统），即使无法完全避免突发故障，但可大大阻止故障演变断电及大大缩短停电时间。而假以时日，越来越多的如逆变器、移相变压器等电力电子设备可支撑全网直联调控，将对系统的上下行数据模式产生质的影响。

新能源并网。风力和光伏发电因为其不稳定性会对电网运行产生影响，而且其无法提供无功功率和足额短路电流的特性对整个电网的传统运行模式带来前所未知的挑战。在新能源达到一定比例后，温度、风力、光照、气压等环境数据对电网的影响深不可测，甚至于抽水蓄能电站的水位、天然气的价格都与电网的调峰调频息息相关，专家也很难从过往经验做出准确判断，因此依赖大数据的电网全维仿真和模拟才能解决新能源并网的规划和调度问题。更重要的是，因为地区性气候差异和地理分布特点，不同区域的新能源补贴政策也可依照大数据分析结果做动态调整。

配网自动化。与自动化程度已经较高的输电网相比，配电网内数据结点数量级更大、动态变化程度更高，而一旦全国安装的超亿支智能电表开始以每分钟1次的频率发回数据，1分钟内产生的数据总量就可超过40PB——这就是4000万GB，相当于阿里巴巴全部的数据存量。如果再加上以后家家户户可以联网的负荷电器如冰箱、洗衣机、空调和冰箱甚至电灯泡，大数据系统小则可以颠覆以往的负荷预测软件以季节日期属性分类的历史数据研究办法，大则结合智能工业生产及智能家居系统主动拟合发电形态和电网运营最佳方式，是为传说中的主动配电网（Active Distribution Network）及需求侧管理（Demand Side Management）。

电动车响应。喧嚣一时的特斯拉电动车要告诉人们的是，电动车绝非仅仅是把燃料类型改变，更深远的将是改变人类的生活方式。电动车必须经常充电，充电必然消耗时间并影响电网负荷，充好电的车还可作为储能装置备用，这些特性结合大量的车辆状态信息，如汽车的电池电量、位置、一天中的时间以及充电站的空闲位和价格等，再与电网的电力供应与历史负荷特性结合，兼顾等待充电时间的消费、购物或停车需求，将形成拥有巨大冲击力的实时数据流，能够确定司机为汽车电池充电的最佳时间和地点，并为整个城市配备充电站的最佳设置点及光伏风机的配备。最后，不同天气、节日、行为习惯都将对整个模型构成约束，而从中脱颖而出的其实就是智慧城市的雏形。

资产设备管理。德国自2010年起由大企业联盟主推的工业4.0计划中，非常重要的一环就是资产管理系统（Asset Management），即依赖强大数据库支持下的设备状态表来确定生产流程和目标，最大限度地提高设备利用率和能源消耗量，同时把采购管理、维修计划、库存物流甚至人力资源调度都集成在一个数据充分通讯的系统里。对于像电网公司、石油化工这样的重工业企业来讲，贯穿始终的大数据将帮助企业实现提高生产率和降低生产成本，更重要的是，数据本身也将成为企业们资产的一部分。

大数据路线图

      通过前面的分析可以看出，大数据的生命流程（Lifecycle）非常清晰：数据采集→算法分析→结果呈现。那么这三个环节中的哪一个将会成为大数据行业实施中的最难点呢？

      3月初在柏林由德国华人新能源协会举办的“大数据与能源互联网”专题研讨会上，与会的各领域人士对此产生了泾渭分明的分歧：几乎所有IT出身的数据分析专家都认为算法和程序实现是最难的，而电力及能源专业人士却认为数据源采集与优劣汰析才是实际操作难点，而企业的高层管理人员却一直把关注焦点保持在大数据分析结果尤其是可视化展现方面。

      大数据的难点到底在哪里？让我们来看最后一个例子。维克托•迈尔•舍恩伯格在《大数据时代》一书中提到一个很有意思的故事：为纽约提供电力供应的爱迪生电力公司，针对每年多起电缆沙井盖爆炸造成严重事故，采取“大数据”手段统计出106种预警先兆，预测来年可能出事的沙井盖并严加监控。结果位列前十分之一的高危井盖中，预测准确率达44%，由此节省很多经费。

      问题的关键在于，是谁告诉人们有106种预警先兆而不是601种？是人，是有经验的老师傅告诉统计专家一共有哪些因素可能导致井盖爆炸；也是人，是有经验的数据专家从中挑选出最可能形成置信区间的先兆分类。正如人们对大数据里一个重要的分支可视化数据的分析一样：画图是否漂亮精致那是工匠，但知道该用饼图还是柱图表现哪些数据才是工程师。

       由此可见，大数据真正的难点在于，由谁去确定什么样的数据该去采集？用什么样的算法适合哪种类型的企业？又是什么样的表格和图形能让什么样的人群理解数据结论并作出决策？再往更高的层面推测，谁来决定先集中资源在哪些行业推行大数据战略，谁来推动完成哪些功能模块的实现，这些都将影响到大数据的成败得失。