Hadoop Summit 2016 欧洲峰会开幕 Keynote 回顾

2016 年 4 月 13 日，都柏林的 Liffey 河畔，Hadoop Summit 2016 在 Convention 会展中心盛大开幕。以下是 Kyligence CTO 李扬在现场为我们带来的开幕 Keynote 回顾。

在可容纳 2000 人的 Auditorium 大厅，爱尔兰风十足的打击乐和踢踏舞过后，Hortonworks 总裁 Herb Cunitz 首先亮相。开场白很简单，除了强调与会人数和讲演场次的再攀新高，着重说明了为什么要在都柏林举办大会–因为大家最爱的 Guinness 黑啤酒的产地就在都柏林！

第一个 Keynote 来自 Hortonworks CEO RobBearden，他的主题是“数据正在改变商业世界”。Hadoop 技术走过了十年，大数据不再是象牙塔和实验室里的玩具，它已经能切实地创造商业价值，深切地改变商业世界。零售商通过大数据技术做精准市场预测，洞察物流效率，每年可以节省  7000  万美元系统开支，营收增长 8%，利润增长 3%。保险公司通过实时分析司机的驾驶模式，动态计算行驶风险并奖励安全驾驶，带来每年 26 亿美金的保险金增长，减少 4% 的理赔损失。

之后 Hortonworks 联合创始人 Arun Murthy 登台，从技术角度展望 Hadoop 平台。HDFS 和 YARN 作为大数据的操作系统已经非常成熟，将来是中间件和上层应用百花齐放的年代。Apache Nifi 是集群系统之间的胶水，能实时和可视化地操控数据的流转和对接。Apache Range 和 Apache Atlas 一并可以实现基于标签的全局访问策略。最后 YARN.NEXT 技术可以根据应用的组装描述文件自动适配资源，部署集群应用，并自动伸缩，重新定义了 Hadoop 应用这一概念。原本的组件如 Zookeeper，Solr，Search UI 都弱化为应用的一个部分，不再是 YARN.NEXT  的一等公民。

此外 EMC 和微软也都做 Keynote，展示各自公司的大数据解决方案。其中微软提出的 Tiered HDFS 可以根据数据的特性（比如活跃度）透明地在多种性价比不同存储介质之间移动数据，同时保证就近计算的原则。最后 Emer Coleman 女士关于 Technoethics（技术伦理学）的演讲将 Keynote 环节提升到了一个新的高度。大数据和人工智能技术一旦被滥用，将对整个人类社会造成及其可怕的后果，这不是科幻小说里的妄想，而很可能正在我们身边发生。我们应当立即行动，为技术伦理制定规范。

作者介绍：李扬，Kyligence 联合创始人兼 CTO，Apache Kylin 联合创建者及项目管理委员会成员 (PMC), 主创团队架构师和技术负责人，专注于大数据分析，并行计算，数据索引，关系数学，近似算法，压缩算法等前沿技术。曾任 eBay 全球分析基础架构部大数据资深架构师、IBM InfoSphere BigInsights 的技术负责人，负责 Hadoop 开源产品架构，“杰出技术贡献奖”的获奖者、摩根士丹利副总裁，负责全球监管报表基础架构。