Kyligence CEO 韩卿 Strata 峰会演讲实录：释放大数据生产力

​2017 年 7 月 15 日，在北京 Strata 峰会上，Kyligence 联合创始人兼 CEO 韩卿（Luke Han）作了题为《释放大数据生产力》的 Keynote 演讲。

随着以 Hadoop 为代表的大数据技术在全球范围内普及，越来越多的数据被收集、存储起来，但无论大数据产业发展如何迅速，最核心的价值仍然是大数据的应用。作为中国首个毕业于 Apache 软件基金会的顶级开源项目，大数据分析引擎 Apache Kylin 将 OLAP 的多维分析技术重新在大数据仓库下进行实践，为全球逾 200 家企业释放大数据生产力，成为中国大数据分析领域的代表与骄傲。下文为韩卿演讲实录。

Kyligence 联合创始人兼 CEO 韩卿

大数据时代，数据分析的门槛在哪？

大数据行业的挑战在于技术层出不穷、飞速迭代。我们每天都在提人工智能与新兴技术，当我们想起以人工智能为核心的第四次工业革命就在眼下，我相信每个人内心都已心潮澎湃。但当我们在回到现实工作中，会发现现实很骨感——还是日复一日地重复着导出数据、提取数据的工作，更有甚者，每天晚上还要加班才能完成数据工作。

不开心的不止你一个，你的业务用户也和你一样很不开心。因为他想要的大数据分析要么达不到标准，要么处理速度太慢，再或者很难获得响应。我们曾碰到业务用户说想看一个业务分析，但一个月以后也拿不到结果的情况，这不是个例，在大数据发展历程中这已经是很常见却又非常严重的问题：如果我们每天的时间都耗在低效甚至无用的数据工作中，大数据怎么可能真正帮助我们提升工作效率？

在大数据的发展与应用过程中，我们很难取得人力、效率、成本和技术间的良好平衡，这是我们今天碰到的最大难题。我们一直讲要实现大数据的民主化，大数据平台要为业务人员、分析师赋能，但如果赋能需要业务人员和分析师学习新的编程语言、Spark、MapReduce，或者 Java 等，我相信这样只会让企业的成本支出更高、效率更低。在大数据这个行业里面，我们的分析师在过去的十几二十年乃至三十年里，已经非常习惯于使用数据仓库的理论去做数据分析，我相信这里很多朋友都了解。那如何让分析师使用这些成熟的理论和习惯的工具在新的大数据平台上进行快速数据分析？

Apache Kylin：为大数据分析赋能

创建 Apache Kylin 之前，我们团队一直在思考一个问题：为什么我们不能在大数据的平台上，将数据仓库的理论和大数据技术重新实践起来？想让我们的业务用户自主做大数据分析、直接处理海量数据，而不需要工程师参与太多，最好的办法是为他们打造一个大数据平台，在这个平台上，他们可以继续使用他们所掌握的技术、技能、经验，而不需要一切从头学起。就像你平时开的是一辆普通的车，明天我给你换辆跑车，这是正确的解决办法，但如果今天你只会骑自行车，明天我想让你开飞机，这不合适，你必须学习理论并且经过长期严格的实践检测后，才有可能真正掌握这门专业技能。

那 Kylin 到底是怎么做的？通过在 Hadoop 上将经典的数据仓库理论实现出来，将 OLAP 多维分析的技术重新在大数据仓库下进行实践，正是 Kylin 这个开源项目所做的。

在这里，我为大家介绍一下 Apache Kylin 这个项目的起源。Kylin 是首个完全由中国人贡献到国际顶级开源社区的开源项目，也是首个来自中国的Apache顶级开源项目，目前已经成为 Hadoop 生态系统中非常重要的一员，是全球第一的 OLAP on Hadoop 解决方案。关于这些，大家可以通过在 Google 上搜索我们的案例了解，同时在邮件列表里也可以看到我们的开发活跃度非常高。Kylin 已经成为中国开源技术的代表，并在过去两年连续获得由国际知名媒体 InfoWorld 编辑独立评选的最佳开源大数据工具奖，去年是与 Google 的 TensorFlow 一起获得的，这也是中国人贡献的开源项目第一次获得该殊荣。

Apache Kylin 在全球获 200+ 用户

自 2015 年从 Apache 毕业到现在，我们的技术已经帮助了全球非常多的用户——有超过 200 家企业在生产环境上使用 Apache Kylin，范围涵盖各个行业，包括全球各种大中小型的互联网公司。除了互联网企业用户，Kylin 技术在传统的企业级市场上也有大量使用，包括像中国建设银行、中信银行这样的传统金融银行，还有移动、电信以及证券领域等传统企业用户。我相信，今天在座的很多朋友也在使用 Kylin。

此外，Kylin 在海外市场也已经被不少世界知名公司所使用，比如美国的 eBay、英国的 Expedia、德国的 Innovex、日本的雅虎日本等等，还有来自澳洲、美国、南美洲的企业用户等。这个完全由中国人创建的开源项目，现在在全球大数据领域已经具有相当的影响力，并在全球范围内影响着大家的生活，关于这一点，坦诚地说我们很自豪。

接下来，我为大家介绍几个 Kylin 的具体应用案例。首先是今日头条，我相信今日头条这个软件现场大部分嘉宾的手机上都有，使用 Kylin 前，它的最大挑战是数据体量太大！在拥有海量大数据的情况下，今日头条的分析师如何才能在最快的时间里完成数据分析并用以指导业务？现在，今日头条用 Kylin 构建了一整套的 OLAP 分析系统，其中最大的应用内拥有超过3万亿条数据，并且所有的数据查询都在1秒以内响应，我相信任何其它技术在同样的成本下都无法做到这一点。

OPPO，全球第四的智能手机制造商，也从去年开始使用 Kylin 并且在今年年初升级为企业版，大大降低了 OPPO 数据仓库实施的难度和周期，完美地诠释了“效率就是生产力”。此外，我们还有雅虎日本的案例，Kylin 的应用使得雅虎日本有能力将精力放在别的工作上，比如增加更多的功能和业务。

Kyligence：持续释放大数据生产力

为了更好地支持企业级用户，我们去年年初成立了 Kyligence，这是一家大数据创业公司，由 Apache Kylin 核心团队组建。我们的核心产品是 Kyligence Analysis Platform（KAP），KAP 在增强 Kylin 的应用之上提供了更多的智能化应用、更多的管理级应用来大大加速和提升企业效率，让我们的业务用户可以更加专注在它的业务本身，而不需要去关心底层的技术细节。

中国是全球最大的大数据市场，也面临着最复杂的业务场景和技术挑战。以前，许多国外的大数据技术比我们先进，但在今天的大数据场景下，随着中国各类大数据难题的不断突破和解决，我们的技术已经达到了世界领先水平。未来，相信中国将在世界范围内进一步引领企业级大数据分析技术的创新与应用！

作为国内开源技术及新创公司的代表，Kyligence 将持续在新技术上投入研发，立足中国市场，积极布局全球，将来自中国的大数据开源技术影响至全球。