第七届中国数据库技术大会：Apache Kylin 分析平台新特性解析

2016 年 5 月 12 日，第七届中国数据库技术大会（DTCC 2016）在北京国际会议中心拉开帷幕。作为国内数据库与大数据领域最大规模的技术盛宴，本届大会以”数据定义未来”为主题，云集了国内外顶尖专家，在为期三天的会议中，将围绕 MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台、大数据安全、数据治理、大数据和开源、大数据创业、大数据深度学习等领域的前瞻性热点话题与技术展开深入探讨。据悉，本届大会吸引 5000 多名 IT 人士参会，突破往届参会人员人数的记录，创 7 年来历史之最。继第一天精彩的内容分享之后，在第二天的主论坛上，Kyligence 联合创始人兼 CTO 李扬做了主题为《Apache Kylin 大数据分析平台的演进》的分享。

▲ Kyligence 联合创始人兼 CTO 李扬

Apache Kylin（麒麟）是什么?

近二十年内，ROLAP 技术随着 MPP 并行数据库技术的发展，尤其是列存技术的支持下，实现了分析能力大幅度的跨越提升，同时伴随着内存成本的进一步降低，单节点内存扩展性增强，集群单节点的查询性能实现了飞跃，内存数据库的实用性跨上了一个新台阶，这些技术进步共同作用的结果是类似的技术基本覆盖了 TB 级别的数据分析需求。 Hadoop 以及相关大数据技术的出现提供了一个几近无限扩展的数据平台，在相关技术的支持下，各个应用的数据已突破了传统 OLAP 所能支持的容量上界。每天千万、数亿条的数据，提供若干维度的分析模型，大数据 OLAP 最迫切所要解决的问题就是大量实时运算导致的响应时间迟滞。

Apache Kylin 是一个 Hadoop 生态圈下的 MOLAP 系统，是 eBay 大数据部门从 2014 年开始研发并开源的支持 TB 到 PB 级别数据量的分布式 OLAP 分析引擎。其特点包括：可扩展的超快的 OLAP 引擎、提供 ANSI-SQL 接口、交互式查询能力、MOLAP Cube 的概念与 BI 工具可无缝整合。

李杨介绍，Kylin 作为一个全新的开源项目，属于 Hadoop 上的多维分析工具，可以支持非常大的数据集。最早在 2014 年开源至今，已经跻身 Apache 的顶级项目，是唯一一个全部由华人主导的开源项目。“简单来说，ApacheKylin 就是 Hadoop 之上的一个 OLAP 多维分析引擎，提供标准 SQL 接口和秒级别的查询响应。在确定的星形数据模型上，可以代替 Hive 查询，响应速度提升 100 到 1000 倍。相比其他类似技术，Kylin 的特点在于导入数据时进行预处理，构建 Cube，从而在查询时刻大量减少连接和聚合运算，实现高吞吐量和高速响应。”

Apache Kylin 1.5 新特性有哪些?

作为一个开源项目，Kylin 同样面临着技术产品的不断更新演进，通过版本的升级迭代，为用户带来更好的应用体验。李杨介绍，Kylin1.5 作为最新版本产品，新增加了以下几个特性。

首先，新增可扩展架构。据介绍，通过可拓展架构，Kylin 打破了之前绑死在 Hadoop架 构上紧耦合的架构。“可扩展后，Kylin 的灵活性增加很多，不一样的构建算法适合不一样的数据集，用户可以根据自己数据集的特性指定。”李杨表示。

第二，新 CUBE 引擎。李杨介绍，老引擎的问题，是用的非常质朴的 CUBE 构建算法，让用户感觉使用不是很便捷。新 CUBE 引擎采用分层模式，好处在于简单，开放量更少。

第三，新增并行的扫描功能。新版本在数据存储结构方面做了分区调整，从原来的一个物化视图存在一个节点上改为存储到多借点，形成并行扫描模式。“理论状态下，查询速度可以据提升 5 - 10 倍，而真正到生产环境下，在 1W 条左右的数据查询，在新旧版本下进行比较，查询速度提升了 2 倍左右。”

第四，静实时的构建过程。增量的预处理，在 Kylin 里叫增量构建。大的按年，中的按月、周，以此类推。新特性上线后，可以把时间颗粒切的更小。“这样做带来一个副作用，就是会产生非常多的小 cube 碎片，越来越多的时候，会造成查询速度下降等问题。解决方法是把碎片做合并，而不是人为手工触发。好处是该功能的增加可以为数据提供分析支持，不过目前还是测试阶段。”李杨介绍。

第五，用户自定义的聚合类型。以前麒麟有近似的算法，都是社区贡献的。用户通过他可以实现自己领域内的聚合函数的实现，可以拓展到很多领域，从而做很多事情。“该功能上线，给了用户比较多的想象空间，用户感兴趣可以多多尝试。”

最后，支持更多的分析工具，为用户带来更多便利。

▲ Kylin1.5 新增特性一览

李杨表示，Kylin 目前仍是一个开源产品，需要更多的关注，在大会现场，他表示，也欢迎更多的用户来参与使用，提出问题，来帮助 Kylin 改进。