博客 > 技术博客

Apache Kylin | 七月社区回顾

Apache Kylin

2020年 8月 06日

Kylin 用户大家好呀 🙂

2020 年一晃过去一半，转眼到了 8 月！我们想在「七月社区回顾」和大家更新一下刚刚过去的 7 月 Kylin 的开发进度和社区活动。

产品动态

Apache Kylin v3.1 版本发布后续

Apache Kylin PMC 在 2020 年 7 月 3 日宣布了 Apache Kylin v3.1.0 的发布！

更多详情参考：
Apache Kylin v 3.1.0 正式发布！

在之后的几周，我们陆续收到了社区用户的使用反馈和咨询，其中部分是关于新特性的一些疑问，例如 Hive Global Dictionary，更多详情参考：
Apache Kylin v3.1.0 重点功能推介

此外也有一些 bug 被陆续发现，我们会在下一个小版本进行陆续修复。

Apache Kylin 4.0 开发进展

7 月的大部分时间中，Apache Kylin 开发小组进行了 Apache Kylin 4.0 的开发工作, 我们通过 JIRA 来追踪开发进度。

主要进展包含以下:

1. 对于新版本的想法

大家或许已经了解到 Parquet Storage 的开发工作已经进行了一段时间，目前开发进度已经接近初步完成，Parquet Storage 计划于 Apache Kylin 4.0 发布，但目前仍有一些问题需要解决，开发工作仍然在 kylin-on-parquet-v2 分支上进行。

我们也在社区中收集了大家对 Apache Kylin 4.0 的意见并发起讨论组（欢迎大家继续在邮件组讨论～）：https://lists.apache.org/thread.html/rfe09c3d2813ee2758e15ba70b168d334a8b680b4c066d7c2e9dbef63%40%3Cdev.kylin.apache.org%3E

关于是否需要保持对 HBase 存储引擎的兼容，以及何时将代码向主分支迁移等问题，经过社区讨论，我们初步计划在 Apache Kylin 4.0 去除 HBase 存储引擎。

2. 代码清理

Parquet Storage 的开发工作已经基本完成，由于重写了 Kylin 核心的查询和构建引擎，有一些旧引擎特有的特性不再支持，如果留下这些"死掉的"代码，将非常不利于代码的可读性, 我们正在逐步清理中, 目前已经完成清理工作的第一阶段。

3. 梳理新增配置项，测试 & 验证发生改变的文档

新的存储引擎和查询引擎引入了很多新的参数，并且改变了需要原有功能的使用方式，这部分需要补充新的使用文档和技术文章，目前在进行中的文档梳理包括：

新的全局字典
新的读写分离
新的构建引擎
新的查询引擎

4. 梳理测试 & 验证 Kylin 的核心功能

在目前的开发分支上，有一些已有的功能需要分阶段开发来逐步支持，例如 JDBC 数据源/Cube Planner，我们也在持续梳理和制定开发计划。详情可参考以下链接：

https://cwiki.apache.org/confluence/display/KYLIN/Kylin+4.X+Feature+List
https://cwiki.apache.org/confluence/display/KYLIN/FAQ+Kylin+4.X

5. 对接社区版本的 Spark

由于目前 Parquet Storage 依赖一个 fork 版本的 Spark，通过用户反馈，我们了解到部分用户希望支持官方的 Spark 版本，以满足其可以持续升级 Spark 和自定义开发 Spark 的需求，这个目前在进行中。

下步计划

8 月，Apache Kylin 开发小组的工作将主要集中在 Parquet Storage 的文档更新和撰写，以及测试验证工作。

另外，Apache Kylin v3.1.x 的 bugfix 版本计划于 9 月份发布。

社区动态

1. 718 Kylin Meetup 回顾
7 月 18 日，我们请到了 eBay 和爱奇艺的讲师在 Apache Kylin 直播间与大家分享了「Kylin on Kubernetes 在 eBay 的实践」和「Apache Kylin 在爱奇艺的实践」，感谢大家的热情参与和互动，两场演讲的回顾文章将于近期在公众号发出，敬请期待～

另外，没能参加 Meetup 的小伙伴也可使用此链接下载两场演讲的 PPT。

2. 精选博客