Kyligence AI 服务 - 让大模型完成准确、可靠的数值计算和回答! 立即了解更多

Apache Kylin 5.0.0-alpha 正式发布,能力全方位提升!

Author
Kyligence
2023年 5月 17日

Apache Kylin 社区于日前宣布:Apache Kylin 5.0.0-alpha 正式发布!欢迎大家下载使用。

Apache Kylin 是行业领先的开源分布式分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析 (OLAP) 能力,支持对超大规模数据进行亚秒级交互式查询,已被 eBay、腾讯、美团、滴滴、汽车之家、贝壳找房、OLX 集团等全球超过 1500 家企业采用。

1.发布公告

Apache Kylin 5.0.0-alpha 是 Kylin 5 的首次版本发布,此次发布共添加了 89 个新功能和改进,修复了 112 个问题和缺陷等。相较之前的版本,Kylin 5 在核心能力上得到全方位提升,例如:

  • 数据仓库核心能力:支持模型修改,支持可计算列、缓慢变化维度、灵活增删维度度量等特性,以适应更加丰富的使用场景;
  • 模型管理能力:灵活的 Index(过去称为 Cuboid) 管理,可以随时增加或减少索引、调整索引布局;支持聚合索引及明细索引等;
  • 存储引擎:使用标准列式存储格式 Parquet,计算与存储分离,支持 HDFS 和对象存储;结合分区、分桶、多列索引、Bloomfilter 等多种技术提高 IO 效率;
  • 构建引擎:全新的构建引擎和更加精简的构建流程,可大大加速构建过程,更高数据实效、更少资源占用;
  • 查询引擎:重新设计的基于 Spark 的分布式查询引擎,对各种复杂查询有更完备的支持,平均性能提升三倍以上
  • 操作界面:全新设计的易用建模界面,大大简化用户操作,核心信息提示明确;
  • 云原生:借助于全新的存算分离架构,整体运行在容器云平台上变得简单可行。

2.重要更新

本次版本发布是 Kylin 的一个新的里程碑,这次发布包含了大量新特性和大量重构,对元数据、建模、查询、集群管理等功能都进行了重写;若您想了解 Kylin 5 的相关开发背景和更多技术细节,欢迎阅读以下技术文章:

https://kylin.apache.org/5.0/blog/roadmap_of_kylin_50_cn

https://kylin.apache.org/5.0/docs/development/roadmap

以下是 Kylin 5.0.0-alpha 包含的主要特性:

[KYLIN-5216] - Upgrade metadata and engine : Kylin 5.0 

[KYLIN-5397] - Support sum_lc function 

[KYLIN-5387] - Index planner phase 1 for kylin 5 

[KYLIN-5443] - Optimize the ER diagram of the model list page 

[KYLIN-5459] - Partial Log Governance 

[KYLIN-5374] - Provides Spark DDL & DML execution capability in GUI 

[KYLIN-5309] - Propose more flexible runtime join scenarios for Kylin 

[KYLIN-5297] - Add Kylin5 Jdbc module 

[KYLIN-5390] - Build tasks support segment coverage 

[KYLIN-5417] - streaming custom data parser 

[KYLIN-5235] - Add doc for How to write document 

[KYLIN-5236] - Add doc for how to contribute 

[KYLIN-5249] - Add node status notification on web ui 

[KYLIN-5256] - Add a cache for the system property get by the optional config in KylinConfigBase 

[KYLIN-5274] - Improve performance of getSubstitutor 

[KYLIN-5361] - suggest setting email content from hard code to configurable files

3.下载

Kylin 5.0.0-alpha 提供了一个安装包,我们在 Hadoop 3.2.1 + Hive 3.1.2 环境完成验证测试,请从以下链接下载:

https://kylin.apache.org/5.0/docs/download

请参照以下安装指南完成安装部署流程:

https://kylin.apache.org/5.0/docs/deployment/on-premises/installation/platform/install_on_apache_hadoop

4.升级

Kylin 5.0.0-alpha 之前的版本的 Kylin 用户暂时不能直接升级到该版本,社区计划在近期推出元数据升级工具,敬请期待。

5.反馈

如果您遇到疑问或问题,请发送邮件至 Apache Kylin user 或 dev 邮件列表:

user@kylin.apache.org

dev@kylin.apache.org

注意:该邮件列表需要订阅才能使用。如未订阅该邮件列表,请先发送邮件至 user-subscribe@kylin.apache.org 或 dev-subscribe@kylin.apache.org,并回复确认完成订阅。

6.社区贡献者

感谢所有参与 Kylin 5.0.0-alpha 版本设计、开发、测试、讨论的社区贡献者们,以下是相关的贡献者的名单,他们是:

致谢名单

Qian Xia, Jiale He, XiaoxiangYu, Mukvin, huangsheng, Yaguang Jia, Pengfei Zhan, sibingzhang, qianhao.zhou, Shuai li, Yinghao Lin, Guoliang Sun, Jiawei Li, binbin.zheng, ChenLiang.Lu, Dorris Zhang, Mingming Ge, Junqing Cai, Zhixiong Chen, Hang Jia, KmCherry0, Liang.Hua, lixiang, jlf, fanshu.kong, jiawei.li, ChenLiang, Bowen Song, longfei.jiang, zznlime, cli2, Tengting Xu, junqing.cai, Ruixuan Zhang, chenliang.lu, sibing.zhang, songzhxlh-max, zhennzhang, Shaofeng Shi, Wang Hui, Pengfei.Zhan, fanfanAlice, Kun Liu, zhen.song, Yu Gan, ChenliangLu, sunbiaobiao, xingjian, xingjian.zheng, yahoNanJing, biaobiao.sun, yihuawu1986, Zhong Yanghong, He Xu, Xinglong Li, Phoenix Yu, Lex Meng

👇 欢迎大家,点击「链接」立即试用 Kylin 5.0

添加企微

kyligence
关注我们

kyligence