【专访】数据量爆棚难以负荷，Kyligence利用人工智能打造新一代数据分析平台

本文作者窦悦怡，系i黑马旗下数字观察主编，文章首发于其官微“数字观察”上。

成立Kyligence之前，韩卿曾任eBay全球分析基础架构部大数据产品负责人、Actuate中国首席顾问等职。

同时，他也是首个来自国内的Apache软件基金会开源项目VP，首个来自中国的Apache开源项目，Apache Kylin的创建者及项目委员会主席(PMC Chair)，负责Kylin的战略规划、发展路线图及产品设计等，并致力于发展 Apache Kylin 全球社区，构建生态系统及推广等。

凭借着在大数据、数据仓库、商业智能、数据分析等领域拥有丰富的经验，韩卿发现Kylin项目在商业领域的需求非常大，有着很多外部需求，这些需求远远超过他们当时团队的工作职责。

另一方面，成功的开源项目背后都有一个好的创业公司，只有这样才可以更健康地发展社区，更好地促进生态建设，让更多客户去使用开源项目。

“我们希望在整个大数据行业里面，有一家专门做底层技术的创业公司能够在行业内做些突破，做点不一样的事情。这些是我们创立Kyligence的初衷。”

于是韩卿带领Kylin核心团队，于2016年3月在上海成立了Kyligence公司。

Kyligence是一家专注大数据分析的创新型公司，可以为企业提供基于Apache Kylin的下一代企业级数据仓库及商务智能大数据分析平台和解决方案。

数据量爆棚的时代，传统数据仓库需要变革 

韩卿告诉i黑马＆数字观察，1990年前后，数据仓库技术理论被提出，这个理论认为应该把企业各个分散的业务数据整合起来，构建一个统一的数据仓库，为企业分析和应用分析提供一个统一的平台，企业能够在这个平台上构建整个分析应用。

目前，这项技术已经变成了绝大部分行业客户的基础技术，像金融、运营商、零售等行业的业务分析都已经构建在这样的基础技术之上了。以金融行业为例，银行要进行各种各样的分析，尤其是风控分析，都需要建立在对不同业务模块数据的统一分析之上。

不过，2006年后开始，云计算的蓬勃发展，各个领域的企业都纷纷开始上云，由此很多的数据不断地大量涌现，这时候企业如果在云上建一个分析仓库，就要面临各种挑战。

首先，数据体量变得越来越大，呈现越来越多样性和复杂性的特质。但传统的数据仓库与应用系统是分开的，用户做分析做工程时，基本上是从每块业务数据那里直接把数据拿过来进行分析就行了。这样操作的问题在于，要把这么多不同的业务数据整合到一起是一个巨大的挑战。

其次，存储的成本和性能上，原有的数据仓库技术已经不能满足企业快速增长的业务需求。“传统的建模方式，是需要通过漫长的数据转换过程，把转换后的数据放到数据仓库里，最后基于这样的仓库，企业还要建非常多的分析模型、报表、预测，通常这样的项目要耗费大量人力，花费好几个月的时间，甚至是用年来计算的。”

第三，虽然业界推出了依靠更加专业的数据科学家来解决问题的解决方案，但本质上还是在依赖大量的人工进行工作，如果没有革新性的变化的话，人力是不会被解放出来的，那这个行业也不会发生根本性的改变。

“未来的数据分析也应该是融合的，不需要关心这个数据的来源，而将更多的精力放在关注数据所带来的业务决策上，这就是Kyligence正在不断优化和创新的融合、智能数据仓库。”

15倍性能提升的同时节省50%空间

Kyligence做的事情是基于Apache Kylin，为企业客户提供下一代企业级数据仓库及商务智能大数据分析平台和解决方案，从私有部署到云计算平台，都能使用户在超大规模数据集上获得极速的洞察能力，以释放数据价值，驱动业务增长。

打造企业级大数据分析平台

i黑马＆数字观察了解到，Kyligence的核心产品是基于Apache Kylin的企业级智能大数据分析产品Kyligence Enterprise。这是一个基于Hadoop的企业级智能大数据分析平台，可以为业务分析师、数据科学家和 IT 工程师提供融合的、智能的分析平台。

简单来说，Kyligence Enterprise采用融合架构，智能地将查询路由至最适合的查询引擎，同时满足性能敏感的关键业务查询和自由灵活的探索式分析，为企业用户提供统一的大数据查询入口。

Kyligence Enterprise 架构

其次，平台基于Hadoop架构，通过横向扩展将数据处理能力提升至PB 级；通过预计算技术生成聚合结果，再结合先进的索引技术，相比其他解决方案，将查询性能提升数十至数百倍。

第三，平台引入了大量的机器学习技术，其专利的自动化建模技术可基于分析师的查询行为和历史，智能化地推荐数据模型，自动化地调优性能，加速关键业务分析场景。

在保持PB级数据集上亚秒级查询响应速度的同时，平台可以支持无需编程的智能化自助式建模，并与主流BI工具实现无缝集成。

同时，在开源Apache Kylin核心功能之外，对企业用户所关注的实施效率、安全控制、性能优化、自助式敏捷BI、系统监控和管理等方面进行了全面创新和增强。

“2018年7月发布的最新版Kyligence Enterprise，相比较以往的版本更是实现了查询提速15倍的同时节省50%存储空间，而对比市场上的同类查询产品，根据数据仓库典型查询场景测试中查询的完成度与查询的性能比较来看，都具有显著优势。”

Kyligece Enterprise 核心优势

这样一来，平台在数据量、性能、并发等方面进行了巨大突破，为企业级用户提供快速搭建基于大数据的数据仓库及商务智能分析平台的能力，提升大数据效率。

而且，平台支持多种部署模式，以适应不同的用户场景，用户可以根据具体需求选择本地部署、云端部署或是混合部署模式来适应企业 IT 架构，进一步使得其分析师能够快速的访问和分析海量数据，响应业务变化。

延伸云端解决方案，助力企业平滑上云

目前，企业上云，意味着大量的交易记录、日志、文件等数据将直接在云端产生并存储。如何融合云计算与大数据分析，充分发挥云计算和大数据双重引擎带来的优势，迅速发现海量数据中的业务价值并驱动商业决策，成为企业在新时代下决胜的关键。

同时，大数据在各行各业中取得了迅猛发展，涌现出了如Hadoop、Spark、Kylin等大量创新性技术。这些技术被大量企业广泛应用于存储和处理海量数据，分析和挖掘其中的价值，促进业务的发展。而这些创新技术无一例外地基于分布式计算架构，具备超高的可扩展性，将数据处理能力扩展至几百TB甚至PB级。

不仅如此，云计算所具备的无限扩展和按需的特性，为大数据应用提供源源不断的计算和存储资源，从而使大数据成为一个完美的云计算应用。

因此，大数据分析上云成为了企业IT云战略实施的重中之重，但云端环境的复杂性，如虚拟化、计算与存储分离等特性，也让企业大数据分析上云面临着诸多挑战。

Kyligence从成立之初即在云端进行相应布局，2017年底推出了KyligenceCloud产品。Kyligence Cloud是Kyligence公司基于云端的大数据服务，为客户将大数据分析平滑上云提供解决方案，目前已支持全球超过6个云平台。

Kyligence Cloud主要聚焦在关注业务急速扩张的中大型企业。这类企业的特点在于绝大多数资源都投注在了业务上，对于大数据分析平台的建设力度往往不足。

Kyligence Cloud 架构

据悉，Kyligence Cloud以Kyligence Enterprise为核心，充分发挥其高性能、高并发优势，同时利用云计算带来的低成本、高扩展、易运维等特点，大大提高企业大数据分析上云的效率，并有效降低成本。

使用Kyligence Cloud，客户可以在云端快速构建可无限扩展的大数据集群，实现对PB级数据的交互式OLAP分析和关键业务查询的亚秒级响应，助力业务分析师和数据科学家快速发现数据内在价值，驱动商业决策。

同时，Kyligence与微软Azure、亚马逊AWS、Google Cloud、阿里云、华为云等云厂商深度合作，这样用户可以在公有云上快速建立大数据分析集群，接入各种云端数据源并进行建模分析，实现对PB级数据的交互式分析与关键业务查询的亚秒级响应。

Kyligence Cloud通过与云基础设施的无缝整合，为用户提供了端到端的解决方案。其核心的亚秒级查询分析能力，大大加速了从数据到价值的发现进程，可更快地支持客户将本地应用向云端进行迁移，在现有的数据层之上提供SQL加速层，提供高性能及高并发的云端数据分析服务能力。

Kyligence Cloud通过与各大云厂商的基础服务进行深度整合，帮助客户在数据湖上快速构建 PB 级数据多维分析（OLAP）的能力，为数据分析师和业务用户提供交互式的大数据分析与查询服务，助力企业实现海量数据集上的亚秒级查询响应。

聚焦行业头部客户，提供标准化产品

目前，Kyligence已经为金融，电信，零售，智能制造，能源等行业的企业提供下一代企业级智能数据仓库及融合大数据分析平台解决方案。招商银行、上汽集团、太平洋保险、中国银联、OPPO、华为、中国移动等大型企业，都在使用其产品。

韩卿表示，Kyligence在选择行业的时候，会思考这几方面问题。第一，这个行业是否足够成熟，是否依赖于用数据驱动器业务发展。

“银行就是符合这个标准，比如你申请一个信用卡或者一批贷款，如果没有数据支撑，银行是无法分析出贷款风险的。”

以某大型银行为例，在大数据平台建设之前，该银行的数据大多存放在Greenplum、DB2等传统关系型数据库中，业务人员需要分析数据或提出新的报表需求时，通常都是由 IT 人员拿到需求之后现场开发，再将整理好的数据发送给业务部门。

由于数据存储分散、再加上数据量越来越大，以及业务数据需求的临时性和不确定性，这种方式的工作效率越来越低，业务获取数据的周期越来越长，IT人员的工作量也越来越重。

在建设大数据平台后，该银行把其业务系统中产生的各种数据，通过集中处理之后统一存入到 Hadoop平台，通过Kyligence Enterprise依据不同的业务创建不同主题的数据集市和立方体，将业模型发开放给业务分析人员。

然后，Kyligence Enterprise通过数据集市，将生硬的、技术化的表和字段等转换为业务人员能够理解的业务指标和分析维度，使得业务分析人员能够轻松通过各种前端BI工具如Tableau等对相关数据集市进行自助分析。

最后，依赖于Kyligence Enterprise在超大规模数据集上的高速SQL查询能力，业务人员可以快速生成分析结果，进一步优化分析思路和业务决策。

该银行客户通过Kyligence Enterprise平台，生成的数据集市模型提供自主分析能力，精简了数据获取的流程，降低了数据分析的技术门槛，一套模型可以实现主题内的多个维度分析，极大方便了业务用户的自助服务，数据分析高度自由化，同时大大减轻IT的负担。

第二，客户意识。是否需要数字化转型，这是企业的意识问题，如果企业到了一定的规模，希望通过数据来驱动业务转型升级，这类型客户的契合度、体量都是很好的。

“以某全球连锁快餐的市场部门为例，他们在数字营销的过程中，确实遇到了一些问题，比如数据口径不一致、分析周期太长、不能进行探索式地进行数据分析等，在激烈的竞争中大大制约了市场部门的业务决策能力。

我们帮助他们在现有的数据平台上，搭建了统一的大数据分析平台，赋能市场部门的运营人员进行自助分析，极大地降低了分析的门槛。该系统为市场决策提供了更好更快的分析能力，受到了客户高层的一致好评和赞赏，最后他们还为我们写了一封感谢信。”

很多中大型企业需求充满个性化、复杂化，服务商为了满足他们的需求，经常会提供定制化的产品，久而久之变成了项目制，对服务自己来说，提高了成本，降低了效率，那么Kyligence如何解决这样的问题？

韩卿解释道，Kyligence签了很多中大型企业客户，都是行业的头部客户，但都没有为他们提供定制化的产品，目前为止，Kyligence只提供一个标准化的产品，这在中国的软件公司中非常罕见。韩卿认为，数据仓库是一个标准化的领域，只有提供标准化的产品，企业才能更聚焦于将产品和技术做好、做深、做扎实，在国际化的竞争中立于不败之地。

同时，通过API接口及与上下游厂商的合作，打造完善的生态系统，来一起满足客户的各种需求。这也为Kyligence打开国际市场奠定了基础，目前Kyligence已经收获了来自美国的付费客户，这也充分证明了标准化产品战略的价值。