你真的了解 OLAP 吗？

当提到 OLAP 技术，很多技术人的第一反应：陈旧！落伍！今天我们来讲讲技术圈对 OLAP 认知的四大误区。

误区1:OLAP 不适合大数据分析

传统的OLAP 技术确实存在数量限制，从几GB到几百GB。 此限制由服务器的设计或物理内存大小决定。在大数据处理中，存储在Hadoop平台上的数据通常为TB级甚至PB级。这比传统的OLAP可以处理的数据量要大很多。

Kyligence对传统 OLAP 技术进行了重大革新，将OLAP 模型构建任务基于 Hadoop 上的 Spark 或 MapReduce进行，其中 OLAP 模型本身以列式文件的形式存储在 Hadoop上。Kyligence 数据模型可以增长到PB级，大多数情况下，查询延迟仍然低于1秒。进一步优化可以提高OLAP 模型的构建速度，节省存储空间并提高查询速度。

例如，字节跳动在今日头条新闻服务的运营分析中使用 Apache Kylin 来帮助他们更好地为超过 1.2 亿的日常活跃用户提供服务。根据 Apache Kylin 网站上所述，他们的OLAP Cube （在toutiao.com上）拥有超过2.4万亿的源记录。采用4+ TB存储（以及超过100 TB的源文件），大多数查询可以在不到1秒的时间内完成。相同的查询在Hive中需要耗费几个小时以上。

误区2：构建和管理OLAP 模型很难

现实情况是，大多数熟悉Hadoop技术的数据工程师对 OLAP技术了解不多。另一方面，BI 世界中的大多数数据建模师并不熟悉Hadoop。Kyligence 提供 AI 增强的自动建模能力，可以大大缩短构建数据模型的学习曲线。

AI增强的自动建模将用户的查询作为输入并自动构建数据模型。用户可以导入SQL文件，粘贴SQL语句或从使用系统记录的查询历史。这些查询输入由机器学习算法分析，以识别度量，维度和表之间的关系。智能的引擎会自动修改模型定义以反映业务需求的调整，但通过查询训练一个初始的模型是我们推荐的平台使用出发点。

Kyligence不仅可以帮助用户构建数据模型，还可以帮助用户进行智能化的运维管理。随着时间的推移，Kyligence将分析模型的利用率并提出进一步优化。如果需要创建一个新的数据模型，Kyligence也会告知用户。

误区3：只能在OLAP中查询聚合结果

在一些查询场景下，当业务人员深入查看汇总数据后，还希望查看原始数据。传统的 OLAP， 需要另一个查询工具来查看源数据库，但 Kyligence可提供智能查询路由，用户可以通过Kyligence Enterprise同时查询汇总结果和详细记录。

Kyligence是如何实现的呢？

• 表索引：您可以将表索引视为源数据的本地缓存，与Hadoop文件系统中的OLAP模型存储在一起。

• 查询下压：查询下压是将查询移交给Hive等大数据查询引擎以获取答案的过程。以下是智能路由的逻辑示例：

误区4：仅能绑定特定大数据分析工具

与传统的OLAP不同，Kyligence从一开始就以开放性为基础。Kyligence支持ODBC，JDBC，Rest API 和 MDX 查询。Kyligence 与所有主要的BI厂商合作，以提供最佳用户体验。在 2018 年 10 月，微软为 Kyligence发布了官方 PowerBI 连接器。

而在 2018 年 11 月，Kyligence与 Qlik 合作发布了Qlik 的 Kyligence 数据连接器。对于Tableau用户，Kyligence会自动将模型与Tableau同步，以避免重复工作和人为错误。此外Kyligence客户已在使用帆软、MicroStrategy 、Smartbi、 Cognos、OBIEE、BusinessObjects 等多种 BI 对接 Kyligence 平台实现大数据分析。

如果您最喜爱的 BI工具没有预先构建的Kyligence连接器，您可以通过BI工具使用我们的 ODBC 驱动程序连接 Kyligence，并立即体验提升的查询性能。

在本文中，我们重点讨论了人们对大数据多维分析，OLAP工具普遍存在的4大误区 。Kyligence 不仅为客户提供基于 Hadoop 的 OLAP 分析，也为企业提供统一的数据平台、数据融合架构、传统数据仓库迁移、云上数据湖构建等解决方案。