博客 > 技术博客

KAP 助力微软 Power BI 实现海量数据交互式分析

何京珂

2017年 11月 09日

作者：何京珂

编辑：Sammi

Power BI 是微软推出的行业领先的 BI 可视化工具，其拥有本地及云端多样的解决方案，与微软产品无缝整合，快速部署等特点令其在本地及云端都拥有广泛的应用。Power BI 支持多样的数据源，包括关系型数据库 SQL Server，Azure 云上的 Blob 存储以及 HDInsight Hive 等。然而随着企业信息化进程的加深，数据收集门槛的下降，越来越多的企业都面临着超大数据交互式分析的挑战。在海量数据规模下以上数据源在连接 Power BI 进行数据分析时经常出现查询响应慢，界面卡顿，数据装载时间长，高并发情况下查询性能急剧下降等问题，性能瓶颈的问题愈发严重。

Kyligence Analytics Platform (简称 KAP) 是运行在大数据架构上的企业级分布式数据引擎，支持PB级别数据的秒级快速查询响应。KAP 支持本地及 Azure 云上部署，支持从 Hive 和 Kafka 读取源数据，并使用 MapReduce 或Spark框架对数据进行预计算，然后将预计算的结果（即 Cube）存储在 HBase 或 KyStorage 中（KyStorage 是一种专门针对 KAP 优化的列式存储引擎）。查询语句直接运行在预计算的 Cube 之上，从而极大加速了查询的响应速度。KAP 支持标准SQL语法，提供 JDBC、ODBC、REST 等协议接口，可以和主流 BI 工具无缝集成，实现海量数据上的交互式分析。

Power BI 对接数据源时，由于不同数据源查询能力区别很大，往往只能采用Import模式，将数据导入到分析师的本地桌面或虚机，这对于海量数据场景完全不适用。针对这个问题，Kyligence 开发了针对 PowerBI 的 DirectQuery Plugin，配套使用 Kyligence ODBC Driver，用户无需再导入数据，而是实时将查询语句发送给 KAP 后端处理，充分利用 KAP 的加速能力，极大提高了分析的效率和灵活度。

KAP 在提供 Cube 预计算的同时也为一些预计算没能覆盖到的自助式 OLAP 分析提供了查询下压的功能，即 Cube 无法满足的查询将会被下压到其他 SQL 引擎，这包括 SQL on Hadoop 系统，或者关系型数据库。目前 Hive，Spark Sql 或 SQL Server 的用户，都可以迁移到 KAP 上，获得更好的数据加速。在 KAP 进行 OLAP 交互式分析同时，还可以沿用原有的查询引擎作为查询下压的解决方案，以补充当报表查询不能被 Cube 满足时的查询场景，在沿用当前的查询引擎的同时，又能利用 KAP 进行查询加速。

分析师可在本地部署的 Power BI Desktop 连接本地或云端 KAP，进行 Direct Query 连接，享受 KAP 的 OLAP 能力带来的分析加速。下面我们将具体介绍如何使用 Power BI 连接 KAP 进行数据分析。

配置 Kyligence ODBC Driver

我们推荐 Power BI 用户使用 Kyligence ODBC Driver 来连接 KAP，搭配使用 KAP Direct Query 插件可以实现 Power BI 与 KAP 的 Direct Query 连接模式。

在 Kyligence Account 页面申请下载 Kyligence ODBC 驱动程序，并运行安装到你的 Power BI Desktop 所在的环境。

32 位应用程序：请安装使用 kyligence_odbc.x86.exe
64 位应用程序：请安装使用 kyligence_odbc.x64.exe

安装 Power BI DirectQuery 插件

复制 DirectQuery 插件文件到 C:\Users\<user_name>\Documents\Microsoft Power BI Desktop\Custom Connectors文件夹，如果没有 Custom Connectors 这个文件夹，可以手动创建一个。
打开 Power BI Desktop 中的 Options and settings 中的 Options。
在 Preview Features 中勾选 Custom data connectors。
重启 Power BI Desktop