Kyligence 2024 数智论坛暨春季发布会:以 AI 构建数智竞争力 即刻报名

KAP 助力微软 Power BI 实现海量数据交互式分析

何京珂
2017年 11月 09日

作者:何京珂

编辑:Sammi

Power BI 是微软推出的行业领先的 BI 可视化工具,其拥有本地及云端多样的解决方案,与微软产品无缝整合,快速部署等特点令其在本地及云端都拥有广泛的应用。Power BI 支持多样的数据源,包括关系型数据库 SQL Server,Azure 云上 的 Blob 存储以及 HDInsight Hive 等。然而随着企业信息化进程的加深,数据收集门槛的下降,越来越多的企业都面临着超大数据交互式分析的挑战。在海量数据规模下以上数据源在连接 Power BI 进行数据分析时经常出现查询响应慢,界面卡顿,数据装载时间长,高并发情况下查询性能急剧下降等问题,性能瓶颈的问题愈发严重。

Kyligence Analytics Platform (简称 KAP) 是运行在大数据架构上的企业级分布式数据引擎,支持PB级别数据的秒级快速查询响应。KAP 支持本地及 Azure 云上部署,支持从 Hive 和 Kafka 读取源数据,并使用 MapReduce 或Spark框架对数据进行预计算,然后将预计算的结果(即 Cube)存储在 HBase 或 KyStorage 中(KyStorage 是一种专门针对 KAP 优化的列式存储引擎)。查询语句直接运行在预计算的 Cube 之上,从而极大加速了查询的响应速度。KAP 支持标准SQL语法,提供 JDBC、ODBC、REST 等协议接口,可以和主流 BI 工具无缝集成,实现海量数据上的交互式分析。

Power BI 对接数据源时,由于不同数据源查询能力区别很大,往往只能采用Import模式,将数据导入到分析师的本地桌面或虚机,这对于海量数据场景完全不适用。针对这个问题,Kyligence 开发了针对 PowerBI 的 DirectQuery Plugin,配套使用 Kyligence ODBC Driver,用户无需再导入数据,而是实时将查询语句发送给 KAP 后端处理,充分利用 KAP 的加速能力,极大提高了分析的效率和灵活度。

KAP 在提供 Cube 预计算的同时也为一些预计算没能覆盖到的自助式 OLAP 分析提供了查询下压的功能,即 Cube 无法满足的查询将会被下压到其他 SQL 引擎,这包括 SQL on Hadoop 系统,或者关系型数据库。目前 Hive,Spark Sql 或 SQL Server 的用户,都可以迁移到 KAP 上,获得更好的数据加速。在 KAP 进行 OLAP 交互式分析同时,还可以沿用原有的查询引擎作为查询下压的解决方案,以补充当报表查询不能被 Cube 满足时的查询场景,在沿用当前的查询引擎的同时,又能利用 KAP 进行查询加速。

分析师可在本地部署的 Power BI Desktop 连接本地或云端 KAP,进行 Direct Query 连接,享受 KAP 的 OLAP 能力带来的分析加速。下面我们将具体介绍如何使用 Power BI 连接 KAP 进行数据分析。

配置 Kyligence ODBC Driver

我们推荐 Power BI 用户使用 Kyligence ODBC Driver 来连接 KAP,搭配使用 KAP Direct Query 插件可以实现 Power BI 与 KAP 的 Direct Query 连接模式。

Kyligence Account 页面申请下载 Kyligence ODBC 驱动程序,并运行安装到你的 Power BI Desktop 所在的环境。

  • 32 位应用程序:请安装使用 kyligence_odbc.x86.exe
  • 64 位应用程序:请安装使用 kyligence_odbc.x64.exe

安装 Power BI DirectQuery 插件

  1. 复制 DirectQuery 插件文件到 C:\Users\<user_name>\Documents\Microsoft Power BI Desktop\Custom Connectors文件夹,如果没有 Custom Connectors 这个文件夹,可以手动创建一个。
  2. 打开 Power BI Desktop 中的 Options and settings 中的 Options。
  3. 在 Preview Features 中勾选 Custom data connectors。
  4. 重启 Power BI Desktop

使用 Power BI Desktop 连接 KAP

启动您已经安装的 Power BI Desktop,单击 Get data 按钮,点击 more 在 Database 类别中选中 Kyligence Analytics Platform。

在连接字符串文本框中输入所需数据库的对应信息。连接方式请注意选择 DirectQuery。

输入账号密码进行身份验证。

下一步 Power BI 将会列出项目中所有的表,您可以根据需要选择要连接的表。

现在你可以进一步使用 Power BI 进行可视化分析,首先对需要连接的表进行建模,请注意如果希望报表的查询能够击中 Cube,模型的定义需要与 KAP 中的一致。

模型建立完成,现在你可以回到报表页面开始可视化分析了。

欲了解更多使用 Power BI 对接 KAP 的详情,请参见 KAP 用户手册的相关章节。

添加企微

kyligence
关注我们

kyligence