【技术贴】KyBot快速入门指南

随着Apache Kylin的深入应用，Apache Kylin集群规模不断扩大，数据存储不断增加，用户访问更加频繁，如何对整个Apache Kylin集群、底层存储、构建任务、Hadoop资源利用等有更多的了解和分析，最大限度的利用相关资源，优化查询性能，提高运行效率，保证应用稳定等逐渐成了Apache Kylin用户群的普遍且急迫的需求。

作为Apache Kylin背后的创业公司，上海跬智信息技术有限公司（Kyligence）推出了KyBot云端服务，为Apache Kylin及其商业版KAP提供 在线诊断、优化及服务平台 。KyBot通过分析Apache Kylin的日志等信息，为用户提供可视化仪表盘、系统优化、故障排查、技术支持等服务。

KyBot官方网址：https://kybot.io

KyBot是如何工作的？

KyBot功能介绍
仪表盘
以可视化的形式展现Apache Kylin系统的相关内容，包括Cube、用户访问情况、查询延迟、任务构建统计、存储等各方面的信息， 从不同维度提供整个Apache Kylin集群及应用的洞察能力。
Cube使用情况统计：

Query执行情况统计：

调优
Apache Kylin提供万亿规模数据集上的亚秒级交互式分析能力，因此，查询的优化是Apache Kylin应用的核心。KyBot可以分析相应的日志为你提供直观的性能分析视图，通过可视化来展示每一个阶段的性能消耗，以此来帮助用户快速定位瓶颈等。同时，KyBot通过对Cube日志的分析，来帮助你不断优化数据模型及Cube的设计和存储，以在存储、构建及查询性能间找到最佳的平衡点。
Cube 详情及使用分析：

SQL查询解析及统计分析：

故障排查
分布式系统在运行过程中不可避免的出现一些异常甚至故障，如何快速的定位和排查这些问题是系统运维的重中之中，KyBot通过解析异常来快速的监控相关故障信息。
异常统计：

故障追踪：

技术支持
企业级客户可以通过工单快速提交相关的支持请求，结合已经提交的相关日志及分析结果，Kyligence支持工程师可以快速定位并及时给出解决方案，大大降低了沟通成本，提升了服务响应能力。

如何使用KyBot？
KyBot是通过诊断包来分析Apache Kylin日志等信息，首先需要上传诊断包到KyBot，分析后才能使用KyBot功能。
生成诊断包
● KAP用户
登录每一个KAP节点的WEB UI,点击系统页面的”诊断”按钮,生成诊断包。

● Kylin 用户
① 下载KyBot Client 最新版(支持Apache Kylin1.5.0以上及KAP全部版本)下载路径：登录KyBot 官网https://kybot.io，在首页点击上传，然后点击“打包工具:KyBot Client ”即可下载。
② 解压到每个Kylin节点的$KYLIN_HOME/kybot目录。
③ 在每个Kylin节点运行$KYLIN_HOME/kybot/kybot.sh来生成诊断包。

混淆诊断包中的敏感信息
对于某些敏感信息，可进入$KYLIN_HOME/kybot ，编辑kybot-client.properties来进行数据保护。
● OBF=混淆 RAW=不混淆
● Cardinality和账号信息默认混淆，范围如下：
Cardinality: tiny<20, small<100 ,medium<1000, high<10,000 ,very high<100000 ,ultra high>=100,000
账号信息：邮箱服务，LADP，SAML等
● 如hostname设置为OBF，需定义hostname的模式，如kybot.obf.hostname.pattern=*.kybot.io

上传诊断包
登录KyBot网站，单击页面顶部的”上传“按钮，即打开上传页面，单击”上传诊断包“按钮，选择一个生成好的KyBot诊断包，并等待其上传成功，上传成功后即加入分析队列，用户可以在上传页面查看分析进度，分析好之后就可使用全部功能。

“Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation in the US and/or other countries. No endorsement by The Apache Software Foundation is implied by the use of these marks.”