Kyligence Cloud on AWS: 准备和创建集群篇

作者：黄融

编辑：Sammi

一、Kyligence Cloud 简介

1.1 什么是Kyligence Cloud

Kyligence Cloud 是一款在云端进行大数据分析的平台即服务（PaaS）产品；它结合了 Kyligence 独创的交互式 OLAP 技术，以及云上大数据分析的最佳实践，具有简单易用、高性能高并发、动态扩展、高安全高可用性的特点，可为用户提供简单、快捷、可扩展、低成本的解决方案。

1.2 Kylignece Cloud 架构

Kyligence Cloud 以您的身份与 AWS、Azure 进行通信，当您在 Kyligence Cloud 平台上创建集群时，Kyligence Cloud 使用您提供的帐户信息，在您的 AWS / Azure 帐户下创建集群及其它资源。

当集群准备就绪后，用户使用集群内的 KAP 进行数据建模和分析，所有数据交互均发生在您的虚拟私有云（VPC）内。Kyligence Cloud 不会触碰您的数据。

借助于计算与存储分离的架构，您可以方便地对集群进行扩容和缩容，在不需要计算的时候，甚至可以安全地停止集群而不用担心丢失数据。表结构、Cube 模型等元数据存储在您帐户下的 RDS 或 SQL Server 实例中，Cube 数据会保存在 S3 或 Azure blob store 中。

下图展示了 Kyligence Cloud 的架构。

Kyligence Cloud 架构

在该图中，Hadoop / Spark 集群、KAP、KyAnalyzer 以及 Zeppelin 是随需启动的服务，与您的集群具有相同的生命周期。云存储和元数据则具有更长的持久性，当集群停止时，它们不会被删除。

二、准备工作

Kyligence Cloud 支持 AWS 中国、 AWS global 、Azure 中国和 Azure global。本文以 AWS global 为例演示如何使用 Kyligence Cloud 进行云上快速部署。AWS global 和 AWS 中国在使用流程上基本一致 ，本教程同样适用于 AWS 中国。

在创建 Stack 之前，需要做一些准备工作。您需要确认您的 AWS 帐号下的某一区域中拥有：

1. 1个VPC（需启用 DNS resolution、DNS hostnames）

2. 2个同一VPC 下不同可用区的子网

3. 1个 S3 存储桶

4. 1个密钥对

2.1 创建 VPC 和子网

Kyligence Cloud 会在 VPC 下的两个子网中创建 EMR、EC2 以及 RDS。

如果您当前没有可用的VPC，或者想对Kyligence Cloud使用单独的VPC，您可以通过以下方式创建VPC及其子网：

1. 安装 AWS CLI 工具（方法参看：https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/installing.html）

2、执行 aws configure 命令配置 AWS 的认证信息

aws configure 命令

3、获取创建 VPC 的 CloudFormation 模版（https://docs.kyligence.io/cloud/zh-cn/appendix/vpc_template.html），并将它复制到文件create_vpc.template中， 之后通过如下命令创建VPC及其子网：

aws cloudformation create-stack --stack-name demovpc --template-body file://./create_vpc.template \
--region us-east-1 \
--parameters \
ParameterKey=VPCNAME,ParameterValue=demovpc \
ParameterKey=AZ1,ParameterValue=us-east-1a \
ParameterKey=AZ2,ParameterValue=us-east-1b

创建 VPC 命令

图中被圈中的参数请根据您的需要进行替换。命令执行后，若输出 StackId 信息，则表明创建操作执行成功。

2.2 创建 S3 存储桶（S3 Bucket）

Kyligence Cloud 使用S3 存储桶持久化 KAP cube 数据及 EMR 日志。

首先登录 AWS 帐号，进入 AWS S3 控制台。

I. 点击“创建存储桶”

创建存储桶

II. 选择存储桶名称和区域，区域请和 VPC 区域保持一致。

创建存储桶

2.3 创建密钥对（Key Pair）

密钥对用于通过 SSH 登录 EMR 节点和 KAP 所在 EC2。您可以使用已经存在的密钥对，或者创建新的。

首先登录 AWS EC2 控制台.

I. 点击“密钥对”或“xxx个密钥对”，如图：

密钥对入口

II. 点击“创建密钥对”

创建密钥对

III.输入密钥对名词，点击“创建“。创建成功后浏览器将自动下载密钥的.pem文件，该文件用于SSH登录集群节点，请务必妥善保管该文件。Kyligence Cloud 和 AWS 不持有此 key，您无需担心安全问题。

创建密钥对

三、登录/注册 Kyligence 帐号

3.1 登录 Kyligence 帐号

Kyligence 帐号是 Kyligence 的统一身份识别帐号，可用于登录 Kyligence 旗下的所有产品和服务。

在浏览器地址栏输入 https://cloud.kyligence.io 后，将显示 Kyligence 帐号登录界面。如果已经注册过 Kyligence 帐号，可以直接登录页面；如果尚未注册帐号，可以点击页面左边的“免费注册”按钮跳转至注册页面，填写相关信息进行注册。

登录帐号

3.2 注册

在注册页面填写所有信息后，点击“注册”。

注册帐号

随后，您的邮箱将收到一封系统发来的验证邮件（如果没有收到邮件，可以查看垃圾邮件箱或者点击“再次发送”），点击邮件内的链接即可完成验证，验证完成后将自动跳转登录页面。

验证邮箱

3.3 申请试用版

Kyligence 帐号申请完成以后，在地址栏输入 https://cloud.kyligence.io 进入 Kyligence Cloud 控制台。如果是第一次使用 Kyligence Cloud，那么将自动跳转至申请试用页面。

申请试用

Kyligence Cloud 提供 60 天的免费试用，试用版能操作一个集群，功能完整，已足够让您充分熟悉和了解 Kyligence Cloud，体验和发现它的价值。

填写相关信息并点击“申请”按钮提交。我们将会对您的申请进行审核，试用申请通过后（一般三个工作日之内），我们将通过邮件通知您 。

四、开始部署堆栈

在 Kyligence Cloud中，堆栈（Stack）是主要的操作主体，一个堆栈是由一个或多个 Hadoop 集群组成。经过前面的准备，我们现在正式开始堆栈的部署工作，其操作流程十分便捷。首先进入 Kyligence Cloud 控制台（https://cloud.kyligence.io）

4.1 创建堆栈

I. 在集群列表页面中，点击“新建堆栈”按钮，进入创建堆栈页面。

新建堆栈

II. 填写堆栈名称，选择 EMR 版本和集群各类节点的数量/硬件配置。

填写集群基本信息

III. 填写 AWS 账号的 Access Key 和 Secret Key，选择要部署的区域，然后依次选择在前面章节中已准备好的 AWS 资源。

填写 AWS 资源信息

IV. 选择要安装的 KAP 版本，同时还可选择是否安装另外两款辅助工具 KyAnalyzer 和 Zeppelin。 堆栈的操作结果可以通过电子邮件的方式告知您，您可以选择设置是否启用电子邮件通知。

选择 KAP

V. 最后点击页面最下方的提交按钮，将创建一个处于 NEW 状态的集群，并显示在集群列表中。

4.2 启动堆栈

I. 在堆栈列表中，点击堆栈条目右侧的“开始”按钮。

启动 stack

II. 启动后，堆栈进入 creating 状态，此时 Kyligence Cloud 正在部署集群并安装 KAP 及其依赖的环境。该过程持续25至50分钟，创建成功后 Kyligence Cloud 会以邮件形式通知您部署结果。

stack创建中

III. 堆栈部署完成后，将变为 running 状态。恭喜， 您现在可以自由使用该集群和 KAP 。

stack 创建完成

五、使用 KAP

堆栈部署完成后，您可以正式开始使用 KAP。

Kyligence Analytics Platform (KAP) 大数据智能分析平台基于 Apache Kylin，是一款在超大数据集上提供亚秒级分析能力的企业级数据仓库产品，可为业务用户、分析师及工程师提供简便、快捷的大数据分析服务。

5.1 访问 KAP

点击堆栈名称左侧的折叠按钮，便可以看到 KAP 的入口。如果在部署堆栈时选择了安装 KyAnalyzer 和 Zeppelin，那么这两款工具的入口也会展示在这里。

KAP 入口

注：通过 Kylignce Cloud 部署的 KAP 默认为最新的 KAP Plus 版本。

点击 KAP 的按钮，浏览器会跳转到 KAP 登录页面；第一次访问，您可以使用默认用户名 ADMIN 和默认密码 KYLIN 进行登录；初次登录您需要修改密码，以确保访问安全。KAP 自带了一个示例 Cube，您可以对它完成构建，并执行查询。

Cube 构建好之后，您可以登录 KyAnalyzer（使用跟 KAP 相同的用户名密码），同步此 Cube，并进行多维可视化分析。

5.2 KAP 管理

Kyligence Cloud 提供对 KAP 的基本管理功能，用户可以直接在 Kyligence Cloud 的界面上启动、停止、配置和升级 KAP。

I. 可以点击堆栈条目右侧菜单中的“详情”按钮，进入详情页面。

详情页入口

II. 详情页中，可以看到 KAP 相关信息，点击右侧的“停止”／“启动”并可对 KAP 服务进行操作。您还可以通过这里的界面直接调整 KAP 的相关配置属性。

KAP 管理

六、结语

到此为止本文介绍了如何使用 Kyligence Cloud 在 AWS 上进行简单快捷的部署操作，Kyligence Cloud 的诸如动态扩展等功能还有待您的探索，我们将会在之后的文章中进一步介绍 Kyligence Cloud。您在使用过程中如若遇到问题，可通过 Kylingece Cloud 控制台页面左下方的“支持”按钮和右上方的“联系我们”按钮获取帮助。