Kyligence Copilot - AI 数智助理,以 AI 变革企业经营与管理! 立即了解更多

Kyligence Cloud on AWS:集群操作篇

占绍雄
2018年 1月 11日

通过上一篇《手把手教你使用 Kyligence Cloud on AWS 准备和创建集群篇》,我们和大家科普了如何成功创建一个 AWS 集群。作为这一系列的第二篇,本篇将介绍 AWS 上的集群操作,包括伸缩集群、停止集群、删除集群和升级 KAP。

注:为了避免跟 Hadoop 集群产生概念混淆,Kyligence Cloud 对可操作的一个集合称之为堆栈(Stack),它包含了 Hadoop 集群,RDS, KAP,S3 Bucket, Load Balancer 等资源。在下文中,我们将使用堆栈来表示这样一个集合。

一、伸缩堆栈

1、功能介绍

Kyligence Cloud 提供动态伸缩堆栈规模的功能,主要针对于核心节点(core node)和任务节点(task node),而主节点(master node)数量固定。借助于计算与存储分离的架构,您可以方便地对堆栈进行扩容和缩容,比如在某个时间段有大量数据需要处理,堆栈负载较大,这时候需要扩展堆栈,增加堆栈任务节点数量;待负载降低,再减少任务节点个数,这样可以提高工作效率,并节约资源。在堆栈伸缩阶段,KAP 可以正常使用。

2、节点介绍

i. 核心节点: 运行数据节点守护程序,以将数据存储作为 Hadoop 分布式文件系统 ( HDFS ) 的一部分进行协调。它们还运行任务跟踪守护程序,并对安装的应用程序所需的数据执行其他并行计算任务。

ii. 任务节点(可选):支持对数据执行并行计算任务,这使您能够灵活且经济有效地响应工作负载要求。

iii. 主节点:管理集群资源和任务调度的节点。

具体节点介绍,也可参见 Amazon EMR 的相关介绍文档:

3、操作

进入 Kyligence Cloud,在堆栈中,选择正在运行的堆栈,在节点信息处点击图标进行堆栈伸缩,增加任务节点个数能有效提升堆栈负载能力。核心节点上运行 HDFS 守护进程,建议您慎重修改核心节点,从正在运行的节点移除 HDFS 守护进程有丢失数据的风险。

调整后

二、停止堆栈

1、功能介绍

Kyligence Cloud 提供一键停止的功能。由于表结构、Cube 模型等元数据存储在您帐户下的 RDS 中,Cube 数据保存在 S3 中,在堆栈不需要使用的时候,您可以安全地停止堆栈而不用担心丢失数据。

2、操作

在 Kyligence Cloud 上,堆栈停止分为备份和停止两阶段。在您点击停止后,后台会首先终止 KAP 服务,备份 KAP 数据到 S3,接着终止包括主节点在内的所有堆栈节点。在您下次启动该堆栈时,会为您恢复之前备份的所有数据。

三、删除堆栈

1、功能介绍

Kyligence Cloud 提供一键删除功能。当堆栈使用完毕时,您可以选择删除堆栈。这时,Kyligence Cloud 会移除所有堆栈节点,位于堆栈节点本地磁盘上的数据会被擦除;位于 S3 和 RDS 的数据默认会保留,您还可以选择在删除堆栈时一起删除 RDS ;堆栈删除后,列表中也不再显示堆栈信息。

2、操作

进入 Kyligence Cloud,选择正在运行中的堆栈,即可开始删除操作。

删除堆栈

PS: 请注意删除时提示的内容,表结构、Cube 模型等元数据存储在您帐户下的 RDS 中,建议您保留 RDS,除非您确定此堆栈的信息不再使用.

三、升级 KAP

1、功能介绍

Kyligence Cloud 提供一键升级的功能。因为 KAP 不断完善并增加新功能,而创建新堆栈会影响用户的在线业务,因此快速升级 KAP 而不需要重建堆栈,可以帮助用户更快地获得新功能和更好的查询性能。

2、操作

在 Kyligence Cloud 选择堆栈,点开堆栈详情,在 KAP 一栏选择版本即可升级。升级步骤是备份配置,停止服务,安装新版本 KAP,再恢复配置并启动服务。因为升级过程中会伴随短时间 KAP 服务停止,建议您选择恰当时间升级 KAP。

如图,选择版本 KAP v2.5.4 即可开始升级 KAP。

四、结语

本文介绍了如何使用 Kyligence Cloud 在 AWS 上进行伸缩、暂停、删除和升级KAP等操作,Kyligence Cloud 的后续功能还有待您的探索,我们将会在之后的文章中进一步介绍 Kyligence Cloud。您在使用过程中如若遇到问题,可通过 Kylingece Cloud 控制台页面左下方的“支持”按钮和右上方的“联系我们”按钮获取帮助。

添加企微

kyligence
关注我们

kyligence