Kyligence Copilot - AI 数智助理,以 AI 变革企业经营与管理! 立即了解更多

Kyligence Cloud on AWS支持使用Spot实例,节约高达90%的计算资源成本

姜杰龙
2018年 7月 23日

在Kyligence Cloud on AWS的解决方案中,默认使用按需实例来进行Hadoop集群所有类型节点的部署。为了高效利用云上计算资源,Kyligence Cloud新增了对AWS Spot实例的支持。本文主要介绍了Kyligence Cloud如何使用AWS Spot实例,大幅降低大数据分析集群的总体成本。

关于Kyligence Cloud
Kyligence Cloud是Kyligence公司基于云端的大数据分析服务,以Apache Kylin企业版为核心,为大数据分析平滑上云提供解决方案。使用 Kyligence Cloud,您可以在公有云上快速建立大数据分析集群,实现对海量数据的交互式OLAP分析和高并发查询应用。

关于AWS Spot实例
Spot实例是AWS云中的可用空闲计算容量,空闲容量的使用价格是随着供需关系实时变动的,不同地点和时间段的服务器价格可能存在巨大差异。根据AWS官方数据显示,使用Spot实例价格低至按需实例价格的10%。

工作原理
在使用Kyligence Cloud部署Hadoop集群时,您可以对任务节点启用Spot实例, Kyligence Cloud会以按需实例价格去请求Spot实例,因此您的支付成本不会高于目前使用按需实例的成本,而实际价格以Spot实例中标价格为准。

注意:当Spot实例供需关系发生变化,AWS可能会中断Spot实例,因此任务节点可能会被意外终止,但您的集群和数据不会受到影响,集群将会自动分配剩余节点重新执行被终止Spot实例上运行的任务。

为了验证Spot相比按需实例可以大幅度降低成本,我们随机选择服务器地址,并将Spot实例的实时价格按照可节约额度由低到高进行排序,以下数据来自AWS官网Spot Instance Advisor:

由图可知,当本文档编写时(北京时间2018/7/9早上11:00),位于加州的服务器,在支持EMR实例类型下,将Spot实例节省额由低到高排列,由图可见,Spot最少也可节省按需实例价格的67%,且实例中断频次少于5%。

在Kyligence Cloud中使用AWS Spot实例

准备工作
如果您已经使用Kyligence Cloud解决方案,并在AWS上已经部署了大数据分析集群,则可以跳过以下步骤。
1. 注册Kyligence Cloud账号并申请试用。一键申请链接:https://cloud.kyligence.io/#/cloudapply
2. 注册AWS账号,并确保您的 AWS 帐号下的某一区域中拥有:1个VPC(需启用 DNS resolution、DNS hostnames)、2个同一 VPC 下不同可用区的子网、1个S3存储桶、1个密钥对。
3. 对Kyligence Cloud访问AWS进行授权
4. 在Kyligence Cloud中创建大数据分析集群
以上操作详情请参考Kyligence Cloud用户手册 https://docs.kyligence.io/books/cloud/zh-cn/index.html

启用Spot实例
Kyligence Cloud可以在如下情形对任务节点使用Spot实例:
注:不支持使用已有EMR集群的部署情形。

1. 新建集群时:
在集群配置的任务节点旁勾选Spot实例,Kyligence Cloud在进行集群部署时会请求Spot实例来部署集群的任务节点。
您还可以同时开启自动伸缩选项,让集群动态的根据工作负载调整集群大小,更加优化云上计算资源的使用,实现成本的最优化。

2. 集群停止时:
在集群列表中的操作菜单栏选择编辑,进入集群配置页面后,勾选任务节点旁的使用Spot实例即可。

总结
通过与AWS紧密整合,Kyligence on AWS解决方案助力企业大数据分析平滑上云,充分发挥AWS的各种特性与优势,提高客户云上大数据分析的效率,优化总体拥有成本,以大数据和云计算为核心,加速企业数字化转型。更多详情请访问Kyligence官方网站:www.kyligence.io

添加企微

kyligence
关注我们

kyligence