Kyligence Copilot - AI 数智助理,以 AI 变革企业经营与管理! 立即了解更多
AI 数智助理
Kyligence Zen Kyligence Zen
Kyligence Enterprise Kyligence Enterprise
Kyligence Turbo Kyligence Turbo
指标平台解决方案
OLAP 解决方案
行业解决方案
客户总览
金融
零售
制造
医药
其他
云平台
BI
寻求合作
资源
Kyligence Enterprise
Kyligence Zen
培训
Apache Kylin
Byzer
Gluten
博客
关于
市场活动
在Kyligence Cloud on AWS的解决方案中,默认使用按需实例来进行Hadoop集群所有类型节点的部署。为了高效利用云上计算资源,Kyligence Cloud新增了对AWS Spot实例的支持。本文主要介绍了Kyligence Cloud如何使用AWS Spot实例,大幅降低大数据分析集群的总体成本。
关于Kyligence CloudKyligence Cloud是Kyligence公司基于云端的大数据分析服务,以Apache Kylin企业版为核心,为大数据分析平滑上云提供解决方案。使用 Kyligence Cloud,您可以在公有云上快速建立大数据分析集群,实现对海量数据的交互式OLAP分析和高并发查询应用。
关于AWS Spot实例Spot实例是AWS云中的可用空闲计算容量,空闲容量的使用价格是随着供需关系实时变动的,不同地点和时间段的服务器价格可能存在巨大差异。根据AWS官方数据显示,使用Spot实例价格低至按需实例价格的10%。
工作原理在使用Kyligence Cloud部署Hadoop集群时,您可以对任务节点启用Spot实例, Kyligence Cloud会以按需实例价格去请求Spot实例,因此您的支付成本不会高于目前使用按需实例的成本,而实际价格以Spot实例中标价格为准。
注意:当Spot实例供需关系发生变化,AWS可能会中断Spot实例,因此任务节点可能会被意外终止,但您的集群和数据不会受到影响,集群将会自动分配剩余节点重新执行被终止Spot实例上运行的任务。
为了验证Spot相比按需实例可以大幅度降低成本,我们随机选择服务器地址,并将Spot实例的实时价格按照可节约额度由低到高进行排序,以下数据来自AWS官网Spot Instance Advisor:
由图可知,当本文档编写时(北京时间2018/7/9早上11:00),位于加州的服务器,在支持EMR实例类型下,将Spot实例节省额由低到高排列,由图可见,Spot最少也可节省按需实例价格的67%,且实例中断频次少于5%。
在Kyligence Cloud中使用AWS Spot实例
准备工作如果您已经使用Kyligence Cloud解决方案,并在AWS上已经部署了大数据分析集群,则可以跳过以下步骤。1. 注册Kyligence Cloud账号并申请试用。一键申请链接:https://cloud.kyligence.io/#/cloudapply2. 注册AWS账号,并确保您的 AWS 帐号下的某一区域中拥有:1个VPC(需启用 DNS resolution、DNS hostnames)、2个同一 VPC 下不同可用区的子网、1个S3存储桶、1个密钥对。3. 对Kyligence Cloud访问AWS进行授权4. 在Kyligence Cloud中创建大数据分析集群以上操作详情请参考Kyligence Cloud用户手册 https://docs.kyligence.io/books/cloud/zh-cn/index.html
启用Spot实例Kyligence Cloud可以在如下情形对任务节点使用Spot实例:注:不支持使用已有EMR集群的部署情形。
1. 新建集群时:在集群配置的任务节点旁勾选Spot实例,Kyligence Cloud在进行集群部署时会请求Spot实例来部署集群的任务节点。您还可以同时开启自动伸缩选项,让集群动态的根据工作负载调整集群大小,更加优化云上计算资源的使用,实现成本的最优化。
2. 集群停止时:在集群列表中的操作菜单栏选择编辑,进入集群配置页面后,勾选任务节点旁的使用Spot实例即可。
总结通过与AWS紧密整合,Kyligence on AWS解决方案助力企业大数据分析平滑上云,充分发挥AWS的各种特性与优势,提高客户云上大数据分析的效率,优化总体拥有成本,以大数据和云计算为核心,加速企业数字化转型。更多详情请访问Kyligence官方网站:www.kyligence.io
近年来,随着商业环境的竞争日益激烈,企业对于实时数据服务的需求急剧增加。Kyligence 在服务众多客户的过
数据要素在银行各业务领域和流程中发挥着至关重要的作用,面对激烈的市场竞争和客户需求,银行越来越注重从数据管理中
作为一名消费者,炎热的夏天我们会走进一家便利店,从冰柜中选出一瓶汽水;下午工作有点累了,我们会在公司的自动贩卖
2024 年伊始,Kyligence 联合创始人兼 CEO 韩卿(Luke)分享了对 AI 与数据行业的一些战
房地产行业是我国国民经济中的重要支柱产业之一,在房地产市场供求关系发生重大变化的当下,房企面临多重挑战。Kyl
今年年初,Kyligence 高级副总裁兼合伙人葛双寅(Silas Ge)受邀在阿斯利康“跃行致远三十周年年会
2024 年伊始,Kyligence 联合创始人兼 CEO 韩卿在公司内部的飞书订阅号发表了多篇 Rethin
400 8658 757
工作日:10:00 - 18:00
已有账号? 点此登陆
预约演示,您将获得
完整的产品体验
从数据导入、建模到分析的全流程操作演示。
行业专家解惑
与资深行业专家的交流机会,解答您的个性化问题。
请填写真实信息,我们会在 1-2 个工作日内电话与您联系。
全行业落地场景演示
涵盖金融、零售、餐饮、医药、制造等多个行业,最贴合您的业务需求与场景。
Data + AI 应用落地咨询
与资深技术专家深入交流,助您的企业快速落地 AI 场景应用。
申请体验,您将获得
体验数据处理性能 2x 加速
同等规模资源、同等量级数据、同一套数据处理逻辑,处理耗时下降一半
专家支持
试用部署、生成数据、性能对比各操作环节在线支持