「Data & AI Meetup」第三期:一线大厂都在磕的 Remote Shuffle Service

Meetup
2021年12月02日 19:00 - 2021年12月02日 20:45 (UTC+8)
zoom

干货满满的 Data & AI Meetup 精彩继续,第 3 期将于12月2日 19:00-20:45 与大家在线上相见。本期我们特别邀请了来自阿里云、小米、腾讯的三位技术专家分享一线大厂研发 Remote Shuffle Service (RSS) 的动机和真实生产实践,感兴趣的同学们快扫描「文末二维码」加入活动微信群吧~

活动介绍

在分布式数据处理中,Shuffle 是最容易导致性能、稳定性、运维成本等问题的环节之一。Spark Pull Based 的 Shuffle 设计在一些场景下面临严重的挑战,因此无论是国外的 Facebook、Linkedin,还是国内的腾讯、阿里、小米等,都推出了 Push Based 的 RSS。最近腾讯刚开源 RSS 项目更是让我们再一次关注到了这项技术。想了解更多精彩议程,快往下看吧~

活动议程

19:00-19:10 社区动态

19:10-19:50 Talk 1:腾讯 RSS 项目 Firestorm 原理、实践与开源

演讲概要:

  • Spark Shuffle 存在的问题

  • Remote Shuffle Service 的现状

  • Firestorm 的实现及应用

  • Firestorm 的规划

讲师:马骏杰 | 腾讯大数据团队高级工程师,目前主要负责 Spark 的优化及 RSS 的研发

19:50-20:30 Talk 2:阿里云 Remote Shuffle Service 介绍及在小米的实践

演讲概要:

  • RSS 的动机和相关工作

  • RSS 的核心设计和实现

  • RSS 在小米的实践

讲师:周克勇(一锤)| 阿里云 EMR 开发工程师,负责 Spark 引擎优化

讲师:王胜杰|小米计算平台计算引擎高级开发工程师,目前主要负责小米 Spark 计算引擎开发与维护等相关工作

20:30-20:45 社区问答 Q & A

活动信息

直播时间:12 月 2 日(周四) 19:00 - 20:45

报名方式:扫描下方二维码,直接加入 Data & AI Meetup 交流群,获取直播链接~

进群前请认真阅读下方报名提示,以免错过活动:

  1. 本次活动的所有信息将通过活动微信群与您同步。

  2. 活动中参与互动,将有机会 pick 随机掉落的精美社区周边以及书籍哦~

  3. 加入活动群聊也可添加 K 小助(微信号:uncertainly5)

关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建,致力于打造下一代智能数据云平台,为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术,Kyligence 从多云的数据存储中识别和管理最有价值数据,并提供高性能、高并发的数据服务以支撑各种数据分析与应用,同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001,ISO27001 及 SOC2 Type1 等各项认证及审计,并在全球范围内拥有众多生态合作伙伴。

即刻体验智能多维数据库

免费试用 产品下载

申请试用
关注我们