「Data & AI Meetup」第三期：一线大厂都在磕的 Remote Shuffle Service

干货满满的 Data & AI Meetup 精彩继续，第 3 期将于12月2日 19:00-20:45 与大家在线上相见。本期我们特别邀请了来自阿里云、小米、腾讯的三位技术专家分享一线大厂研发 Remote Shuffle Service (RSS) 的动机和真实生产实践，感兴趣的同学们快扫描「文末二维码」加入活动微信群吧～

活动介绍

在分布式数据处理中，Shuffle 是最容易导致性能、稳定性、运维成本等问题的环节之一。Spark Pull Based 的 Shuffle 设计在一些场景下面临严重的挑战，因此无论是国外的 Facebook、Linkedin，还是国内的腾讯、阿里、小米等，都推出了 Push Based 的 RSS。最近腾讯刚开源 RSS 项目更是让我们再一次关注到了这项技术。想了解更多精彩议程，快往下看吧～

活动议程

19:00-19:10 社区动态

19:10-19:50 Talk 1：腾讯 RSS 项目 Firestorm 原理、实践与开源

演讲概要：

• Spark Shuffle 存在的问题

• Remote Shuffle Service 的现状

• Firestorm 的实现及应用

• Firestorm 的规划

讲师：马骏杰 | 腾讯大数据团队高级工程师，目前主要负责 Spark 的优化及 RSS 的研发

19:50-20:30 Talk 2：阿里云 Remote Shuffle Service 介绍及在小米的实践

演讲概要：

• RSS 的动机和相关工作

• RSS 的核心设计和实现

• RSS 在小米的实践

讲师：周克勇(一锤)｜ 阿里云 EMR 开发工程师，负责 Spark 引擎优化

讲师：王胜杰｜小米计算平台计算引擎高级开发工程师，目前主要负责小米 Spark 计算引擎开发与维护等相关工作

20:30-20:45 社区问答 Q & A

活动信息

直播时间：12 月 2 日（周四） 19:00 - 20:45

报名方式：扫描下方二维码，直接加入 Data & AI Meetup 交流群，获取直播链接～

进群前请认真阅读下方报名提示，以免错过活动：

1. 本次活动的所有信息将通过活动微信群与您同步。

2. 活动中参与互动，将有机会 pick 随机掉落的精美社区周边以及书籍哦～

3. 加入活动群聊也可添加 K 小助（微信号：uncertainly5）

关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合作伙伴。