企业如何基于 Hadoop 打造更加丰富的分析应用场景

1. Hadoop 知多少

对于大数据玩家而言，Hadoop 绝不陌生。Apache Hadoop 作为一个完整的开源大数据套件，在过去的十多年里深刻影响了整个计算机界。

那么，大数据分析又有哪些典型的业务场景呢？今天我们将结合 Kyligence 多年的实践和经验，跟大家简单列举其中一些应用场景。

2. 基于 Hadoop 的丰富应用场景

Hadoop 作为一个全功能的大数据处理平台，其上可以搭载多种组件以满足特定的功能，经过这么多年的发展，Hadoop 基本上已经覆盖了大部分的行业和场景。

Apache Kylin 项目和 Kyligence 公司也都诞生于 Hadoop 时代。在最初的时候，我们的产品也都是构建在 Hadoop 之上，通过提供 Hadoop 之上的 SQL 查询接口（SQL on Hadoop）及多维分析（OLAP on Hadoop）能力，来满足不同的行业的不同分析场景。迄今，Kyligence 已经服务了国内外不同行业的众多客户，助力企业落地了以下丰富的场景及应用。

场景一：用户画像

用户画像是指通过收集用户在不同渠道的行为和交易信息，分析用户的个性特征和偏好，深层次理解用户的交互习惯，形成用户标签体系，再通过构建标签化的用户模型，快速获得对人群特征的洞察，赋能数据化运营。

为此，Kyligence 提供开箱即用的工具，能够与查询引擎无缝对接，提供标签管理、筛选、圈选和导出能力，同时可作为第三方标签分析平台的查询引擎，支持用户圈选、导出、比对、即席分析、分组统计等场景。

Kyligence 的查询引擎和分层存储技术，可以支持企业日均更新上亿用户产生的数千种类型标签，同时支持实时或离线的特征计算，以及海量特征标签存储等，适用于金融、零售、制造等各类行业。

用户画像是指通过收集用户在不同渠道的行为和交易信息，分析用户的个性特征和偏好，深层次理解用户的交互习惯，形成用户标签体系，再通过构建标签化的用户模型，快速获得对人群特征的洞察，赋能数据化运营。

为此，Kyligence 提供开箱即用的工具，能够与查询引擎无缝对接，提供标签管理、筛选、圈选和导出能力，同时可作为第三方标签分析平台的查询引擎，支持用户圈选、导出、比对、即席分析、分组统计等场景。

Kyligence 的查询引擎和分层存储技术，可以支持企业日均更新上亿用户产生的数千种类型标签，同时支持实时或离线的特征计算，以及海量特征标签存储等，适用于金融、零售、制造等各类行业。

场景二：营销跟踪与分析

营销跟踪与分析是指通过对用户数据进行挖掘、追踪、分析，将不同用户进行聚类，分析用户的消费习惯、风险收益偏好等特征信息，对细分用户进行精准营销。例如，根据用户的购买习惯和风险偏好进行动态的理财产品组合营销；根据用户行为轨迹分析，主动推送关联产品服务等。

在这个场景下，Kyligence 通过融合各销售环节的多源异构数据，打通从产品、价格、渠道、宣传相关的营销数据资产，并将其整合到共享的数据平台中进行综合的分析，以支持产品营销的决策。以往需长时间做数据准备才能获得的分析结论，现在通过自助数据平台就能便捷地获取到。

场景三：企业经营分析

企业经营分析是通过将企业经营数据进行充分整合并有效利用，使其转换为企业的信息资产，让数字反映出真实的运营状况，及时控制产品风险和调整业务策略，赋能业务。

以保险行业为例，保险机构所涉及的相关数据非常多，其中包含公司自营的业务数据，也有合作渠道的电商销售、医疗健康等数据，还有第三方的信贷评级、出行行为等数据。企业希望能够有效利用这些数据，将这些数据进行充分整合并有效利用，实现客户保单理赔等精细化灵活分析，这就对大数据平台的灵活分析能力和对参保人员的精确去重能力提出了要求。

Kyligence 基于预计算的多维分析设计模式，充分融合了精确去重能力，以 Bitmap 算法使得去重统计可以预计算，既满足了时效性也提供了灵活性。此外，Kyligence 在提供高性能数据分析能力的同时，可以以 API 接口的形式对接不同的定制化展现前端，通过参数化的界面操作就可以分钟级完成每款产品的分析，真正做到产品级别的精细化运营能力。

除了上述场景以外，Kyligence 还支持产品和渠道分析、动态库存分析、流水订单分析、供应链库存分析等多种不同的企业经营分析场景。

3. 在云原生方向的探索与实践

Kyligence 有许多基于 Hadoop 的成熟解决方案，当然我们同样意识到客户的需求在逐渐往云原生、存储计算分离的方向上发展。因此，Kyligence 对原有平台体系进行了新的设计，推出了一套完全脱离 Hadoop 平台的解决方案 —— Kyligence Cloud ，我们前文提到的这些场景在 Kyligence 提供的云原生架构上也同样可以实现。

Kyligence Cloud 底层使用云原生架构，存储使用云厂商的对象存储，例如亚马逊云 S3，Azure Blob Storage，Azure Data Lake Gen 2 等，计算使用 Spark，资源可以直接对接云平台的 IaaS 服务。

Kyligence Cloud 带来的灵活性、可运维性以及低 TCO，已经为众多云上客户提供了同样高性能的数据分析服务，并从多个客户处得到积极的反馈。目前，Kyligence Cloud 已支持 Azure、亚马逊云科技、华为云以及 Google Cloud。

4. 立足当下，放眼未来

于 Kyligence 而言，无论客户是继续选择 Hadoop 还是“去 Hadoop 化”，我们都有能力为客户提供高性能、全场景的 OLAP 解决方案。Kyligence 所做的正是努力让产品更贴合时代的发展和客户的需求，为企业客户提供最优的智能大数据管理和分析服务。