Kyligence AI 服务 - 让大模型完成准确、可靠的数值计算和回答! 立即了解更多

高性能多维分析平台

OLAP(Online Analytical Process)是数据仓库最重要的应用。 它提供了关于商业活动的共同维度和指标的模型和预计算能力。 因此,业务分析师有能力从不同的业务角度快速灵活地深入研究,生成数据。

然而,面对海量数据量的增加和分析需求的爆发式增长,传统BI工具的扩展架构经常导致数据量小,查询延迟时间长,并发性能差等问题,严重制约了应用场景OLAP。

根据Hadoop分布式技术和强大的并行计算功能,KAP可以在数万亿的数据上提供第二个延迟查询性能,并通过线性可扩展性轻松实现高达1000+的并发性能。

管理平台以国家金融企业为例。 该企业拥有遍布全国各地的数亿客户,每天交易的详细数据超过10亿。 但是,OLAP活动深受Cognos Cube数据容量和查询性能的限制。 因此,他们在将数据迁移到Hadoop后,故意选择KAP构建其企业级多维分析平台。

痛点

  • 最大立方体的建造时间每天超过20小时,营业部门只能访问前两天的数据。
  • 基于立方体的单一多维分析需要1小时才能返回结果,严重影响了业务部门的运营效率和正常的分析过程。
  • 为了提高查询性能,客户必须手动将多维数据集数据转换为报告文件,这带来了大量的额外维护成本,并且完全降低了基于多维数据集的OLAP分析的灵活性。
  • 由于权限管理问题,客户需要为各类立方体在全国范围内的30多个省级分行创建副本,导致2000多个立方体,大大增加了IT部门的运维工作量。

解决

  • 数据处理:Cloudera CDH + Kyligence KAP,存储在Hive中的操作和维护工作负载,KAP将重建所有的立方体。
  • 每日报告:Cognos Report Studio + KAP,通过将Cognos Report Studio连接到KAP进行定制的报告
  • 数据挖掘:KyAnalyzer + KAP,通过将KyAnalyzer(KAP的可视化前端组件)连接到KAP进行数据可视化分析。

优点

  • 第二个延迟查询性能:将查询性能提高2000倍,平均延迟1.5秒。 更好的多维数据集构建:将多维体构建时间缩短75%。
  • 支持存储在独立存储中的ahthority配置文件和多维数据集数据; 迁移后,立方体总数减少到几十个,极大地减轻了系统运行和维护的压力。
  • 支持多维分析和详细的数据查询,大大简化了开发工作量。
  • 支持高并发查询:在单个节点上具有单个实例的访问次数为50次/秒,并发性能随业务增长而扩大。
添加企微

kyligence
关注我们

kyligence