讓 Hadoop 不再難親近—— Kyligence 协助企业与 Hadoop 上打造分析平台

本文原载于《台湾 CIO IT 经理人月刊》12 月刊。

《台湾 CIO IT 经理人月刊》于 1987 年创刊，由全球 IT 领域的媒体领导者 IDG 媒体集团出版，为国际性最权威的 IT 管理专业杂志。拥有全球最顶尖的IT管理专家作者群，因此能写出最权威的分析评论、最先进的 IT 管理观念。《台湾 CIO IT 经理人月刊》强调 Real People, Real Problem, Real Solutions。期望藉由真实的报导，让读者得以分享全球百大企业成功的经验，一直是全球 CIO 及 IT 管理者的科技资讯最佳来源。

採訪／施鑫澤 文／林裕洋

Kyligence 大數據解析平台源自於 Apache Kylin，可提供企業在 Apache Hadoop 平台上讓業務用戶、解析師及工程師等，享受到簡單、快捷的巨量資料解析能力。

歷經過數年技術不斷演進，巨量資料早已不在是僅止於討論中的名詞，而是被廣泛應用到商業與生活之中的技術，如有愈來愈多公司會透過收集社群平台上的訊息，掌握消費者心中的喜好，進而推出所相對應的產品或服務，或者作為產品功能改善時的參考。儘管市面上有眾多巨量資料工具，但是企業若不熟悉工具應用方式、資料收集管道不夠完善，最終恐將會陷入無法精準掌握市場變化的窘境。

Kyligence (上海跬智信息技術有限公司) 聯合創始人兼執行長韓卿說，現今企業建構巨量資料分析平台，必須克服資料量大、處理速度慢、用戶多、本高等四大問題，若分析模型無法在短時間處理大量資料，即便能夠從中找到資料彼此之間的關聯，也將因為錯過最佳時間點，而無法發揮既有的效益，所以如何在成本與效能之中取得平衡，便成為資訊長必須克服的最大挑戰。

Apache Kylin 穩定性高 獲多家企業採用

廣被企業採用的 Apache Hadoop 平台問世至今已有 10 年歷史，最大特色在於能夠在短時間內處理大量資料，所以不少公司跨入巨量資料領域時，都會用該工具進行批量處理，以便能夠匯集來自四面八方的資料，進而將非結構資料轉換成結構化資料。但是該套軟體並不是沒有缺點，由於本身缺乏合適資料分析工具，所以最後還是得仰賴傳統資料分析工具協助，才能依照客戶需求進行報表分析、交叉分析的工作。傳統資料分析工具雖然具有關聯式分析的能力，但是卻無法在短時間內處理龐大的資料量，加上資料儲存成本非常昂貴，也遠超企業能夠負擔的能力，最終讓許多執行長望 Apache Hadoop 平台興嘆。

韓卿指出：「先前我在 eBay 工作時，便發現 Apache Hadoop 平台是很棒的巨量資料工具，但是在資料查詢方面，卻得仰賴傳統資料分析工具協助，所以當時團隊便決定尋找其他分析工具，以便提升資料查詢速度。儘管 2013 年當時市面上有不少開源工具，但經過實際測試之後，發現資料查詢速度依然不理想，所以團隊決定採取自行研發的策略，以便開發適合公司使用的方案。」

韓卿與團隊在提出此概念之初，便遭到多數公司同仁的反對，甚至表明該想法完全不可行。所幸在團隊共同努力研發的狀況下，終於推出能夠搭配 Apache Hadoop 平台使用的 Kylin，能夠快速回應查詢需求，更具備處理 PB 資料以上的能力，不僅功能與穩定性遠超過市面上其他分析工具，更多對企業發展帶來極大幫助。

韓卿表示， Kylin 專案成功後，徹底解決 Apache Hadoop 平台欠缺合適資料分析工具的缺點，也被 eBay 廣泛應用於眾多業務之中。為擴大 Kylin 專案效益，eBay 便決定透過 Apache 基金會協助，以開源方式提供給其他人使用，期望透過打造社群環境的方式，讓 Kylin 工具能夠成為分析大量資料的最佳選擇。

自從 Kylin 工具轉為 Apache Kylin 之後，不僅成為中國唯一進入 Apache 軟件基金會的產品，也吸引超過上百個社群投入相關應用與技術研發工作，是 Apache 軟件基金會非常活耀社群之一，也吸引不少企業用戶導入使用。除 eBay 之外，尚有百度、美團、京東、唯品會、今日頭條、聯想、國泰君安、華泰證券、中信銀行、浦發銀行、中國移動、中國聯通、中國電信、OPPO、樂視、魅族、glispa、MachinaZone 等等全球用戶，顯見其穩定性、資料查詢速度，早已受到各方企業肯定。

Kyligence 提供完整技術支援 確保巨量資料專案成功

Kyligence 大資料解析平台是基於 Apache Kylin 所開發，可提供企業環境所需的資料分析服務，能在 Apache Hadoop 平台上提供毫秒級的標準 SQL 查詢速度，讓業務用戶、解析師及工程師等，享受到簡單、快捷的巨量資料解析能力。

這套解決方案支援與企業級商業智慧及可視化工具，提供標準 ODBC、JDBC 驅動、REST API 介面等，市面上常見的資料解析、展示工具，如 Tableau、Microsoft、PowerBI、Microsoft Excel、Apache Zeppelin 、Saiku 等。此外，Kyligence 全新設計的可延伸架構，能將計算框架，資料源以及底層儲存等，延伸到更多應用領域之中，為不同企業用戶提供可配置的優化解決方案。

「Kyligence 大資料解析平台核心是基於 Apache Kylin，但是我們是推出符合開源軟體規範的訂閱模式，以便能為企業用戶所需的各種技術支援。」韓卿指出：「有別於其他業者 Kyligence 團隊不僅非常熟悉 Apache Kylin，且具有強大的程式開發能力，在定期發布軟體修補程式之外，也能提供系統維護、Kyligence 聯合創始人兼執行長韓卿說，Kyligence 則能提供與傳統資料分析工具相同的操作介面，分析師幾乎不需要重新學習，便可快速上手使用，這正是其他品牌產品遠遠不及之處。部署過程等技術支援，讓巨量資料成為協著企業發展的最佳工具。」

Kyligence 不需重新學習可降低入門門檻

Kyligence 大資料解析平台採用非侵入式架構，軟體部署過程中完全不需要在 Apache Hadoop 平台上安裝任何新的件，也不需要在資料節點或其他運算節點上安裝 Agent。而且所有與運算叢集間的協同作業，都能夠通過標準 API 完成，不僅有助於縮短設備部署時間，也能將對 Apache Hadoop 平台的影響降至作低。

此外，這款軟體可為業務用戶及資料分析師，提供毫秒級的查詢速度，並且能透多台伺服器串連的方式，針對超大規模資料進行互動式解析。產品支援 ANSI SQL 查詢標準，業務用戶及資料分析師無需重新學習新的技術，即可掌握資料管理與查詢的模式，取得業務發展所需的資料。換句話說，Kyligence 大資料解析平台能讓資料分析師以簡潔、快速的方式工作，如運用 Web 介面打造資料分析介面，完全不需要暸解底層技術。

韓卿表示，當初推出 Kyligence 大資料解析平台有兩大目的，首先是降低企業引進巨量資料的門檻，因為市面上類似產品的價格非常高，且並非多數公司能夠負擔。其次，則是降低巨量資料的學習門檻，畢竟多數解決方案都得重新學習使用方式，這往往造成同仁使用上的負擔。而 Kyligence 則能提供與傳統資料分析工具相同的操作介面，分析師幾乎不需要重新學習，便可快速上手使用，這正是其他品牌產品遠遠不及之處。

在數位經濟時代來臨之際，企業引進巨量資料工具的速度，將決定未來營運的成敗，而從 Apache Kylin 衍生而來 Kyligence 大資料解析平台，則能夠讓企業運用最低成本，打造資料分析與查詢速度最快的環境，絕對是企業快入巨量資料領域不可或缺的解決方案。

韓卿的新武器：強化版大數據分析平台 KAP (Kyligence Analytics Platform)

韓卿表示，經過半年研發，Kyligence 發佈了智慧大數據分析平臺 KAP，相比開源 Kylin，主要在四個方面有所增強。

一. 相容性

Apache Kylin 是基於 Hadoop 的 OLAP 引擎。Hadoop 經過十年發展，目前已經分化出很多版本，使用客戶 Kylin 運行在本地機房環境中會遇到各式各樣的問題，因此需要不斷進行調試。

KAP 在相容性方面要大大強於 Kylin，主要是源於 Kyligence 在與很多 Hadoop 廠商進行合作，完成產品認證，這樣 KAP 可以直接運行在這些 Hadoop 版本上。目前，Kyligence 已經與 Cloudera 完成產品的雙向認證。

二. 安全性

目前使用 Kylin 的用戶多為大型企業，對資料安全性有嚴格的要求，KAP 在資料加密、單格級別訪問控制列表、SSO 等安全性上，要更強於開源的版本，提升了企業級客戶的資料安全防護能力。

三. 用戶體驗

企業級客戶更喜歡端到端的服務，這樣學習成本相對較低，使用起來更方便。Kyligence 除提供基於 Kylin 的多維分析，還提供一個敏捷 BI 前端，實現一些商業智慧功能，使業務人員可以直接實現一些資料分析工作。

四. 應用場景

KAP 以 KyStorage 這個基於 HDFS 的全新列式存儲，替換掉了 Kylin 原來的存儲層 HBase。KyStorage 對比 HBase，一方面可以節省大量存儲空間，另一方面提升了查詢性能，同時，KAP 可以支援明細資料查詢、超寬表查詢、超高維度分析、複雜條件篩選等更多的應用場景。

儘管核心技術都是完全開源的，但是 Kyligence 基於對客戶使用 Kylin 的回饋結果，研發出符合客戶需求的企業級產品，幫助客戶更好地使用 Kylin 技術，這也是開源商業模式的主流做法。