中國企業聯合會
中國商業協會
您所在的位置:首頁 > 數碼IT >> 正文

大數據時代 金山云容器引擎實踐為用戶創造更多價值

企業報道  2020-02-28 10:38:00 閱讀:6114

  隨著云原生技術的加速普及,Kubernetes逐漸成為IT技術架構的基石,并推動著各行業技術架構的轉型升級。在《InfoQ 編輯部開年聊聊2020 年值得關注的十大技術趨勢》報道中,寫到其中一個趨勢是容器化加速席卷大數據基礎架構。

  今天,我們就分享下金山云容器引擎在大數據平臺的應用實踐。

  大數據平臺擁抱Kubernetes 金山云容器引擎應需而生

  眾所周知,Hadoop的出現加速大數據技術的應用推廣,隨著應用場景的不斷豐富,近幾年也涌現出多款優秀的計算框架,如Spark、Flink等。此前在大數據分布式調度平臺中,大家普遍采用是Yarn,但是隨著應用場景豐富和規模擴大,平臺逐漸暴露出一些問題,如資源隔離限制較弱、監控信息不完善、彈性擴展能力弱、GPU支持不足等。

  隨著容器化的快速發展,大數據原有的Hadoop Yarn分布式任務調度模式,正在被基于Kubernetes的技術架構所取代。容器憑借輕量秒級部署、一次構建、處處運行的巨大優勢,推動了快捷、自動化的工作流程,同時Kubernetes提供的強大編排能力以及蓬勃發展的社區生態,為大數據容器化提供了便捷的平臺。

  大數據系統原生支持on Kubernetes,例如Spark 從官方2.3版本開始就可以無需任何修改直接運行在 Kubernetes 上,這是一個里程碑式的事件,表明了未來技術架構的發展方向。

1.jpg

  容器引擎是金山云推出的Kubernetes服務產品,基于原生的Kubernetes進行開發和適配,無縫融合了金山云生態的其他基礎資源和產品服務。

  目前,金山云容器引擎覆蓋主流應用的多版本Kubernetes,支持一鍵式創建,多可用區高可用部署,同時提供舊版本的一鍵升級功能,持續保護用戶資產;集成云平臺能力,如網絡方案(Flannel和Canal)、持久化存儲(塊存儲和文件存儲)、安全(多租戶隔離和主機加固)等;鏡像倉庫支持對Docker hub、gcr.io鏡像加速,高速內網下載鏡像,11個9的可靠性保證;在控制臺支持Kubernetes 的軟件包管理工具Helm,提供金山云官方Helm Chart,支持在線可視化部署Helm應用。

  此外,金山云容器引擎大幅降低了Kubernetes的使用門檻和綜合成本,讓用戶開發團隊更專注自身業務。

  統一管理、彈性伸縮 為用戶創造更多價值

  由于大數據應用的復雜性,會使用多種類型的機型作為Work節點,如利用云主機應對快速的流量擴容、利用云物理服務器提供無性能損耗能力、利用云GPU服務器的大規模線程和高速計算力優勢等等,來滿足計算的需求。

  金山云容器引擎提供混合集群的統一管理服務,在一個集群可以實現多種類型節點的統一管理,通過Label的設置可以實現對整體資源的統一調度部署,避免了多個集群的使用,一方面大幅降低了使用成本,另一方面有效提升管理效率。

  大數據業務對計算的需求是動態的,并且波動較大,金山云容器引擎支持Cluster AutoScaler實現集群工作節點的彈性伸縮,節省開支。目前,金山云容器引擎本身免費對外提供使用,同時提供免費的企業級容器鏡像倉庫服務,用戶僅需支付所使用資源的費用,工作節點支持預付費包年包月、按日配置付費、按小時配置計費等靈活的計費策略選擇。

2.jpg

  整體框架圖

  大數據云平臺利用容器引擎集群、云物理機集群、云服務器集群構建大數據控制平臺和共享服務資源池,為用戶提供租戶隔離、安全可靠的大數據托管服務。

3.jpg

  大數據平臺在容器引擎的部署方案如上圖所示:

  1、在endpoint容器引擎集群中部署微服務架構,如:數據管理(元數據管理、數據權限、數據質量、數據地圖等)、數據服務、數據采集,共享的組件mysql ,redis等基礎服務。

  2、在online/offline容器引擎集群中部署的大數據組hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等,目前hive、hbase等用的是HDFS存儲,而zookeeper、ElasticSearch、kafka用的是NFS、KS3存儲。

  目前,金山云大數據平臺已使用容器引擎平臺部署在線和離線的業務,支持海量數據處理,在整個過程雙方團隊積累了豐富的大數據使用經驗,持續在spark on kubernetes的動態資源、kube-scheduler調度策略等方面進行優化,升級產品功能,并賦能更廣泛的大數據相關用戶,為用戶創造更多價值。

  作為CNCF基金會黃金會員之一,金山云致力于推動基于容器技術的云原生產品方案落地實踐。目前,金山云已通過CNCF Kubernetes服務提供商認證,容器引擎已通過CNCF Kubernetes一致性認證以及可信云容器解決方案認證和可信云Kubernetes認證。此外,金山云擁有CNCF CKA、CKAD認證的高級技術專家團隊,為用戶提供專業的產品和服務支持。

4.jpg

  欲了解更多詳細,歡迎點擊(金山云容器引擎:https://www.ksyun.com/post/product/KCE.html)


更多專題
西北油田密織“三張網”,扎實打好勘探...

西北油田塔里木盆地中21井區三維地震勘探資料采集項目位于新疆沙雅縣,工區以沙漠地貌為主,百里之內,胡楊都見不到一棵。

扎根千里煤海 奉獻無悔青春

2007年,他帶著青澀與稚嫩走出了礦大的校園,帶著理想與抱負投身祖國煤炭事業建設,光陰荏苒,一轉眼13年過去了,那個書生意氣的少年已在煤海中磨礪成鐵骨錚錚的“...

相關機構:
相關媒體:
? 赚钱棋牌娱乐游戏官网 股票基本面分析 广东快乐10分现场开奖 炒股模拟软件 永利皇宫棋牌登录 山西扣点点安卓版下载 吉林十一选五黑彩 今天的新疆35选7开奖 000001上证指数东方财富网 体彩网31选7都是图 2019能赚钱的网络游戏 哈灵浙江麻将下载 江苏十一选五直播 广西今天快三开奖 城市赛车2018下载 平特怎么买 黑龙江11选5遗漏正好