數據中臺元年,企業數字化轉型面臨的三大挑戰

2019-11-06 15:13 來源:奇點云
瀏覽量: 收藏:0 分享

  隨著企業信息化程度越來越高,企業掌握的數據量從原來的TB級發展到PB級,再到EB級甚至往ZB級別發展。數據形式也在從原來的結構化數據為主轉變為以日志、視頻、圖片、語音等非結構化數據為主。

  然而,數據存儲和計算、數據組織的運行都是有成本的。當數據消耗成本較小時,企業通過設立獨立預算的大數據項目即可應對。但是隨著越來越多的數據產生且被應用,數據成本急劇增加,發展數據業務就必須被提升到企業數字化轉型的高度,之前的應對策略便不足以應對。毋庸置疑,接下來,數據部門將作為一個業務部門長期存在,這就需要數據部門需要有盡量清晰的業務邊界,有可控的投入產出。

  同樣的轉型歷程,奇點云創始團隊在阿里巴巴時也是親身經歷。2013年,當數據應用不再以BI(看數據)為主,而是為核心業務(數據支撐廣告投放更精準)服務時,存儲優化和計算優化,以及整體有序的大數據業務規劃便成為了當務之急。

  過去三年,在幫助企業構建數據中臺的實踐中,我們提煉了企業數字化轉型最主要的三大挑戰(業務挑戰、技術挑戰、組織挑戰),或者說企業必然會面臨的三大困境,看看數據中臺如何為企業發揮價值。

  業務挑戰:

  如何以大數據賦能,反哺業務精耕?

  越是成功的企業,業務發展的痛點越難以單點解決,需要整體思考、科學決策、集體行動,在業務的創新中解決這些痛點。

  比如,如何做好會員精細化運營?如何為門店挑選合適的商品且控制好庫存?如何動態打折以至不損傷毛利等等,是擺在企業前面的一個個難題,直接影響到企業的規模擴展或者利潤提升,也是企業迫切需要解決的問題。

  這就需要構建數據中臺,通過大數據賦能業務。

  相比傳統數據業務,大數據業務的優勢在于,通過整體規劃智能化的數據應用,來推動業務創新。這就是企業數字化轉型的業務內涵。這些數據智能應用需要將業務經驗和解決方法論、全域的數據模型,與算法模型相結合,我們稱之為“業務智能模型”,它的價值在于“降本增效”。

  在奇點云過去三年的數據中臺實踐中,我們發現這些業務智能模型遍布在整個零售產業上下游。比如通過全方位的數據反饋并指導買手做好選品;又如通過商品的聚類,發現某類特征的商品,可以優化打折速度和幅度,以此提高整體的折扣率從而增加毛利等。再比如,通過門店和商品數據,通過最優算法,解決“什么樣的店鋪類型應該鋪什么商品”,以提升門店的顧客進店轉化率,從而提升效益。

  業務智能模型需要數據和業務系統深度結合,在運營工作中直接產生效果,讓業務能夠自動化、高效地運轉起來。

  技術挑戰:

  如何高效的數據治理,遠離數據“黑洞“?

  要做好有價值的業務智能模型,離不開高質量、高可用的、全域的數據中臺,數據治理就顯得非常重要。“數據治理”是企業數字化轉型中典型的大數據技術問題。

  數據治理,解決的是“業務越來越復雜而數據現狀的臟亂差”帶來的挑戰。如何合理規劃數據結構?如何規范定義數據?如何有效管理數據資產?如何安全分發使用數據?這都需要一套完善的數據治理體系,驅動企業數據化運營轉型。

  數據治理是基礎,也制約了企業的數據智能化方向的發展,難以做到數據創新。從理念上來看,“治”不應只在事后,更應在事前,“理”考驗的是業務與技術能力的結合。從實際內容上來看,數據治理是一套方法體系+工具集,旨在幫助企業合理的架構數據、規范的定義與加工數據、清晰的管理數據、安全的應用數據,促使數據從成本中心變成價值中心,驅動企業數字化轉型。

  奇點云總結了“數據治理的七個要素”如下:

image.png

  1、數據的標準定義:數據維度及指標需要清晰的、統一的、標準的定義,如“最近一天門店在線上渠道的下單金額”。

  2、數據模型的標準設計:按業務領域拆解業務過程,根據業務過程設計數據模型,好的模型標準是高內聚低耦合,能支撐未來擴展。

  3、數據的規范開發與測試:在一定的編碼規則下開發,確保代碼質量的穩定性。

  4、元數據的合理管理:數據的存儲是需要成本的,需要合理的生命周期管理。

  5、數據質量的保障:數據的可用性、可信度,均需數據質量保障,數據質量從上游采集、中間的數據加工,下游的數據服務都需要一套質量檢測工具來保障準確性、完整性。

  6、數據的安全管控:數據是企業的核心資產,數據安全上升為企業安全。數據安全包含數據的分級、敏感數據脫敏、分行列控制、高危訪問實時告警、事后的安全審計等。

image.png

  7、數據的合規使用:企業成立數據安全委員會,為數據的合規使用制定規范,必須在合規范圍內安全使用數據。

  組織挑戰:

  如何深挖數據紅利,成為業務創新“能手“?

  從解決業務挑戰和技術挑戰出發,企業必須把數字化轉型定義為戰略問題,從而推動“數據中臺”的落地,這也給企業帶來了組織上的挑戰。

  一般來講,傳統的數倉解決方式有兩大問題:一方面從業務系統直接計算數據,非解耦架構對業務系統影響極大。一方面基于DB構建的數據倉庫,計算及查詢效率難以滿足業務數據膨脹的大趨勢要求。解決這些問題,已經不是藏在“IT部門”的數據小分隊這一組織形式所能夠解決的。

  2018年7月,阿里云總結了過去的成功經驗,在業界大力推出“數據中臺”解決方案,很好地解決了這些問題。奇點云提出的數據中臺架構與設計,其出發點是支撐復雜的、多系統的、數量巨大的、多應用場景的業務形態。在組織層面理順以下部門或團隊關系,來解決企業在組織落地戰略上的困惑:

  1.與傳統IT業務之間的關系:業務和計算分離,業務和數據分離

  ·大數據業務應與業務系統解耦,采用T+1離線計算方法產出結果數據,不直接在業務系統上進行數據計算,實現了業務和計算的分離、業務和數據的分離。

  ·大數據部門的工作起點是滿足多種計算場景的需求。支持大數據計算,結合了多種計算引擎,針對不同的場景使用不同的計算引擎,如離線計算引擎、實時計算引擎、多維分析引擎、即席查詢引擎、實時搜索引擎。

  2.與業務部門的關系:站在企業視角打通數據,支撐業務部門用數據

  ·支持各種異構數據源打通,提供了一套基于reader和writer的抽象化數據抽取插件,除了提供系統自帶的插件外,還支持自定義實現reader和writer插件,通過公共的管道,實現結構化和非結構化數據的互相傳輸,統一技術框架。

  ·支持業務部門的高并發多場景的實時查詢,數據中臺集成了基于分布式的KV查詢框架,可以支持海量級別的查詢請求,并且響應時間可以控制在毫秒級別。

  ·支持多場景的數據服務,靈活快速支撐業務需求,向導和自定義雙模式快速生成API,實時監控API調用情況。

  ·面向業務部門,為業務部門的數據分析、開發提供培訓和技術支持。

  3.與合作伙伴的關系:找到數據部門的核心能力

  ·應該深入業務,影響業務效率。數據模型融合離散的業務數據,可借助數據中臺快速構建數據模型,建立全方位的數據視角,消滅信息孤島和數據差異,靈活支撐業務的變動。

  ·不應該在大數據平臺建設、在很難培養的團隊能力上下功夫(比如算法能力),盡量借用外腦。

  某服飾K案例:

  客戶背景:想要通過數據智能化應用,提升管理效率,從集團CEO到各部門經理到一線店長,經營效率需提升,運營過程需要數據支撐,一方面是數據產出速度,一方面是緩沖的精準度。以及優化當前的人員排班,避免客流不大時過于飽和人效較低,高峰期時人員不夠導致訂單損失。

  數據中臺解決方案:構建集團/銷售總經理/門店店長三層駕駛艙,拉通數據中臺的建設,順勢統一指標標準、數據采集標準、建數據模型標準,驅動企業的數據上一個臺階,為后續的創新打下基礎。

  統一管理:企業管理行為落地KPI體系,KPI數據反映管理與經營的效率;

  統一視角:一站式數據服務,從集團總裁,到分公司總經理,甚至到門店店長,都在一個系統中透視KPI、逐層從上到下穿透,直至發現問題。

  統一口徑:所有指標及維度必須標準化,包括命名規范、口徑統一、數據模型統一,從而為指標解讀有據可依。

  智能排班:通過計算每人的績效,結合到門店計算人效,聚類區分幾類人效人群,得出中等人效即可服務號一般門店。同時預測門店未來的訂單量,擬合中等人效水平,計算未來一周內門店各時間段需要的人力情況。結合門店和人員的區域化情況,從而實現了智能排班系統。

image.png

  實施效果:上線后第一個月開始,集團高管月會,開始使用管理駕駛艙梳理盤點診斷業務;數據中臺支撐的倉庫單據從原來的10分鐘降低到5秒,緩沖補貨時間從30分鐘降低到5分鐘以下;上線3個月,離線的Excel模版報表,從500個降低到250以下;基于數據中臺創新了智能排班系統、店鋪前臺商品推薦系統;技術人員從傳統的Oracle存儲過程過度到大數據平臺,成長了數據模型研發與算法能力。智能排班上線,整體人員下降了10%(自然淘汰人效最低的人員),從而為公司每年帶來大幾千萬的利潤。

  某母嬰M案例:

  客戶背景:在企業運營效率低下,無標準數據體系及系統支持的情況下,企業所運營的APP千人一面,所有運營活動需要手工調整,幾乎沒有數據化運營。基本靠經驗,影響用戶體驗,老客戶復購率低。

  數據中臺解決方案:該項目分兩期實施,一期規范采集,打通日志、交易、售后等數據,構建統一數據中臺,建立標準指標體系,構建業務分析BI系統及一系列運營報表,支撐運營日常數據工作效率提升,快速洞察業務,驅動高效運營決策;二期構建會員、商品、店鋪標簽體系,增加實時日志采集,在購物主鏈路四個環節(首頁-搜索-購物車-支付)做千人千面推薦引擎,提升用戶發現感興趣和可能需要的商品,提升新客戶的轉化率與老會員的復購率。

  實施效果:上線了平臺運營中心,支撐了所有運營日常數據工作;購物主鏈路個性化推薦,提升了新客戶50%的轉化率,提升了老客戶80%的復購率;

  我們認為,在AI驅動下的數據中臺大有可為。所有的數據一定是基于數據中臺形成一個業務閉環,把數據賦能給新零售前端的應用,可以幫企業真真正正實現自身的數字化轉型。

標簽:

責任編輯:bozhihua
在線客服
11选5网赌哪个平台靠谱