數(shù)據(jù)中臺,一個老生常談的問題。關于數(shù)據(jù)中臺的解讀,公開的資料有很多,每個人似乎都有自己的理解。面對鋪天蓋地的各種名詞,難免會讓人有一種云山霧罩的感覺。本文將跳出數(shù)據(jù)中臺來淺聊一下數(shù)據(jù)中臺,拋卻這些高大上的解讀,回歸本質。
首先,值得注意的是,數(shù)據(jù)中臺依然是當下大數(shù)據(jù)領域最前沿的數(shù)據(jù)建設體系,數(shù)據(jù)中臺是傳統(tǒng)的數(shù)據(jù)倉庫的一種升級,是數(shù)據(jù)采集、建設、管理與使用的一整套體系。由此可見,數(shù)據(jù)中臺是一種數(shù)據(jù)建設體系,那要進行數(shù)據(jù)體系化建設,需要什么呢?組織、方法論和產品工具。所以,數(shù)據(jù)中臺不是孤立的一個產品,也不是數(shù)據(jù)加工處理之后做幾張報表那么簡單。
數(shù)據(jù)不是為了存儲,不是為了管理,更不是為了治理,而是為了服務,為了價值化。
為什么做數(shù)據(jù)中臺
緣起
與其說為什么做數(shù)據(jù)中臺,不如說為什么使用數(shù)據(jù)。數(shù)據(jù)在如今時代的重要性是不言而喻的,因為數(shù)據(jù)很重要,所以我們要使用數(shù)據(jù)監(jiān)控業(yè)務的發(fā)展現(xiàn)狀,助力業(yè)務決策,賦能業(yè)務增長。一般而言,對于一些小企業(yè),其業(yè)務體量比較小,復雜度相對比較低,所以一些簡單數(shù)據(jù)處理就可以滿足日常對數(shù)據(jù)的使用。這里談的數(shù)據(jù)中臺,是針對于一些大型的數(shù)據(jù)化公司(互聯(lián)網(wǎng)科技公司),其業(yè)務體量之大和復雜度之高,使得一些簡單的數(shù)據(jù)處理難以滿足數(shù)據(jù)使用的需求,由此就應運而生了很多數(shù)據(jù)處理的方法和工具。在實際的摸索實踐中,又不斷的沉淀升華,于是乎就有了一套標準和一些列可操作的SOP,這其中很多的環(huán)節(jié)都是數(shù)據(jù)倉庫的范疇,為了有別于數(shù)據(jù)倉庫,就起了一個數(shù)據(jù)中臺來進行命名。所以,不需要糾結名字是什么,要搞懂其本質是什么。
事物的發(fā)展不是直線前進的,而是螺旋式上升的。所以,一定是在遇到問題并解決問題的過程中得以發(fā)展的。換句話說,新事物的出現(xiàn)是為了解決某些既定問題的。那在企業(yè)使用數(shù)據(jù)的過程中會遇到哪些問題呢?
數(shù)據(jù)標準問題
煙囪式開發(fā)及局部業(yè)務服務支撐,導致指標同名不同口徑問題頻發(fā)
數(shù)據(jù)質量問題
重復建設導致任務鏈冗長、任務繁多,計算資源緊張,數(shù)據(jù)時效性不好;口徑梳理定義的文檔沉淀到開發(fā)代碼實現(xiàn)之間存在脫節(jié),數(shù)據(jù)準確性保障風險高
需求響應問題
煙囪式開發(fā)周期長、效率低,導致業(yè)務響應速度慢
成本資源問題
煙囪式開發(fā)的重復建設浪費技術資源;上線難下線更難,源系統(tǒng)或業(yè)務變更不能及時反映到數(shù)據(jù)上,加之數(shù)據(jù)不標準,研發(fā)維護難上加難的同時,大量無用計算和存儲造成資源浪費。
目標
面對如此多的問題,需要一套體系化的方法和工具產品來支撐,方可一一破解。由此引申出來,做數(shù)據(jù)中臺要實現(xiàn)哪些目標,其實很簡單:降本提效賦能業(yè)務提升。
業(yè)務提升
使用數(shù)據(jù)的目的是輔助業(yè)務增長的,所以最本質,最原始的訴求或者目標就是怎么讓業(yè)務增長。
效率提升
這個效率包括兩個方面,一方面是業(yè)務側因為有了數(shù)據(jù)的輔助而提效,另一方面產研側因為有了工具和方法論而提效。
降低成本
開源節(jié)流是亙古不變、顛撲不破的一條準則,任何事情都要有成本的考量,無論是對于業(yè)務還是產研,在節(jié)省成本的情況下能夠不斷帶來業(yè)務增量才是一個可持續(xù)的發(fā)展。
怎么做數(shù)據(jù)中臺
前面提到,數(shù)據(jù)中臺是一整套體系,不是一個數(shù)據(jù)產品就能解決的事情。另外,無論對于數(shù)倉還是數(shù)據(jù)中臺,能否做成功并發(fā)揮作用,也取決于組織的環(huán)境。如果一個組織的基因是根植在數(shù)據(jù)上的,那實踐并推動起來就相對簡單,如果一個組織并沒有意識使用數(shù)據(jù)或者不需要那么復雜的數(shù)據(jù)場景,那么實現(xiàn)起來就會略顯困難。數(shù)據(jù)建設不是喊口號、做PPT吹水。它是一項復雜工程,涉及到方方面面,不是一蹴而就的,是在實踐中不斷完善的。如果一個組織壓根就沒有數(shù)據(jù)基因,那結果只會是空中樓閣。
與其說怎么做數(shù)據(jù)中臺,不如說怎么進行體系化的數(shù)據(jù)建設。這樣理解起來就不是為了數(shù)據(jù)中臺而數(shù)據(jù)中臺?偨Y起來:
組織
方法論
產品工具
組織
組織是根本,皮之不存毛將焉附。一個組織對于數(shù)據(jù)的依賴程度和對數(shù)據(jù)的應用深度,是數(shù)據(jù)中臺的根基。如果把數(shù)據(jù)中臺理解成一個工具,那組織就是使用工具的人,換句話說,組織是讓數(shù)據(jù)中臺運轉起來的載體。如果組織中的人對于數(shù)據(jù)的使用程度不高,數(shù)據(jù)中臺也就是成了無源之水無本之木了,也就很難推進后續(xù)的事情,即便做成了,也不會有人使用,更不用說會發(fā)揮什么價值了。
所以,讓使用數(shù)據(jù)成為大家的肌肉反應,是一個前置條件。當有了這個前置條件,就可以通過數(shù)據(jù)產品、數(shù)據(jù)應用,從而讓組織中的人更好的理解和消費數(shù)據(jù)。
方法論
就像做開發(fā)一樣,任何一套框架背后還是有一套基本的思想。構建數(shù)據(jù)中臺也有一套理論來支撐它:數(shù)據(jù)中臺的思想就是One Data方法論,由One Model、One ID、 One Service三個部分組成,包括數(shù)據(jù)標準規(guī)范、模型規(guī)范、數(shù)據(jù)研發(fā)規(guī)范、數(shù)據(jù)服務規(guī)范等一系列的建設標準外,還包括規(guī)范落地的相關工具去保障標準化、體系化的建設。
img
One Model:統(tǒng)一數(shù)據(jù)構建和管理
數(shù)據(jù)是客觀的,只是存儲在數(shù)據(jù)庫一些表。關鍵是如何用數(shù)據(jù)表達、刻畫和呈現(xiàn)對應的業(yè)務事實,這個背后需要有一套標準,這個標準叫One Model。零散的數(shù)據(jù)存放在數(shù)據(jù)庫中,并不能直接拿來去使用的,需要加工處理之后才有業(yè)務意義。另外,現(xiàn)實中大家對于數(shù)據(jù)口徑的定義和解讀也是不一樣的,比如什么是PV,UV,什么是活躍,這些問題都會造成數(shù)據(jù)之間的阻塞。所以,只有數(shù)據(jù)標準統(tǒng)一了,才能實現(xiàn)數(shù)據(jù)價值的最大化。
通俗來講,One Mode是數(shù)據(jù)建模的標準,比如:
主題域建模:在數(shù)據(jù)中臺, 主題對應一個宏觀的分析領域,比如交易、流量、商品、用戶等等。
維度建模:主題域的基礎之上,有響應的維表和事實表。
One ID:統(tǒng)一數(shù)據(jù)萃取
One ID是數(shù)字化商業(yè)很重要的基礎設施,為了能夠更好的刻畫用戶,打通數(shù)據(jù)體系,通過ID Mapping 產生OneID,這一步之后我們的整個數(shù)據(jù)體系就將使用OneID作為用戶的ID,這樣我們整個數(shù)據(jù)體系才能得以打通。
OneService:統(tǒng)一數(shù)據(jù)服務
數(shù)據(jù)在一起不是為了統(tǒng)一,是為了Service。不提供服務的數(shù)據(jù),就只有成本,也感覺不到數(shù)據(jù)的價值。數(shù)據(jù)存在并且放在一起而不加以應用,并不代表你有數(shù)據(jù)中臺。
OneService核心是服務的復用,能力包括:
利用主題邏輯表屏蔽復雜物理表的主題式數(shù)據(jù)服務
一般查詢+ OLAP 分析+在線服務的統(tǒng)一且多樣化數(shù)據(jù)服務
屏蔽多種異構數(shù)據(jù)源的跨源數(shù)據(jù)服務
產品工具
有了方法論之后,還需要有一套工具產品來承接。如果只是大談特談方法論,而不去落地,那也很難將方法論延續(xù)、演進,所以方法論背后必須有一套工具。
數(shù)據(jù)采集
數(shù)據(jù)開發(fā)
數(shù)據(jù)質量管理
元數(shù)據(jù)管理
數(shù)據(jù)資產管理
數(shù)據(jù)服務
數(shù)據(jù)安全
可以看出,數(shù)據(jù)中臺是一項很復雜的系統(tǒng)工程,涉及的工具產品有很多。當然,這些產品工具都有對應的云服務,這樣開發(fā)人員就可以專注于數(shù)據(jù)和業(yè)務,從而提升研發(fā)的效率。對于自研工具的企業(yè)而言,一般也是圍繞這些方面進行開發(fā)的,指的注意的是,工具只是手段,不是目的。數(shù)據(jù)不是為了存儲,不是為了管理,更不是為了治理,而是為了服務,為了價值化。
總結
本文首先介紹了數(shù)據(jù)中臺的起源,然后介紹了數(shù)據(jù)中臺的目標,接著介紹了如何去建設數(shù)據(jù)中臺,主要包括:組織、方法論和產品工具三個方面。希望本文對你有所幫助。
來源: 大數(shù)據(jù)技術與數(shù)倉
以上是關于用戶增長師的相關信息,以供大家查看了解。想要了解更多用戶增長師信息,第一時間了解用戶增長師相關資訊,敬請關注唯學網(wǎng)用戶增長師欄目,如有任何疑問也可在線留言,小編會為您在第一時間解答!