從“數(shù)據(jù)說(shuō)話”，”DT 時(shí)代”，到 “數(shù)據(jù)中臺(tái)”，“數(shù)據(jù)驅(qū)動(dòng)”，數(shù)據(jù)體系的不斷演進(jìn)正在持續(xù)的改變大家的工作與決策方式；正在不斷的革新大家的思維方式；同時(shí)也產(chǎn)生了新的商業(yè)邏輯，新的發(fā)展機(jī)會(huì)。
目前數(shù)據(jù)科學(xué)自身的概念還在不斷的變革，各家公司的實(shí)踐者們一邊摸索，一邊獲利；一邊總結(jié)，一邊布道；當(dāng)然同時(shí)還參雜著很多湊熱鬧的同志把概念折騰的更加模糊。所以數(shù)據(jù)科學(xué)本身的能力邊界，方法論體系，最佳實(shí)踐等等還沒有完善的建立起來(lái)，有很多問題沒有辦法很好的回答。由此就會(huì)產(chǎn)生一些迷信和誤會(huì)，”強(qiáng)行數(shù)據(jù)“，”隨意數(shù)據(jù)“，”政治正確數(shù)據(jù)“等等情況比較常見, 無(wú)論是實(shí)際的操作層面，還是方法層面，都存在著一些不小的誤會(huì)。這也是小編打算總結(jié)一下在數(shù)據(jù)科學(xué)實(shí)踐中存在的陷阱與缺陷的緣由。
陷阱與缺陷 1：數(shù)據(jù)科學(xué)的"科學(xué)”在哪?
數(shù)據(jù)科學(xué)是我們常常說(shuō)起的一個(gè)詞，也是形容我們?nèi)粘９ぷ鞯囊粋€(gè)詞，但當(dāng)我們說(shuō)起的時(shí)候，內(nèi)心就會(huì)有些心虛，就光看到數(shù)據(jù)了，“科學(xué)”在哪里？如果沒有”科學(xué)“的部分，我們的產(chǎn)出的結(jié)論會(huì)不會(huì)有問題？
這是一個(gè)最常見的問題，數(shù)據(jù)科學(xué)的從業(yè)者們，不知道什么是”科學(xué)“。所以江湖上才會(huì)有 SQL Boy, SQL Girl 的稱呼。
一個(gè)常見的問題是數(shù)據(jù)指標(biāo)之間的相關(guān)性到底是不是真的相關(guān)？做數(shù)據(jù)分析往往能看到很多有趣的相關(guān)性，比如最近幾個(gè)月買了拖鞋的用戶，看起來(lái)有更大的可能性在最近一個(gè)月復(fù)購(gòu)另外一個(gè)商品。但是，這個(gè)相關(guān)性到底是不是真的存在，還是只是偶然的巧合？我們的分析報(bào)告很容易對(duì)這個(gè)問題視而不見。但如果這個(gè)相關(guān)性本身經(jīng)不起推敲，它又如何來(lái)指導(dǎo)我們的工作呢？數(shù)據(jù)分析報(bào)告難道要靠運(yùn)氣來(lái)驅(qū)動(dòng)業(yè)務(wù)發(fā)展么？
就算我們有不錯(cuò)的統(tǒng)計(jì)基礎(chǔ)，給每個(gè)假設(shè)都加上了假定值，往往還很容易把相關(guān)性與因果性給搞混。兩個(gè)事情相關(guān)，并不能得出結(jié)論說(shuō)他們之間互為因果。我們需要通過(guò)因果分析的方法，為數(shù)據(jù)之間的相關(guān)性提出符合業(yè)務(wù)邏輯和商業(yè)邏輯的解釋。
如果數(shù)據(jù)分析遺漏了因果分析這個(gè)過(guò)程，就會(huì)得出一些奇怪的結(jié)論。比如，我們發(fā)現(xiàn)較大的用戶，買的鞋子一般也是大號(hào)。如果缺乏基于業(yè)務(wù)邏輯的因果分析我們可能會(huì)這樣指導(dǎo)運(yùn)營(yíng)工作：為了讓用戶的腳變大，我們應(yīng)該多賣大號(hào)的鞋子給他們。
但有的時(shí)候，我們很難直接的分析出數(shù)據(jù)之間的因果關(guān)系，很難直觀的得出結(jié)論，這個(gè)時(shí)候，我們需要借助科學(xué)實(shí)驗(yàn)，幫我們更深入的理解我們的業(yè)務(wù)。
陷阱與缺陷 2：操縱，誤導(dǎo)，數(shù)據(jù)的民主化不足
數(shù)據(jù)民主化在國(guó)外的數(shù)據(jù)社區(qū)討論的很多，國(guó)內(nèi)聊的比較少。數(shù)據(jù)科學(xué)家們通過(guò)黑魔法制造出一些模型來(lái)，然后告訴業(yè)務(wù)同學(xué)該怎么決策，告訴高層業(yè)務(wù)指標(biāo)完成的好不好。數(shù)據(jù)的能力被限制在某一個(gè)專業(yè)團(tuán)隊(duì)，但它的產(chǎn)出卻又跟業(yè)務(wù)緊密相關(guān)，這些未知會(huì)給業(yè)務(wù)人員和管理層帶來(lái)恐懼與不安，數(shù)據(jù)團(tuán)隊(duì)給的結(jié)論會(huì)不會(huì)有可能是被操縱的？會(huì)不會(huì)有意無(wú)意的誤導(dǎo)？這些問題會(huì)很容易讓團(tuán)隊(duì)之間滋生不信任。
所以數(shù)據(jù)民主化不足帶來(lái)的一個(gè)重要問題就是信任問題，那該怎么解決？
在一次產(chǎn)技共創(chuàng)會(huì)中，有同事提出，要跟業(yè)務(wù)“談戀愛”。對(duì)于眼下的現(xiàn)實(shí)，這確實(shí)是解決信任問題的一個(gè)好辦法。阿里的曾經(jīng)的數(shù)據(jù)總監(jiān)也曾說(shuō)過(guò)類似的話：數(shù)據(jù)同學(xué)要會(huì)"混，通，曬"，跟業(yè)務(wù)同吃同行，建立信任，才能互相成功。但這終究不是一個(gè)可規(guī)?；蜆?biāo)準(zhǔn)化的解決方案 。
陷阱與缺陷 3：數(shù)據(jù)預(yù)測(cè)未來(lái)不是理所當(dāng)然，預(yù)測(cè)的成功不僅是算法模型
老板們經(jīng)常會(huì)把算法能力簡(jiǎn)單化：預(yù)測(cè)的不準(zhǔn)？找兩個(gè) NB 的算法專家做個(gè)模型就能搞定！遺憾的是，現(xiàn)實(shí)并不這么簡(jiǎn)單，你可能找 100 個(gè) NB 的算法專家都沒用。
有人見過(guò)用算法來(lái)預(yù)測(cè)下一輪雙色球中獎(jiǎng)號(hào)碼的么？有人用算法來(lái)預(yù)測(cè)接近混沌狀態(tài)的股市漲落么？作為一個(gè)旁觀者，你能利用算法來(lái)預(yù)測(cè)意甲的每場(chǎng)比賽成績(jī)么？
有的業(yè)務(wù)問題本身是無(wú)法預(yù)測(cè)的，因?yàn)樗^(guò)去沒有關(guān)系（比如雙色球）；有的業(yè)務(wù)問題預(yù)測(cè)成本很高，短時(shí)間內(nèi)無(wú)法做出有價(jià)值的模型（比如預(yù)測(cè)股市，預(yù)測(cè)比賽等），需要考慮投入與回報(bào)。事實(shí)上，很多算法的成功落地應(yīng)用，不光是需要有合適的模型，還需要大量維度的數(shù)據(jù)作為生產(chǎn)資料，更關(guān)鍵的是要有一個(gè)完善，可靠的算法工程體系。而后者，往往會(huì)被決策者忽略。
決策者在考慮利用算法模型去預(yù)測(cè)未來(lái)時(shí)，他需要想明白 投入與產(chǎn)出，組織需要投入的不止是 幾位算法大神就行，還需要建設(shè)完善的數(shù)據(jù)基礎(chǔ)體系，還需要建設(shè)完善的算法工程體系。決策者如果期望數(shù)據(jù)和算法能發(fā)揮突破性的效應(yīng)，需要有魄力把成本投入到自己目光不能及的地方，比如基礎(chǔ)數(shù)據(jù)體系，比如算法工程。
陷阱與缺陷 4：空中樓閣 - 基礎(chǔ)設(shè)施與基礎(chǔ)能力的不完備
這個(gè)問題比較抽象，對(duì)于 BI/ 算法 / 數(shù)據(jù)產(chǎn)品的同學(xué)而言，可能不好理解。不過(guò)大家只需要記?。簲?shù)據(jù)的最底層，搖搖欲墜，并不堅(jiān)實(shí)，同樣需要一個(gè)團(tuán)隊(duì)精心守護(hù)。
大家在興奮的玩耍數(shù)據(jù)，利用數(shù)據(jù)來(lái)驅(qū)動(dòng)業(yè)務(wù)前進(jìn)的時(shí)候，如果回頭望望做數(shù)據(jù)基礎(chǔ)建設(shè)的同學(xué)，如果他們告訴你其實(shí)你在用的數(shù)據(jù)能不能真的算出來(lái)、有沒有算對(duì)，他們也沒多少信心的時(shí)候，你會(huì)不會(huì)覺得心驚肉跳，會(huì)不會(huì)覺得人生其實(shí)有些虛無(wú)？如果大家有機(jī)會(huì)采訪下各個(gè)互聯(lián)網(wǎng)公司，可以問問他們被抱怨最多或者故障最多的技術(shù)團(tuán)隊(duì)是哪個(gè)？相信答案都比較一致：“大數(shù)據(jù)基礎(chǔ)團(tuán)隊(duì)”。
這當(dāng)然并不是因?yàn)榇髷?shù)據(jù)基礎(chǔ)行業(yè)的從業(yè)者敬業(yè)精神不足或者能力不足。而是因?yàn)榇髷?shù)據(jù)體系其實(shí)并沒有一個(gè)非常堅(jiān)實(shí)的工程基礎(chǔ)。如果有對(duì)數(shù)據(jù)工程基礎(chǔ)感興趣的小伙伴，可以翻翻睿帆科技相關(guān)產(chǎn)品的資料，相信你一定會(huì)得到答案，這里咱們就不展開了。
數(shù)據(jù)的基礎(chǔ)設(shè)施可靠性不足：數(shù)據(jù)的采集系統(tǒng)，數(shù)據(jù)的存儲(chǔ)系統(tǒng)，數(shù)據(jù)的計(jì)算系統(tǒng)，數(shù)據(jù)的分析引擎，這些服務(wù)的可靠性相比其他的在線服務(wù)低一大截。
計(jì)算模型不完備和廣泛的誤解：大數(shù)據(jù)的計(jì)算有兩個(gè)模型：流計(jì)算、批計(jì)算。兩個(gè)模型對(duì)應(yīng)的基礎(chǔ)設(shè)施各自獨(dú)立發(fā)展，誰(shuí)也不理誰(shuí)。雖然，實(shí)時(shí)計(jì)算、離線計(jì)算在很多現(xiàn)實(shí)場(chǎng)景中，存在著一致性，但本質(zhì)上，它們是兩回事。甚至很多從業(yè)者也無(wú)法清晰的分清楚這些基本概念，把實(shí)時(shí)計(jì)算和流計(jì)算等同，這給數(shù)據(jù)工作帶來(lái)了巨大的困擾。
為了適配這兩個(gè)計(jì)算模型，很多組織團(tuán)隊(duì)會(huì)有獨(dú)立的流計(jì)算團(tuán)隊(duì)和批處理團(tuán)隊(duì)；會(huì)有實(shí)時(shí)數(shù)倉(cāng)和離線數(shù)倉(cāng)，會(huì)有實(shí)時(shí)指標(biāo)和離線指標(biāo)等等。這些數(shù)倉(cāng)和指標(biāo)的研發(fā)人員存在著割裂，數(shù)倉(cāng)建設(shè)方法論、指標(biāo)定義也不盡相同。維護(hù)成本和解釋成本都很高，出錯(cuò)幾率也很大。很常見的情況是一個(gè)業(yè)務(wù)的數(shù)據(jù)需求，往往需要拆解成實(shí)時(shí)和離線兩個(gè)方案，共同去實(shí)現(xiàn)。這個(gè)糟糕的局面沒有變得更好。
許多大公司都在嘗試做批流融合，但融合兩種完全不同的計(jì)算模型，是一件不美好的事情，直覺上也不大對(duì)。由于歷史原因，實(shí)時(shí)的數(shù)據(jù)往往需要依賴流計(jì)算模式來(lái)產(chǎn)生，從而產(chǎn)生了實(shí)時(shí)計(jì)算 == 流計(jì)算的誤會(huì)。而融合實(shí)時(shí)數(shù)據(jù)與離線計(jì)算，解決起來(lái)就容易很多 。而流處理也需要走向更適合它的場(chǎng)景。
其實(shí)能總結(jié)的問題遠(yuǎn)不止這些，為了將數(shù)據(jù)科學(xué)的煉金術(shù)轉(zhuǎn)化為真金，企業(yè)必須讓數(shù)據(jù)科學(xué)為業(yè)務(wù)帶來(lái)有形的價(jià)值。他們不能只專注于實(shí)驗(yàn)，而是將數(shù)據(jù)科學(xué)作為業(yè)務(wù)模式的組成部分，并與公司的優(yōu)先事項(xiàng)保持一致。如果你遵循上述的方法，樂章將再次奏響，數(shù)據(jù)科學(xué)將不會(huì)成為一場(chǎng)騙局。