183.17.228.* 2020-10-12 13:13:23 |
大數(shù)據(jù)是互聯(lián)網(wǎng)上海量的數(shù)據(jù)挖掘,而數(shù)據(jù)挖掘更多的是針對企業(yè)內(nèi)部的小數(shù)據(jù)挖掘,數(shù)據(jù)分析是進(jìn)行有針對性的分析和診斷,大數(shù)據(jù)需要分析的是趨勢和發(fā)展趨勢,數(shù)據(jù)挖掘主要是發(fā)現(xiàn)問題和診斷。
數(shù)據(jù)挖掘流程包含哪些步驟
一、數(shù)據(jù)的產(chǎn)生
很多時(shí)候我們會(huì)發(fā)現(xiàn)在瀏覽網(wǎng)站或者app時(shí)總會(huì)給我們推薦一些與我們相關(guān)的信息,這其實(shí)就是根據(jù)我們的互聯(lián)網(wǎng)行為來進(jìn)行預(yù)測的,前端獲取到用戶的行為數(shù)據(jù),傳輸?shù)胶蠖,然后存儲到服?wù)器上,具體行為如下:
瀏覽網(wǎng)頁時(shí)或者app時(shí),你的點(diǎn)擊和停留行為都會(huì)被服務(wù)器所記錄,終存儲到數(shù)據(jù)庫上
瀏覽購物app時(shí),你的訂單,添加購物車,收藏,關(guān)注等行為
瀏覽快手,抖音等洗腦app時(shí),你的關(guān)注,停留,評論,點(diǎn)贊,轉(zhuǎn)發(fā)等行為都會(huì)被記錄在服務(wù)器上
二、數(shù)據(jù)預(yù)處理
預(yù)處理就是提前處理一下,當(dāng)把數(shù)據(jù)從源中讀取出來之后,我們可能會(huì)發(fā)現(xiàn)有些數(shù)據(jù)不符合我們的要求,比如有缺失值或者異常值(年齡為0),我們的處理可能是刪除,也可能是填充,我們把這些臟數(shù)據(jù)整理成干凈的數(shù)據(jù)。除此之外,我們可能還需要進(jìn)行數(shù)據(jù)的變換,把原始數(shù)據(jù)轉(zhuǎn)化成符合模型要求的數(shù)據(jù)。
三、數(shù)據(jù)建模
數(shù)據(jù)清洗完了之后,進(jìn)行可視化展示,然后我們使用一條線去擬合這些點(diǎn),這條線就是一個(gè)函數(shù),有了這個(gè)函數(shù)我們就可以進(jìn)行預(yù)測,這個(gè)函數(shù)就是一個(gè)模型,這就是數(shù)據(jù)建模的過程。
四、數(shù)據(jù)分析VS數(shù)據(jù)挖掘
數(shù)據(jù)分析更多采用統(tǒng)計(jì)學(xué)的知識,對源數(shù)據(jù)進(jìn)行描述性和探索性分析,從結(jié)果中發(fā)現(xiàn)價(jià)值信息來評估和修正現(xiàn)狀。數(shù)據(jù)挖掘不僅僅用到統(tǒng)計(jì)學(xué)的知識,還要用到機(jī)器學(xué)習(xí)的知識,這里會(huì)涉及到模型的概念。數(shù)據(jù)挖掘具有更深的層次,來發(fā)現(xiàn)未知的規(guī)律和價(jià)值。
從側(cè)重點(diǎn)上來說,相比較而言,數(shù)據(jù)分析更多依賴于業(yè)務(wù)知識,數(shù)據(jù)挖掘更多側(cè)重于技術(shù)的實(shí)現(xiàn),對于業(yè)務(wù)的要求稍微有所降低。
從數(shù)據(jù)量上來說,數(shù)據(jù)挖掘往往需要更大數(shù)據(jù)量,而數(shù)據(jù)量越大,對于技術(shù)的要求也就越高。
從技術(shù)上來說,數(shù)據(jù)挖掘?qū)τ诩夹g(shù)的要求更高,需要比較強(qiáng)的編程能力,數(shù)學(xué)能力和機(jī)器學(xué)習(xí)的能力。
從結(jié)果上來說,數(shù)據(jù)分析更多側(cè)重的是結(jié)果的呈現(xiàn),需要結(jié)合業(yè)務(wù)知識來進(jìn)行解讀。而數(shù)據(jù)挖掘的結(jié)果是一個(gè)模型,通過這個(gè)模型來分析整個(gè)數(shù)據(jù)的規(guī)律,一次來實(shí)現(xiàn)對于未來的預(yù)測,比如判斷用戶的特點(diǎn),用戶適合什么樣的營銷活動(dòng)。顯然,數(shù)據(jù)挖掘比數(shù)據(jù)分析要更深一個(gè)層次。
數(shù)據(jù)分析和數(shù)據(jù)挖掘有什么區(qū)別.中琛魔方大數(shù)據(jù)平臺(www.zcmorefun.com)表示數(shù)據(jù)分析是將數(shù)據(jù)轉(zhuǎn)化為信息的工具,而數(shù)據(jù)挖掘是將信息轉(zhuǎn)化為認(rèn)知的工具。如果我們想從數(shù)據(jù)(即認(rèn)知)中提取某些規(guī)律,我們往往需要將數(shù)據(jù)分析與數(shù)據(jù)挖掘相結(jié)合使用。 |