精品久久久久中文字,日韩免费看视频三区中文字幕,国产成 人亚洲91,亚洲无玛在线观看

　　大數(shù)據(jù)分析平臺(tái)的搭建有利于幫助企業(yè)構(gòu)建統(tǒng)一的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理資源，圍繞企業(yè)業(yè)務(wù)開展大數(shù)據(jù)應(yīng)用建設(shè)，最終形成面向服務(wù)化的數(shù)據(jù)資產(chǎn)。而今天我們就來了解一下，常見的大數(shù)據(jù)平臺(tái)都包含哪些層次？



　　1、數(shù)據(jù)采集層：分3個(gè)層面的采集技術(shù)進(jìn)行支持，一是傳統(tǒng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)和半結(jié)構(gòu)化、結(jié)構(gòu)化數(shù)據(jù)的采集和集成，如采用Sqoop技術(shù)進(jìn)行關(guān)系數(shù)據(jù)庫(kù)和Hadoop系統(tǒng)之間的數(shù)據(jù)抽取和交換;二是交通實(shí)時(shí)流數(shù)據(jù)的采集，包括實(shí)時(shí)傳感器數(shù)據(jù)、定位軌跡數(shù)據(jù)和其他實(shí)時(shí)流數(shù)據(jù);三是交通公共數(shù)據(jù)的采集，包括公網(wǎng)的數(shù)據(jù)爬取、開放平臺(tái)的數(shù)據(jù)接口、行業(yè)公共數(shù)據(jù)庫(kù)的數(shù)據(jù)交換等。對(duì)采集到的數(shù)據(jù)需進(jìn)行提取、轉(zhuǎn)換和加載(extract-transform-load，ETL)處理，包括數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和隱私**等預(yù)處理工作，預(yù)處理集成后的數(shù)據(jù)進(jìn)入交通大數(shù)據(jù)云存儲(chǔ)中心。



　　2、數(shù)據(jù)存儲(chǔ)層：交通領(lǐng)域數(shù)據(jù)規(guī)模巨大，數(shù)據(jù)存儲(chǔ)層需設(shè)計(jì)基于云計(jì)算的分布式云存儲(chǔ)系統(tǒng)，以支持海量數(shù)據(jù)的存儲(chǔ)擴(kuò)展。提供基于云的列式存儲(chǔ)、NoSQL存儲(chǔ)或數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)能力;根據(jù)業(yè)務(wù)需求和快速配置，可切換相應(yīng)的分布式存儲(chǔ)模式，還可根據(jù)需要對(duì)傳統(tǒng)BI系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市進(jìn)行集成。利用Hadoop集群提供PB級(jí)存儲(chǔ)能力擴(kuò)展，同時(shí)Hadoop YARN和Spark Mesos等集群資源管理框架可支持多種存儲(chǔ)模式和計(jì)算模式在此基礎(chǔ)上，對(duì)各類存儲(chǔ)數(shù)據(jù)進(jìn)行多粒度信息融合，構(gòu)建統(tǒng)一數(shù)據(jù)處理單元，為計(jì)算服務(wù)層提供標(biāo)準(zhǔn)化的分析數(shù)據(jù)集。



　　3、數(shù)據(jù)計(jì)算層：針對(duì)交通大數(shù)據(jù)多源、異構(gòu)、海量等特征，傳統(tǒng)的計(jì)算模型難以直接處理。數(shù)據(jù)計(jì)算層需滿足主流大數(shù)據(jù)處理框架的各種計(jì)算模型與方法實(shí)現(xiàn)，如基于云計(jì)算并行框架，實(shí)現(xiàn)基于Hadoop批處理、Storm流處理、Spark內(nèi)存處理的**數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)。數(shù)據(jù)計(jì)算層采用基于統(tǒng)一數(shù)據(jù)處理單元和計(jì)算模式、模型微服務(wù)化的大數(shù)據(jù)分析框架，通過構(gòu)建多種微服務(wù)簇網(wǎng)絡(luò)，為應(yīng)用層提供支持MapReduce、Storm、Spark等多種計(jì)算模式下的多種數(shù)據(jù)挖掘模型與方法(如分類、聚類、序列等);根據(jù)大數(shù)據(jù)分析需求和數(shù)據(jù)特征，可基于組件配置和服務(wù)治理技術(shù)進(jìn)行各類服務(wù)的快速切換和靈活管理。



　　4、數(shù)據(jù)應(yīng)用層：數(shù)據(jù)應(yīng)用層首先要滿足智慧交通各類大數(shù)據(jù)分析需求，包括基本的可視化與查詢、展示、探索等，分析結(jié)果能結(jié)合知識(shí)庫(kù)應(yīng)用于決策支持。另外，大數(shù)據(jù)系統(tǒng)本身管理方面，針對(duì)構(gòu)件化和微服務(wù)設(shè)計(jì)，需對(duì)相關(guān)中間件進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)服務(wù)治理、組件配置、安全、接口等功能，以支撐存儲(chǔ)層和計(jì)算層各類微服務(wù)的敏捷管理。



　　大數(shù)據(jù)平臺(tái)搭建包含哪些層級(jí).中琛魔方大數(shù)據(jù)平臺(tái)(www.zcmorefun.com)表示平臺(tái)的每個(gè)子系統(tǒng)都包含不同的功能，不同功能的模塊組合成一個(gè)具有實(shí)際應(yīng)用價(jià)值的大數(shù)據(jù)分析平臺(tái)，實(shí)現(xiàn)對(duì)各種業(yè)務(wù)的前瞻性預(yù)測(cè)和分析，為用戶提供統(tǒng)一的決策分析支持，從而更好地突出平臺(tái)本身的價(jià)值。