數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)主要用于企業(yè)決策分析，涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢(xún)。某個(gè)數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)，一般會(huì)保存很長(zhǎng)時(shí)間，即數(shù)據(jù)倉(cāng)庫(kù)中有大量的查詢(xún)操作，但修改和刪除操作很少，通常只需要定期加載和刷新即可。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄從過(guò)去某一點(diǎn)(如數(shù)據(jù)倉(cāng)庫(kù)開(kāi)始使用的時(shí)間)到當(dāng)前階段的信息。通過(guò)這些信息，可以定量分析和預(yù)測(cè)企業(yè)的發(fā)展歷史和未來(lái)趨勢(shì)。

近兩年，大量資本涌入數(shù)據(jù)庫(kù)市場(chǎng)，導(dǎo)致數(shù)據(jù)庫(kù)市場(chǎng)競(jìng)爭(zhēng)更加激烈。幾乎所有投資者都對(duì)數(shù)據(jù)庫(kù)上的云趨勢(shì)持樂(lè)觀(guān)態(tài)度。在云數(shù)據(jù)庫(kù)和云原生數(shù)據(jù)庫(kù)的呼聲高漲的同時(shí)，云數(shù)據(jù)倉(cāng)庫(kù)成為一條新的賽道，開(kāi)始進(jìn)入大眾的視野。但是，在分析什么是云數(shù)據(jù)倉(cāng)庫(kù)，為什么云數(shù)據(jù)倉(cāng)庫(kù)流行之前，我們需要先了解數(shù)據(jù)倉(cāng)庫(kù)的定義。

什么是云數(shù)據(jù)倉(cāng)庫(kù)？與本地?cái)?shù)據(jù)倉(cāng)庫(kù)相比有什么區(qū)別？

隨著云計(jì)算的深入發(fā)展，云已經(jīng)成為企業(yè)應(yīng)用的主流趨勢(shì)，而數(shù)據(jù)庫(kù)上的云已經(jīng)成為企業(yè)應(yīng)用的最后一步。眾所周知，云數(shù)據(jù)庫(kù)的概念是指在虛擬計(jì)算環(huán)境中優(yōu)化或部署的數(shù)據(jù)庫(kù)，能夠?qū)崿F(xiàn)按需付費(fèi)、按需擴(kuò)展、高可用性和存儲(chǔ)集成等優(yōu)勢(shì)。云數(shù)據(jù)倉(cāng)庫(kù)和云數(shù)據(jù)庫(kù)的定義非常相似，這意味著數(shù)據(jù)倉(cāng)庫(kù)可以部署在本地、云或混合環(huán)境中。

從過(guò)去的實(shí)踐來(lái)看，數(shù)據(jù)倉(cāng)庫(kù)都部署在本地，但本地?cái)?shù)據(jù)中心和服務(wù)器的可擴(kuò)展性較差，因此云成為數(shù)據(jù)倉(cāng)庫(kù)的主流趨勢(shì)。然而，云數(shù)據(jù)倉(cāng)庫(kù)也有一個(gè)挑戰(zhàn)，那就是將所有PB級(jí)的數(shù)據(jù)遷移到云中涉及到計(jì)算、存儲(chǔ)和內(nèi)存的成本。另外，如何快速上云也是一個(gè)挑戰(zhàn)。當(dāng)然，隨著市場(chǎng)的不斷發(fā)展，這些問(wèn)題已經(jīng)不再是問(wèn)題。現(xiàn)在有超大規(guī)模的云服務(wù)提供商提供大容量的基于磁盤(pán)的數(shù)據(jù)傳輸服務(wù)。最后，是選擇本地?cái)?shù)據(jù)倉(cāng)庫(kù)、云數(shù)據(jù)倉(cāng)庫(kù)還是數(shù)據(jù)湖和數(shù)據(jù)集市，要根據(jù)企業(yè)的具體數(shù)據(jù)量和增長(zhǎng)率來(lái)決定。建議用戶(hù)先取少量數(shù)據(jù)進(jìn)行測(cè)試，或者將一些數(shù)據(jù)托管在云上，然后將成熟的架構(gòu)擴(kuò)展到核心關(guān)鍵業(yè)務(wù)。

為什么數(shù)據(jù)倉(cāng)庫(kù)特別重要？

企業(yè)使用數(shù)據(jù)倉(cāng)庫(kù)的原因是，在OLTP中，索引的創(chuàng)建和使用受到數(shù)量和數(shù)據(jù)類(lèi)型的限制，當(dāng)值接近峰值或數(shù)據(jù)類(lèi)型不符合規(guī)范時(shí)，用戶(hù)的數(shù)據(jù)分析和查詢(xún)速度會(huì)變慢。但是如果把數(shù)據(jù)放在數(shù)據(jù)倉(cāng)庫(kù)中，用戶(hù)可以自定義主題，根據(jù)需要對(duì)數(shù)據(jù)進(jìn)行分析和查詢(xún)。同時(shí)，在數(shù)據(jù)倉(cāng)庫(kù)中使用數(shù)據(jù)不會(huì)影響OLTP數(shù)據(jù)庫(kù)的寫(xiě)入性能。最重要的是，企業(yè)不僅可以提高數(shù)據(jù)處理速度，還可以分析多源數(shù)據(jù)。比如在使用OLTP支持的相關(guān)應(yīng)用時(shí)，銷(xiāo)售人員只能處理特定的事務(wù)，卻看不到銷(xiāo)售場(chǎng)所的天氣，但銷(xiāo)售人員希望有天氣預(yù)報(bào)功能。我該怎么辦？如果所有與天氣相關(guān)的數(shù)據(jù)都添加到數(shù)據(jù)倉(cāng)庫(kù)中，銷(xiāo)售可以使用數(shù)據(jù)模型來(lái)判斷當(dāng)?shù)氐奶鞖馇闆r。

什么是數(shù)據(jù)倉(cāng)庫(kù)？數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能是一回事嗎？

一般來(lái)說(shuō)，數(shù)據(jù)庫(kù)分為關(guān)系數(shù)據(jù)庫(kù)(SQL)或非關(guān)系數(shù)據(jù)庫(kù)(NoSQL)、在線(xiàn)事務(wù)處理(OLTP)、事務(wù)處理、在線(xiàn)分析處理(OLAP)和混合業(yè)務(wù)處理(HTAP)。此外，除了這些常見(jiàn)的數(shù)據(jù)庫(kù)類(lèi)型之外，專(zhuān)有數(shù)據(jù)庫(kù)極大地提升了業(yè)務(wù)升級(jí)，但隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，專(zhuān)有數(shù)據(jù)庫(kù)已經(jīng)成為“數(shù)據(jù)孤島”的代名詞。

之后，一些聰明的企業(yè)開(kāi)始嘗試從不同的數(shù)據(jù)源收集數(shù)據(jù)。這些以原始格式存儲(chǔ)數(shù)據(jù)的方式被稱(chēng)為數(shù)據(jù)湖；一般格式或經(jīng)過(guò)處理和集成的數(shù)據(jù)被歸類(lèi)為數(shù)據(jù)倉(cāng)庫(kù)。不同的數(shù)據(jù)倉(cāng)庫(kù)以不同的方式獲取數(shù)據(jù)。例如，一些直接從操作環(huán)境中獲取數(shù)據(jù)，而另一些從企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)中獲取數(shù)據(jù)。這些滿(mǎn)足不同場(chǎng)景需求的數(shù)據(jù)倉(cāng)庫(kù)也被稱(chēng)為數(shù)據(jù)集市。換句話(huà)說(shuō)，數(shù)據(jù)集市是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集。

本質(zhì)上，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)分析數(shù)據(jù)庫(kù)，通常是一個(gè)關(guān)系數(shù)據(jù)庫(kù)。它由兩個(gè)或兩個(gè)以上的數(shù)據(jù)源創(chuàng)建，通常可以存儲(chǔ)PB或以上規(guī)模的歷史數(shù)據(jù)，然后用大量的計(jì)算和內(nèi)存資源運(yùn)行復(fù)雜的查詢(xún)操作，最后生成數(shù)據(jù)報(bào)告。此外，數(shù)據(jù)倉(cāng)庫(kù)也是商業(yè)智能(BI)系統(tǒng)和機(jī)器學(xué)習(xí)獲取直接數(shù)據(jù)源的唯一途徑。

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖是什么關(guān)系？

數(shù)據(jù)倉(cāng)庫(kù)之所以不同于數(shù)據(jù)湖，是因?yàn)閿?shù)據(jù)存儲(chǔ)格式不同，數(shù)據(jù)的“讀取模式”也不同。數(shù)據(jù)湖是一種讀取模式，許多數(shù)據(jù)以易于讀取的格式存儲(chǔ)。而數(shù)據(jù)倉(cāng)庫(kù)是一種“寫(xiě)模式”，可以支持各種數(shù)據(jù)類(lèi)型的存儲(chǔ)，在索引查詢(xún)和各種數(shù)據(jù)關(guān)系的處理上更加方便快捷。這種“讀取模式”適合從多個(gè)聚合根(不同上下文)讀取數(shù)據(jù)，避免數(shù)據(jù)丟失。但是有一個(gè)缺點(diǎn)就是很多數(shù)據(jù)會(huì)變成死數(shù)據(jù)，應(yīng)用程序不會(huì)被使用，會(huì)占用大量的存儲(chǔ)資源。“寫(xiě)入模式”適用于具有特定目的的數(shù)據(jù)，并且所使用的數(shù)據(jù)必須與來(lái)自其他來(lái)源的數(shù)據(jù)正確關(guān)聯(lián)。但有時(shí)會(huì)因?yàn)閿?shù)據(jù)格式錯(cuò)誤而被丟棄，導(dǎo)致有價(jià)值的數(shù)據(jù)沒(méi)有被使用。

主流的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)有哪些？

一般來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)分為三層，包括源數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)應(yīng)用。源數(shù)據(jù)層包括來(lái)自銷(xiāo)售、營(yíng)銷(xiāo)和其他業(yè)務(wù)部門(mén)的運(yùn)營(yíng)數(shù)據(jù)，也可能包括社交媒體和外部數(shù)據(jù)，如人口統(tǒng)計(jì)調(diào)查和統(tǒng)計(jì)數(shù)據(jù)。臨時(shí)數(shù)據(jù)庫(kù)是指從數(shù)據(jù)源中檢索到的數(shù)據(jù)，屬于臨時(shí)存儲(chǔ)區(qū)，為下一次數(shù)據(jù)處理做準(zhǔn)備。例如，如果來(lái)源是非結(jié)構(gòu)化的，比如社交媒體文本，則需要通過(guò)質(zhì)量檢查，刪除質(zhì)量差的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)層，也叫細(xì)節(jié)層，所有數(shù)據(jù)一致、準(zhǔn)確、干凈，對(duì)源數(shù)據(jù)進(jìn)行清洗去除雜質(zhì)。數(shù)據(jù)應(yīng)用層是指從前端應(yīng)用直接讀取的數(shù)據(jù)源，是指根據(jù)報(bào)表直接生成或根據(jù)科目要求計(jì)算的數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)獲取的數(shù)據(jù)以及在倉(cāng)庫(kù)中實(shí)現(xiàn)的轉(zhuǎn)換和流程可以看作是ETL過(guò)程，即通過(guò)ETL工具提取出清洗后的數(shù)據(jù)，進(jìn)行任何需要的映射和轉(zhuǎn)換，將數(shù)據(jù)加載到數(shù)據(jù)存儲(chǔ)層。ELT(提取、加載和轉(zhuǎn)換)工具意味著先存儲(chǔ)數(shù)據(jù)，然后轉(zhuǎn)換數(shù)據(jù)。使用ELT工具的好處是數(shù)據(jù)跳過(guò)傳統(tǒng)的臨時(shí)存儲(chǔ)層，直接進(jìn)入數(shù)據(jù)湖。租用服務(wù)器可咨詢(xún)夢(mèng)飛云idc了解。