啟達(dá)大數(shù)據(jù)解決方案基于啟達(dá)開發(fā)框架、提供一套全面集成的元計(jì)算服務(wù)及高內(nèi)聚低耦合的資源整合，支持大數(shù)據(jù)的分布式架構(gòu)的、縱向和橫向的無(wú)限切分的高并發(fā)數(shù)據(jù)集合的解決方案。
啟達(dá)大數(shù)據(jù)從大數(shù)據(jù)的特征定義理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解決大數(shù)據(jù)的核心技術(shù)；洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)安全與隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。
技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。啟達(dá)大數(shù)據(jù)解決方案分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)中抽象、提煉、歸納。形成啟達(dá)大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果、查詢統(tǒng)計(jì)分析的整個(gè)過(guò)程。
大數(shù)據(jù)的處理的核心是可無(wú)限擴(kuò)展服務(wù)器和與之相對(duì)應(yīng)的分布式算法，數(shù)據(jù)庫(kù)分布式，其核心內(nèi)容無(wú)非就是數(shù)據(jù)切分（Sharding），以及切分后對(duì)數(shù)據(jù)的定位、整合工作，解決單一數(shù)據(jù)庫(kù)或數(shù)據(jù)表因數(shù)據(jù)量過(guò)大而導(dǎo)致的性能瓶頸問(wèn)題。集數(shù)據(jù)存儲(chǔ)、管理以及分布式協(xié)調(diào)與計(jì)算為一體的數(shù)據(jù)庫(kù)系統(tǒng)。數(shù)據(jù)切分就是把數(shù)據(jù)分散存放到多個(gè)數(shù)據(jù)庫(kù)或多個(gè)表中，使得單臺(tái)主機(jī)中的數(shù)據(jù)量變小，使得通過(guò)擴(kuò)充主機(jī)數(shù)量即可提升數(shù)據(jù)庫(kù)操作性能的目的。
數(shù)據(jù)切分可分為縱向和橫向兩種切分方法。縱向切分就是根據(jù)業(yè)務(wù)耦合性，將關(guān)聯(lián)度低的不同表獨(dú)立建成不同的數(shù)據(jù)庫(kù),如下圖所示：
縱向切分相對(duì)簡(jiǎn)單，做法與我們將一個(gè)大的系統(tǒng)拆分成幾個(gè)小系統(tǒng)的做法相似，就是根據(jù)業(yè)務(wù)分類進(jìn)行獨(dú)立劃分應(yīng)用或數(shù)據(jù)庫(kù)。然而當(dāng)一個(gè)應(yīng)用已經(jīng)難以再進(jìn)一步拆分時(shí)，或者拆分后數(shù)據(jù)行數(shù)巨大時(shí)，我們就還需要進(jìn)行橫向切分（即：將單個(gè)表的記錄數(shù)變小）。橫向切分是根據(jù)表內(nèi)數(shù)據(jù)的邏輯關(guān)系，將同一個(gè)表按不同的條件拆分到多個(gè)數(shù)據(jù)庫(kù)或多個(gè)表中,如下圖所示：
如上圖所示，橫向切分后同一張表同時(shí)出現(xiàn)在多個(gè)數(shù)據(jù)庫(kù)中，每個(gè)庫(kù)的數(shù)據(jù)內(nèi)容不同，如何設(shè)定數(shù)據(jù)記錄的切分規(guī)則是最重要考量。一旦確定切分規(guī)則，應(yīng)用對(duì)該表的操作原則基本就已確定。
因此大數(shù)據(jù)的終極解決方向?yàn)閿?shù)據(jù)的橫向切分，理論上由此可以衍生出無(wú)數(shù)的分布式數(shù)據(jù)庫(kù)，但對(duì)于這些切分后的數(shù)據(jù)庫(kù)，如何有效的進(jìn)行調(diào)用、查詢統(tǒng)計(jì)等數(shù)據(jù)的調(diào)度，是大數(shù)據(jù)切分的成敗的標(biāo)志。
啟達(dá)大數(shù)據(jù)解決方案提出的可行性方法為，通過(guò)系統(tǒng)的config配置，抽象出數(shù)據(jù)的宏觀性標(biāo)志，將此標(biāo)志傳遞到系統(tǒng)底層進(jìn)行運(yùn)算，同時(shí)，在表現(xiàn)層提供相應(yīng)的大數(shù)據(jù)處理功能，并且在大數(shù)據(jù)調(diào)用過(guò)程中，通過(guò)啟動(dòng)開發(fā)框架自動(dòng)進(jìn)行處理，即啟達(dá)開發(fā)框架底層已經(jīng)預(yù)設(shè)了大數(shù)據(jù)處理的相關(guān)機(jī)制，一旦啟動(dòng)，即可確保大數(shù)據(jù)在調(diào)度上的穩(wěn)定性、安全性、準(zhǔn)確性、高效性