啟達大數(shù)據解決方案基于啟達開發(fā)框架、提供一套全面集成的元計算服務及高內聚低耦合的資源整合,支持大數(shù)據的分布式架構的、縱向和橫向的無限切分的高并發(fā)數(shù)據集合的解決方案。
啟達大數(shù)據從大數(shù)據的特征定義理解行業(yè)對大數(shù)據的整體描繪和定性;從對大數(shù)據價值的探討來深入解決大數(shù)據的核心技術;洞悉大數(shù)據的發(fā)展趨勢;從大數(shù)據安全與隱私這個特別而重要的視角審視人和數(shù)據之間的長久博弈。
技術是大數(shù)據價值體現(xiàn)的手段和前進的基石。啟達大數(shù)據解決方案分別從云計算、分布式處理技術、存儲技術中抽象、提煉、歸納。形成啟達大數(shù)據從采集、處理、存儲到形成結果、查詢統(tǒng)計分析的整個過程。
大數(shù)據的處理的核心是可無限擴展服務器和與之相對應的分布式算法,數(shù)據庫分布式,其核心內容無非就是數(shù)據切分(Sharding),以及切分后對數(shù)據的定位、整合工作,解決單一數(shù)據庫或數(shù)據表因數(shù)據量過大而導致的性能瓶頸問題。集數(shù)據存儲、管理以及分布式協(xié)調與計算為一體的數(shù)據庫系統(tǒng)。數(shù)據切分就是把數(shù)據分散存放到多個數(shù)據庫或多個表中,使得單臺主機中的數(shù)據量變小,使得通過擴充主機數(shù)量即可提升數(shù)據庫操作性能的目的。
數(shù)據切分可分為縱向和橫向兩種切分方法??v向切分就是根據業(yè)務耦合性,將關聯(lián)度低的不同表獨立建成不同的數(shù)據庫,如下圖所示:

縱向切分相對簡單,做法與我們將一個大的系統(tǒng)拆分成幾個小系統(tǒng)的做法相似,就是根據業(yè)務分類進行獨立劃分應用或數(shù)據庫。然而當一個應用已經難以再進一步拆分時,或者拆分后數(shù)據行數(shù)巨大時,我們就還需要進行橫向切分(即:將單個表的記錄數(shù)變?。?。橫向切分是根據表內數(shù)據的邏輯關系,將同一個表按不同的條件拆分到多個數(shù)據庫或多個表中,如下圖所示:

如上圖所示,橫向切分后同一張表同時出現(xiàn)在多個數(shù)據庫中,每個庫的數(shù)據內容不同,如何設定數(shù)據記錄的切分規(guī)則是最重要考量。一旦確定切分規(guī)則,應用對該表的操作原則基本就已確定。
因此大數(shù)據的終極解決方向為數(shù)據的橫向切分,理論上由此可以衍生出無數(shù)的分布式數(shù)據庫,但對于這些切分后的數(shù)據庫,如何有效的進行調用、查詢統(tǒng)計等數(shù)據的調度,是大數(shù)據切分的成敗的標志。
啟達大數(shù)據解決方案提出的可行性方法為,通過系統(tǒng)的config配置,抽象出數(shù)據的宏觀性標志,將此標志傳遞到系統(tǒng)底層進行運算,同時,在表現(xiàn)層提供相應的大數(shù)據處理功能,并且在大數(shù)據調用過程中,通過啟動開發(fā)框架自動進行處理,即啟達開發(fā)框架底層已經預設了大數(shù)據處理的相關機制,一旦啟動,即可確保大數(shù)據在調度上的穩(wěn)定性、安全性、準確性、高效性