2.1國內(nèi)外廠商的技術(shù)和產(chǎn)品分析

2.1.2國內(nèi)廠商在大數(shù)據(jù)領(lǐng)域的技術(shù)和產(chǎn)品

我國目前數(shù)據(jù)規(guī)模增長非常快，蘊含著巨大的數(shù)據(jù)價值。隨著信息化建設(shè)在各行各業(yè)的持續(xù)深入，越來越多的國內(nèi)數(shù)據(jù)廠商加入到了大數(shù)據(jù)的研發(fā)中來。目前國內(nèi)進(jìn)行大數(shù)據(jù)研發(fā)的廠商依舊分為兩類：是現(xiàn)一類在已經(jīng)可獲取大數(shù)據(jù)能力的公司，他們打算利用自身優(yōu)勢地位沖擊大數(shù)據(jù)領(lǐng)域，將現(xiàn)有安裝基礎(chǔ)及產(chǎn)品線口碑推廣到新一輪技術(shù)浪潮當(dāng)中。如百度、阿里巴巴等互聯(lián)網(wǎng)巨頭，該類商家主要是以大數(shù)據(jù)應(yīng)用技術(shù)、相關(guān)軟件研究為主要切入點。另一類則是以華為、浪潮、中興等以硬件突破為主的企業(yè)，涵蓋了數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)可視化以及數(shù)據(jù)安全等領(lǐng)域。

2.1.2.1 百度公司

百度公司是全球最大的中文搜索引擎，2012年8月，百度云計算（陽泉）中心在山西省陽泉市奠基。建成后的云計算（陽泉）在數(shù)據(jù)存儲規(guī)模、計算能力和環(huán)保節(jié)能三方面都將達(dá)到亞洲一流水準(zhǔn)。 據(jù)規(guī)劃建成后的百度云計算中心數(shù)據(jù)存儲量超過4000PB，可存儲的信息量相當(dāng)中20多萬個中國國家圖書館的藏書總量；同時由于使用了百度自主研發(fā)的高性能、低功耗服務(wù)器，數(shù)據(jù)中心CPU總量達(dá)70萬顆、CPU內(nèi)核總數(shù)超過300萬個。西度“大數(shù)據(jù)引擎”包括開放云、數(shù)據(jù)工廠和百度大腦三個核心組件。百度將通過平臺化和接口化的方式，對外開放其大數(shù)據(jù)存儲、分析和智能化處理等核心能力，這也是全球首個開放大數(shù)據(jù)引擎的公司。通過開放自身的大數(shù)據(jù)分析平臺，百度將獲得各行各業(yè)的大數(shù)據(jù)資料及分析經(jīng)驗。例如，平安保險正在借助百度大數(shù)據(jù)加強消費者洞察，從過去的客戶分群進(jìn)化到按人定制、更進(jìn)一步，大數(shù)據(jù)將在保險產(chǎn)品設(shè)計的計算、定價、彈性曲線等壞節(jié)發(fā)揮作用，既有利于改良現(xiàn)基于產(chǎn)品形態(tài)，也能實現(xiàn)險種創(chuàng)新。

2.1.2.2 阿里巴巴公司

阿里巴巴公司是一家由中國人創(chuàng)逮的閩際化的互聯(lián)網(wǎng)公司，經(jīng)營多元化的互聯(lián)網(wǎng)業(yè)務(wù)，致力為全球所有人創(chuàng)造便捷的交易渠道。進(jìn)入大數(shù)據(jù)時代以來，阿里巴巴陸續(xù)建立了領(lǐng)先的消費者電子商務(wù)、 網(wǎng)上支付、B2B網(wǎng)上交易市場及云計算業(yè)務(wù)，近幾年更積極開柘無線應(yīng)用、手機操作系統(tǒng)和互聯(lián)網(wǎng)電視等領(lǐng)域。在阿里巴巴數(shù)據(jù)平臺事業(yè)部的服務(wù)器上，攢下了超過100PB已處理過的數(shù)據(jù)，利用云計算技術(shù)進(jìn)行數(shù)據(jù)挖掘，使阿里巴巴能夠輕而易舉地為其用戶建立一 個細(xì)致的個人檔案并進(jìn)行精準(zhǔn)的行為預(yù)測。如何挖掘、分析和運用阿里巴巴全系產(chǎn)品的數(shù)據(jù)，并和全社會分享，是阿里巴巴大數(shù)據(jù)戰(zhàn)略的核心所在。更為關(guān)鍵的是，在大數(shù)據(jù)時代，掌握了數(shù)據(jù)，意味著掌握了整個社會的脈搏，試想一下. 當(dāng)巨量的用戶需求以數(shù)據(jù)形式被捕捉，快速反映在生產(chǎn)、供應(yīng)鏈、庫存、物流等環(huán)節(jié)時，電子商務(wù)將不僅僅是網(wǎng)上購物的代名詞，它甚至?xí)娲鷤鹘y(tǒng)商務(wù)，成為主流的交易模式。屆時，阿里巴巴將可能控制整個商業(yè)社會相當(dāng)大比例的數(shù)據(jù)和脈搏。阿里巴巴大數(shù)據(jù)戰(zhàn)略戰(zhàn)術(shù)的核心是阿里云計算技術(shù)、在2009年，阿里巴巴即成立了專業(yè)的云計算服務(wù)公司，定位于提供公共服務(wù)的云計算。大規(guī)模電子商務(wù)服務(wù)的實踐實際上就是為云計算提供技術(shù)儲備的過程，是為綜合配置和優(yōu)化計算，存儲資源、積累經(jīng)驗的過程。當(dāng)服務(wù)的規(guī)模足夠大，云計算就水到渠成了。它解決商務(wù)問題的過程，很大一部分其實是解決技術(shù)問題的過程。例如，阿里巴巴交易量節(jié)節(jié)攀升的雙11購物狂歡節(jié)，成為阿里巴巴在云計算和大數(shù)據(jù)領(lǐng)域一年一度的技術(shù)大考。繼2014年雙11購物狂歡節(jié)公布571億元的交易額后，阿里巴巴集團(tuán)披露了雙11背后的一系列技術(shù)指標(biāo)：訂單創(chuàng)建能力最高達(dá)到每秒鐘8萬筆，支付寶的支付峰值突破了每分鐘285萬筆，創(chuàng)下新的紀(jì)錄。

2.1.2.3華為公司

華為技術(shù)有限公司是一家生產(chǎn)、銷售通信設(shè)備的民營科技公司。 華為的產(chǎn)品主要涉及通信網(wǎng)絡(luò)中的交換網(wǎng)絡(luò)、傳輸網(wǎng)絡(luò)、無線及有線固定接入網(wǎng)絡(luò)和數(shù)據(jù)通信網(wǎng)絡(luò)及無線終端產(chǎn)品，華為公司為世界各地通信運營商及專業(yè)網(wǎng)絡(luò)擁有者提供硬件設(shè)備、軟件、服務(wù)和解決方案。華為公司的大數(shù)據(jù)戰(zhàn)略主要圍繞其云計算數(shù)據(jù)中心解決方案展開。自2010年以來，華為公司聯(lián)手英特爾、SAP等大數(shù)據(jù)領(lǐng)域巨頭，積極推動全球云計算戰(zhàn)略。至2013年8月，華為公司在全球成功部署330多個數(shù)據(jù)中心，其中70多個為云數(shù)據(jù)中心，與全球260多個云計算客戶發(fā)掘云的商業(yè)價值.并交付全球規(guī)模最大、應(yīng)用場景最復(fù)雜的華為10萬并發(fā)規(guī)模的桌面云項目。圍繞該數(shù)據(jù)戰(zhàn)略，華為的大數(shù)據(jù)技術(shù)體系以軟件為核心，基于開放的硬件，實現(xiàn)邏輯集中和物理分布。其軟件包括FusionSphere云操作系統(tǒng)、Fusionlnsight大數(shù)據(jù)分析平臺，ManagdeOn數(shù)據(jù)中心管理系統(tǒng)；硬件主要為FusionServer中高端服務(wù)器、OceanStor融合存儲、CloudEngine數(shù)據(jù)中心網(wǎng)絡(luò)。這一系列產(chǎn)品建立在華為的兩個大數(shù)據(jù)關(guān)鍵技術(shù)上，即三位一體和全分布式技術(shù)。“三位一體" 就是將存儲系統(tǒng)與存儲分析，數(shù)據(jù)挖掘分析、計算系統(tǒng)整合為一套產(chǎn)品，不再是多個產(chǎn)品的集合，從而實現(xiàn)存儲、分析、歸檔三個方面的自動化，免除了三者之間的裝載與遷移麻煩，同時實現(xiàn)全生命周期的數(shù)據(jù)處理，用戶可以選擇部分活躍數(shù)據(jù)歸檔。根據(jù)計算需要自動實現(xiàn)數(shù)據(jù)的調(diào)度。在軟件平臺方面，華為的Fusion Insight是其核心大數(shù)據(jù)平臺產(chǎn)品，F(xiàn)usionlnsight以雙引擎的處理為核心.包括海量數(shù)據(jù)引擎 Fusionlnsight Hadoop 和實時數(shù)據(jù)處理引擎 Fusionlnsight Streaming,并針對金融、運營商等數(shù)據(jù)密集型行業(yè)的運行維護(hù)、應(yīng)用開發(fā)等需求打造可靠、安全、易使用的OM系統(tǒng)和建模中間件，這種雙引擎配置。實現(xiàn)了海量數(shù)據(jù)存取和實時性數(shù)據(jù)處理的雙重功能。而華為的 ManagcOne技術(shù)則是實現(xiàn)多源異構(gòu)平臺數(shù)據(jù)管理的一款管理系統(tǒng)， ManageOne數(shù)據(jù)中心統(tǒng)一管理方案可做到真正意義上的融合，即統(tǒng)一管理傳統(tǒng)數(shù)據(jù)中心和云數(shù)據(jù)中心，統(tǒng)一管理分布式數(shù)據(jù)中心，統(tǒng)一管理數(shù)據(jù)中心應(yīng)用系統(tǒng)、基礎(chǔ)架構(gòu)和基礎(chǔ)設(shè)施，統(tǒng)一管理異構(gòu)虛擬化平臺。運營商的IT聯(lián)動形成了一個整體的資源池，統(tǒng)一管理為多業(yè)務(wù)模式的創(chuàng)建提供了便利，可降低運營商服務(wù)供給的成本，減少內(nèi)耗，讓服務(wù)更貼近最終用戶。RisionSpherc是華為自主知識產(chǎn)權(quán)的云操作系統(tǒng)，集虛擬化平臺和云管理特性于一身，華為云操作系統(tǒng)專門為云設(shè)計和優(yōu)化，提供強大的虛擬化功能和資源池管理、 豐富的云基礎(chǔ)服務(wù)組件和工具、開放的API接口等。在硬件基礎(chǔ)方面，F(xiàn)usionSever產(chǎn)品是華為公司推出的一款將計算、存儲、網(wǎng)絡(luò)等架構(gòu)實現(xiàn)解耦，并將不同資源高度整合成共享資源池，實現(xiàn)資源按需配置的服務(wù)器產(chǎn)品。這種理念就是華為公司新提出的基于業(yè)務(wù)驅(qū)動的基礎(chǔ)架構(gòu)SDI,該架構(gòu)由SDS（Software-Defincd Storage,軟件定義存儲）、SDN（Software-Defined Networking.軟件定義網(wǎng)絡(luò)）軟件模塊和SDI硬件模塊組成。傳統(tǒng)服務(wù)器、存儲、網(wǎng)絡(luò)資源依賴CPU控制，而在SDI模式中，存儲和網(wǎng)絡(luò)資源由SDI硬件統(tǒng)一控制，并以計算服務(wù)面向用戶的服務(wù)器形成統(tǒng)一資源池，最終形成數(shù)據(jù)中心的基礎(chǔ)架構(gòu)。也就是將需要穩(wěn)定、可靠、高性能運行的基礎(chǔ)設(shè)施層與客戶應(yīng)用在邏輯上進(jìn)行解耦，基礎(chǔ)設(shè)施層則采用軟件定義的方式先于應(yīng)用系統(tǒng)運行起來。相比傳統(tǒng)數(shù)據(jù)中心架構(gòu)，華為SDI能夠降低78%的總體擁有成本（TCO）,通過SDI控制器可能業(yè)務(wù)調(diào)度將CPU利用率捉升1倍，同時性能也獲得進(jìn)一步提升。而OccanStor是業(yè)內(nèi)首個融合存儲、分析和歸檔的存儲產(chǎn)品，是華為公司三位一體理念衍生出的產(chǎn)品。它的特點在于免除了跨設(shè)備數(shù)據(jù)裝載、迀移，真正實現(xiàn)了而向大數(shù)據(jù)全生命周期管理的“三位一體"處理。其采用的Scakxm集群架構(gòu)，系統(tǒng)支持3 節(jié)點至288節(jié)點彈性無縫擴展，單一文件系統(tǒng)可擴容至40PB,整個擴容過程業(yè)務(wù)允中斷。CloudEngine （以下簡稱CE）系列是華為公司面向下一代數(shù)據(jù)中心和高端園區(qū)推出的“云”級高性能交換機， CloudEngine系列在速度上是業(yè)界一流廠商的2倍，容量3倍。零丟包的CLOS無阻塞交換架構(gòu)，配合動態(tài)分布式大緩存.應(yīng)對云計算應(yīng)用引發(fā)的突發(fā)流量。

2.1.2.4 浪潮公司

浪潮是中國最早的IT品牌之一。浪潮公司是中國領(lǐng)先的計算平臺與IT應(yīng)用解決方案供應(yīng)商。同時，也是中國領(lǐng)先的服務(wù)器制造商和服務(wù)器解決方案提供商。目前已形成服務(wù)器和ERP兩大主導(dǎo)產(chǎn)業(yè). 具基于計算機、軟件、移動通信、智能終端、半導(dǎo)體等產(chǎn)業(yè)群組。浪潮公司的大數(shù)據(jù)戰(zhàn)略主要是對以硬件層而出發(fā)為基礎(chǔ)的浪潮云海大數(shù)據(jù)一體機的開發(fā)。云海大數(shù)據(jù)一體機是面向大數(shù)據(jù)存儲、處理、展現(xiàn)全環(huán)節(jié)、軟硬一體化的方案型產(chǎn)品，目的是突破原有架構(gòu)的擴展瓶頸和新技術(shù)條件下的客戶應(yīng)用門檻。浪潮云海大數(shù)據(jù)一體機集成了計算單元、存儲單元、通信單元、管理單元等核心模塊， 能夠覆蓋數(shù)據(jù)的存儲、處理、展現(xiàn)等所有技術(shù)環(huán)節(jié)。云海大數(shù)據(jù)一體機經(jīng)過全局性的優(yōu)化，性能、可用性、效率等關(guān)鍵技術(shù)指標(biāo)方面有了大幅提升。浪潮公司采用硬件加速技術(shù)，設(shè)計了專門的FPGA模塊固化特定算法，并集成多級緩存,數(shù)據(jù)排序性能提高了 50%以上。另外，系統(tǒng)任務(wù)調(diào)度策略是影響系統(tǒng)響應(yīng)及時性的重要技術(shù)，浪潮公司開發(fā)了動態(tài)調(diào)整任務(wù)執(zhí)行模塊，有效減少了慢任務(wù)數(shù)量。任務(wù)執(zhí)行時間平均縮短16%。同時，副本數(shù)量和存儲效率是難以凋和的矛盾，浪潮引入Reed-Solomon算法，優(yōu)化分布式散列數(shù)據(jù)布局，在滿足文件高并發(fā)和高帶寬雙重需求的同時平衡數(shù)據(jù)冗余度.所設(shè)計的兩副本加編碼的方式相對三副本最大可實現(xiàn)30%空間節(jié)省。

書名：電力大數(shù)據(jù)：能源互聯(lián)網(wǎng)時代的電力企業(yè)轉(zhuǎn)型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社