Spark 主要有三個(gè)特點(diǎn)：

首先，高級 API 剝離了對集群本身的關(guān)注，Spark 應(yīng)用開發(fā)者可以專注于應(yīng)用所要做的計(jì)算本身。

其次，Spark 很快，支持交互式計(jì)算和復(fù)雜算法。

最后，Spark 是一個(gè)通用引擎，可用它來完成各種各樣的運(yùn)算，包括 SQL 查詢、文本處理、機(jī)器學(xué)習(xí)等，而在 Spark 出現(xiàn)之前，我們一般需要學(xué)習(xí)各種各樣的引擎來分別處理這些需求。

大數(shù)據(jù)Spark有什么作用

Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark是UC Berkeley AMP lab (加州大學(xué)伯克利分校的AMP實(shí)驗(yàn)室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是——Job中間輸出結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的MapReduce的算法。

大數(shù)據(jù)Spark都有什么性能特點(diǎn)呢？

1.更快的速度：內(nèi)存計(jì)算下，Spark 比 Hadoop 快100倍。

2.易用性：Spark 提供了80多個(gè)高級運(yùn)算符。

3.通用性：Spark 提供了大量的庫，包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 開發(fā)者可以在同一個(gè)應(yīng)用程序中無縫組合使用這些庫。

4.支持多種資源管理器：Spark 支持 Hadoop YARN，Apache Mesos，及其自帶的獨(dú)立集群管理器。