Launch a Spark program
這邊主要要講的是我們進入 spark 程式,可以有哪些方式,主要分成兩種。
spark-submit : 將程式 submit 到叢集裏頭,每個 Worker 都會有一樣的程式,讓我們分散式運算。
spark-shell : 透過互動式的 shell 讓我們可以在裡面下達 scala 指令,在這種環境下一般只能設定 "local",意思就是說我們設定好連結叢集的路徑,它可以向叢集索要資料跟寫入資料,但資料的運算等操作,是會在本地的記憶體中運做,適合做開發。
另外提到一種,pyspark。
pyspark : pyspark 的指令讓你進入到 pyspark-shell,同 spark-shell 一樣,是互動式環境,但是是 python 的互動式環境。
Last updated