Apache Spark 學習紀錄
  • Introduction
  • Spark architecture
    • spark架構圖
  • Launch a Spark program
    • Spark-submit
    • Spark-shell
    • pyspark
  • RDD
  • DataFrame
  • SparkSQL
  • Spark Streaming
  • 性能調校
Powered by GitBook
On this page

Was this helpful?

  1. Launch a Spark program

Spark-shell

前面提到的,Spark-shell,可以讓你互動式的執行 spark job,你可以在 spark-shell 的設定檔設定好啟動 spark-shell 的參數設定。

預設都會有 SparkContext 物件,名為 sc ;透過 sc 我們就可以開始建立 RDD 或是讀寫跟執行了。

PreviousSpark-submitNextpyspark

Last updated 5 years ago

Was this helpful?