762
Spark 1.0 開發環境構建：maven/sbt/idea
因為我原來對maven和sbt都不熟悉，因此使用兩種方法都編譯了一下。下麵記錄一下編譯時候遇到的問題。然後介紹一下如果使用IntelliJ IDEA 13.1構建開發環境。
首先準備java環境和scala環境：
1. jdk 1.7
2. scala 2.11.1
1. maven
首先安裝maven，我安裝的是3.2.3， 可以直接下載binary。解壓即可用。需要設置一下環境變量：
export MAVEN_HOME=/project/spark_maven/spark/apache-maven-3.2.3 export MAVEN_OPTS="-Xmx4096m -XX:MaxPermSize=4096m" export PATH=$PATH:$MAVEN_HOME/bin
由於我的筆記本有16G內存，因此可以給maven比較大的內存。如果MAVEN_OPTS設置的不合理，那麼會導致OOM的錯誤，具體信息可以看這裏。
使用以下命令編譯：
mvn -X -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package
這裏使用的是Apache Hadoop 2.2，如果使用比如其他的商業發行版，可以參照官網的信息去編譯。
等待一段時間，如果沒有error的話，恭喜你編譯成功。下麵是編譯成功的結果：
2. sbt
sbt編譯過程比較慢。如果運行sbt說sbt-launch.jar的錯誤，那麼需要手動的安裝以下，可以看這裏。
實際上使用以下命令既可以開始編譯了：
./sbt/sbt assembly
.sbt.ivy.lock
。然後重啟開始。sbt會進行增量編譯。3. IDEA
將sbt導入idea，先做以下準備工作：
./sbt/sbt gen-idea
如果發生了錯誤，再次進行。現在應該不需要設置代理即可完成了。如果要等待lock，那麼參照上述的方法刪除lock即可。
然後打開IDEA，點擊Import Project：
選擇工程的默認路徑後，選擇SBT Project
選擇auto即可：
點擊Finish即完成了工程的導入。
下麵可以使用IDEA編譯以下整個工程：
4. IDEA的常用快捷鍵：
command ＋ B：跳到變量/函數定義處。
command ＋ N：查找類
command ＋ Shift ＋ N： 查找文件
快一點了，以後更新吧。
最後更新：2017-04-03 05:40:17