flare-spork: 自己維護的Pig on Spark項目
關於flare-spork
很早以前有個Pig Spork分支,嚐試把Pig遷移到Spark上,但是代碼很久沒有更新了。目前Pig on Spark應該是在Twitter內部進行著。
flare-spork是基於Spork對Pig和Spark的銜接,把Spark部分的代碼遷移到了Pig 0.12.0上,並且升級了依賴和版本,升級為Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。
目前項目在Github上,地址。打算參考Spork已經做的一些東西,繼續Pig on Spark的開發。
Github上的內容已經是merge進Pig 0.12.0的Spork版本了,可以編譯和運行。更多細節的內容可以參考裏麵的README。有介紹如何編譯,有什麼改變,能跑什麼樣的簡單demo。
最後更新:2017-04-03 12:56:25