閱讀786 返回首頁    go 阿裏雲 go 技術社區[雲棲]


flare-spork: 自己維護的Pig on Spark項目

關於flare-spork

很早以前有個Pig Spork分支,嚐試把Pig遷移到Spark上,但是代碼很久沒有更新了。目前Pig on Spark應該是在Twitter內部進行著。

flare-spork是基於Spork對Pig和Spark的銜接,把Spark部分的代碼遷移到了Pig 0.12.0上,並且升級了依賴和版本,升級為Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。

目前項目在Github上,地址。打算參考Spork已經做的一些東西,繼續Pig on Spark的開發。

Github上的內容已經是merge進Pig 0.12.0的Spork版本了,可以編譯和運行。更多細節的內容可以參考裏麵的README。有介紹如何編譯,有什麼改變,能跑什麼樣的簡單demo。


最後更新:2017-04-03 12:56:25

  上一篇:go vxworks for x86讀取bios時間的解決方法
  下一篇:go 最長公共子序列-jobdu-1402(附帶打印)