阅读786 返回首页    go 阿里云 go 技术社区[云栖]


flare-spork: 自己维护的Pig on Spark项目

关于flare-spork

很早以前有个Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。

flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。

目前项目在Github上,地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。

Github上的内容已经是merge进Pig 0.12.0的Spork版本了,可以编译和运行。更多细节的内容可以参考里面的README。有介绍如何编译,有什么改变,能跑什么样的简单demo。


最后更新:2017-04-03 12:56:25

  上一篇:go vxworks for x86读取bios时间的解决方法
  下一篇:go 最长公共子序列-jobdu-1402(附带打印)