623
如何在命令行中指定StreamingPro的寫入路徑
如何命令行指定輸如輸出的參數？下麵有個輸出的例子：
{
"name": "stream.outputs",
"params": [
{
"name":"jack",
"format": "jdbc",
"path": "-",
"driver":"com.mysql.jdbc.Driver",
"url":"jdbc:mysql://127.0.0.1/test?characterEncoding=utf8",
"inputTableName": "finalOutputTable",
"user":"~",
"password":"~",
"dbtable":"~",
"mode":"Overwrite"
}
]
}
其中dbtable 是按天建立的，也就是我每天見一個表，表後綴是時間譬如 20121111 這種。在StreamingPro中的處理方式很簡單，隻要是Source或者Ouput,那麼所有的配置都是可以在命令行中指定的。比如我需要指定dbtable的時候，隻要如下即可：
SHome=/home/zhuhl/streamingpro
spark-submit --class streaming.core.StreamingApp \
--master yarn-cluster \
--name test \
$SHome/streamingpro-0.4.12-SNAPSHOT-online-1.6.1-jar-with-dependencies.jar \
-streaming.name test \
-streaming.platform spark \
-streaming.job.file.path file:///test.json
-streaming.sql.out.jack.dbtable aaa
如何給SQL傳遞變量
其實batch.sql/stream.sql 也是可以傳遞變量的，比如：
{
"name": "batch.sql",
"params": [
{
"sql": "select * from test where a=:jack",
"outputTableName": "finalOutputTable"
}
]
}-streaming.sql.params.jack william
最後更新：2017-04-01 17:13:51