閱讀797 返回首頁    go 財經資訊

OGG MaxCompute插件__數據入雲_數據集成-阿裏雲

Oracle Golden Gate軟件是一種基於日誌的結構化數據複製備份軟件，它通過解析源數據庫在線日誌或歸檔日誌獲得數據的增量變化。本文介紹如何使用OGG將增量變化上傳到ODPS DataHub。

二、環境要求

  • 源端已安裝好Oracle以及OGG
  • 宿端已安裝好OGG(with java adaptor)

三、配置步驟

(Oracle/OGG相關參數配置以熟悉Oracle/OGG的運維人員配置為準，本示例隻是提供一個可運行的樣本)

    1. 源端Oracle配置：
  1. # 創建ogg_test用戶，密碼也為ogg_test
  2. create user ogg_test identified by ogg_test; 
  4. # 給ogg_test賦予充分的權限
  5. grant connect,resource,dba to ogg_test;
  7. # 給用戶ogg_test賦予庫ogg_test的執行權限
  8. grant execute on ogg_test TO ogg_test;
  10. # 檢查附加日誌情況
  11. Select SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK, SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK, SUPPLEMENTAL_LOG_DATA_ALL from v$database;
  13. # 增加數據庫附加日誌及回退
  14. alter database add supplemental log data;
  15. alter database add supplemental log data (primary key, unique,foreign key) columns;
  16. --- rollback
  17. alter database drop supplemental log data (primary key, unique,foreign key) columns;
  18. alter database drop supplemental log data;
  20. # 全字段模式，注意：在該模式下的delete操作也隻有主鍵值
  21. ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
  23. # 開啟數據庫強製日誌模式
  24. alter database force logging;
  26. # 執行marker_setup.sql 腳本
  27. @marker_setup.sql
  29. # 執行@ddl_setup.sql 
  30. @ddl_setup.sql
  32. # 執行role_setup.sql
  33. @role_setup.sql
  35. # 給ogg用戶賦權
  36. grant GGS_GGSUSER_ROLE to ogg_test;
  38. # 執行@ddl_enable.sql，開啟DDL trigger
  39. @ddl_enable.sql
  41. # 執行優化腳本
  42. @ddl_pin ogg_test
  44. # 安裝sequence support
  45. @sequence.sql
  47. # 
  48. alter table sys.seq$ add supplemental log data (primary key) columns;
  • 2.源端OGG extract配置
  1. # 查看全局情況
  2. info all
  4. # 配置mgr
  5. edit params mgr
  7. PORT 7839
  8. DYNAMICPORTLIST  7840-7849
  9. USERID ogg_test, PASSWORD ogg_test
  10. PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 7
  11. LAGREPORTHOURS 1
  12. LAGINFOMINUTES 30
  13. LAGCRITICALMINUTES 45
  14. PURGEDDLHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  15. PURGEMARKERHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  17. # 啟動mgr（運行日誌在%YOUR_OGG_DIRECTORY%/dirrpt中）
  18. start mgr
  20. # 查看mgr狀態
  21. info mgr
  23. # 查看mgr配置
  24. view params mgr
  26. # 配置extract（名字可任取，extract是組名）
  27. edit params extract
  29. EXTRACT extract
  30. SETENV (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
  31. DBOPTIONS   ALLOWUNUSEDCOLUMN
  32. USERID ogg_test, PASSWORD ogg_test
  33. REPORTCOUNT EVERY 1 MINUTES, RATE
  34. NUMFILES 5000
  35. DISCARDFILE ./dirrpt/ext_test.dsc, APPEND, MEGABYTES 100
  36. DISCARDROLLOVER AT 2:00
  37. WARNLONGTRANS 2h, CHECKINTERVAL 3m
  38. EXTTRAIL ./dirdat/st, MEGABYTES 200
  39. DYNAMICRESOLUTION
  40. TRANLOGOPTIONS CONVERTUCS2CLOBS
  41. TRANLOGOPTIONS RAWDEVICEOFFSET 0
  42. DDL &
  43. INCLUDE MAPPED OBJTYPE 'table' &
  44. INCLUDE MAPPED OBJTYPE 'index' &
  45. INCLUDE MAPPED OBJTYPE 'SEQUENCE' &
  46. EXCLUDE OPTYPE COMMENT
  47. DDLOPTIONS  NOCROSSRENAME  REPORT
  48. TABLE     OGG_TEST.*;
  49. SEQUENCE  OGG_TEST.*;
  51. # 增加extract進程（ext後的名字要跟上麵`extract`對應，本例中extract是組名）
  52. add ext extract,tranlog,begin now
  54. # 添加抽取進程，每個隊列文件大小為200m
  55. add exttrail ./dirdat/st,ext extract, megabytes 200
  57. # 啟動抽取進程
  58. start extract extract
  59. 至此，extract配置完成，數據庫的一條變更可以在ggate/dirdat目錄下的文件中看到
  • 3.源端生成def文件並拷貝到宿端
  1. # 源端ggsci起來後執行如下命令
  2. edit params defgen
  4. DEFSFILE ./dirdef/ogg_test.def
  5. USERID ogg_test, PASSWORD ogg_test
  6. table OGG_TEST.*;
  8. # 生成ogg_test.def，拷貝到宿端相應目錄下
  9. ./defgen paramfile ./dirprm/defgen.prm
  • 4.宿端啟動OGG mgr
  1. # 創建必須目錄
  2. create subdirs
  4. # 編輯mgr配置
  5. edit params mgr
  7. PORT 7839
  8. DYNAMICPORTLIST  7840-7849
  9. PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 7
  10. LAGREPORTHOURS 1
  11. LAGINFOMINUTES 30
  12. LAGCRITICALMINUTES 45
  13. PURGEDDLHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  14. PURGEMARKERHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  16. # 啟動mgr
  17. start mgr
  • 5.源端OGG pump配置
  1. # 編輯pump配置
  2. edit params pump
  4. EXTRACT pump
  5. RMTHOST %YOUR_REMOTE_OGG_IP%, MGRPORT 7839, COMPRESS
  6. PASSTHRU
  7. NUMFILES 5000
  8. RMTTRAIL ./dirdat/st
  9. DYNAMICRESOLUTION
  10. TABLE      OGG_TEST.*;
  11. SEQUENCE   OGG_TEST.*;
  13. # 添加投遞進程，從某一個隊列開始投
  14. add ext pump,exttrailsource ./dirdat/st
  16. # 備注：投遞進程，每個隊文件大小為200m
  17. add rmttrail ./dirdat/st,ext pump,megabytes 200
  19. # 啟動pump
  20. start pump
  21. 啟動後可以在目標端的dirdat目錄下看到過來的trailfile
  • 6.宿端安裝aliyun-odps-ogg-plugin插件
  1. #從Github克隆項目:
  2. git clone git@github.com:aliyun/aliyun-odps-ogg-plugin.git
  4. #編譯並打包:
  5. cd aliyun-odps-ogg-plugin/
  6. ./build.sh
  7. 編譯完成後，插件會在aliyun-odps-ogg-plugin/build_1.0.0/datahub_lib/目錄下
  • 7.宿端編寫插件配置文件dirprm/extdatahub.properties
  1. goldengate.userexit.writers=jvm
  3. # jvm啟動參數
  4. jvm.bootoptions=-Djava.class.path=%YOUR_OGG_HOME%/ggjava/ggjava.jar -Xmx512m -Xms32m
  6. # Goldengate classpath
  7. gg.classpath=%YOUR_aliyun-odps-ogg-plugin_DIRECTORY%/build_1.0.0/datahub_lib/*
  9. # 插件名稱
  10. gg.handlerlist=ggdatahub
  12. # 插件類型
  13. gg.handler.ggdatahub.type=com.aliyun.odps.ogg.handler.datahub.DatahubHandler
  15. # 報警接口自定義實現，默認實現為使用log4j記錄相關日誌
  16. #gg.handler.ggdatahub.alarmImplement=com.test.LogAlarm
  18. # ODPS project name
  19. gg.handler.ggdatahub.project=%YOUR_ODPS_PROJECT%
  21. # ODPS table map. ODPS表應在OGG啟動前完成創建
  22. gg.handler.ggdatahub.tableMap=ogg_test.test_1/ogg_test1,ogg_test.test_2/ogg_test2
  24. # Aliyun access_id
  25. gg.handler.ggdatahub.accessID=%YOUR_ODPS_ACCESS_ID%
  27. # Aliyun access_key
  28. gg.handler.ggdatahub.accessKey=%YOUR_ODPS_ACCESS_KEY%
  30. # ODPS end point 
  31. gg.handler.ggdatahub.endPoint=https://service.odps.aliyun.com/api
  33. # ODPS datahub end point
  34. gg.handler.ggdatahub.datahubEndPoint=https://dh.odps.aliyun.com
  36. # ODPS表shard個數
  37. gg.handler.ggdatahub.shardNumber=1
  39. # ODPS表hublifecycle
  40. gg.handler.ggdatahub.hubLifeCycle=7
  42. # 加載shard超時時間
  43. gg.handler.ggdatahub.shardTimeout=60
  45. # 插件緩存日指條數的最大容量
  46. gg.handler.ggdatahub.batchSize=1000
  48. # 記錄插件信息的文件路徑，默認是dirdat/%handler_name%_handler_info
  49. gg.handler.ggdatahub.handlerInfoFileName=dirdat/ggdatahub_handler_info
  51. # 指定Oracle字段名和相應的ODPS數據類型
  52. gg.handler.ggdatahub.keyFields=ogg_test.test_1:id/bigint|ogg_test.test_2:id/bigint
  54. # 指定Oracle要監控的字段名和相應的ODPS數據類型，插件會將"字段名_before"和"字段名_after"作為ODPS表字段，存儲變化前後的變量值
  55. gg.handler.ggdatahub.focusFields=ogg_test.test_1:name/string|ogg_test.test_2:name/string
  57. # 指定Dateformat用於解析日期字段。如果不存在日期字段可以不配置
  58. gg.handler.ggdatahub.dbDateFormat=yyyy-MM-dd:HH:mm:ss
  60. # ODPS分區字段，逗號分隔
  61. gg.handler.ggdatahub.partitionFields=pt,dt
  63. # ODPS分區值，順序應與字段順序一直
  64. # 支持2種方式自定義分區值
  65. #   1. 固定值
  66. #   2. timestamp轉義序列(使用transaction的開始時間作為timestamp)
  67. gg.handler.ggdatahub.partitionValues=p1,%y-%m-%d
  69. # 上傳包的最大重試次數，默認為3
  70. gg.handler.ggdatahub.retryCount=3
  72. # 最多忽略的失敗操作個數，默認為0
  73. gg.handler.ggdatahub.passFailedOperationCount=10
  75. # 記錄失敗操作的文件路徑，默認為dirrpt/%handler_name%_bad_operations.log
  76. gg.handler.ggdatahub.failedOperationFileName=dirrpt/ggdatahub_bad_operations.log
  • 8.宿端自動根據Oracle表結構生成ODPS datahub表
  1. cd %YOUR_aliyun-odps-ogg-plugin_DIRECTORY%/datahub_handler/table_tool/
  2. java -jar ogg-odps-table-1.0.0.jar CREATE %YOUR_OGG_DIRECTORY%/dirprm/extdatahub.properties
  • 9.宿端啟動extract進程從trailfile裏抓取增加數據寫往ODPS datahub
  1. # 編輯writer配置
  2. edit params dhwriter
  4. extract dhwriter
  5. CUSEREXIT libggjava_ue.so CUSEREXIT PASSTHRU,INCLUDEUPDATEBEFORES,PARAMS "dirprm/extdatahub.properties"
  6. sourcedefs ./dirdef/ogg_test.def
  7. table OGG_TEST.*;
  9. # 添加writer
  10. add extract dhwriter, exttrailsource ./dirdat/st
  12. # 啟動writer
  13. start dhwriter

至此，全部配置結束，你在源端庫做的DML操作，會在ODPS datahub表裏看到對應的流水記錄。譬如源端插入一條記錄insert into ogg_test.test_2(id,name) values(10,’j’)幾分鍾後你將會在ODPS datahub表裏看到類似如下的記錄：

optype readtime id name_before name_after pt dt
INSERT(5) 2015-12-22 12:14:35.218 10 NULL j p1 15-12-22

四、常見問題

  • 宿端報錯 libjsig.so: cannot open shared object file: No such file or directory

設置LD_LIBRARY_PATH：

  1. export LD_LIBRARY_PATH=$JRE_HOME/lib/amd64/server
  2. export shared_libraries_variable=$OGG_HOME:$shared_libraries_variable
  • 常見排查

看dirrpt目錄下的係統日誌，看dirdat下trailfile是否有更新，看extract進程是否running，斷點調試 dirprm/extdatahub.properties：jvm.bootoptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,address=5006

五、了解更多

[插件GitHub文檔] (https://github.com/aliyun/aliyun-odps-ogg-plugin/wiki)

最後更新：2016-11-24 11:23:47

  上一篇：go Fluentd MaxCompute插件__數據入雲_數據集成-阿裏雲
  下一篇：go 產品介紹__交通行業解決方案_大數據解決方案-阿裏雲