阅读797 返回首页    go 阿里云 go 技术社区[云栖]

OGG MaxCompute插件__数据入云_数据集成-阿里云

Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化。本文介绍如何使用OGG将增量变化上传到ODPS DataHub。

二、环境要求

  • 源端已安装好Oracle以及OGG
  • 宿端已安装好OGG(with java adaptor)

三、配置步骤

(Oracle/OGG相关参数配置以熟悉Oracle/OGG的运维人员配置为准，本示例只是提供一个可运行的样本)

    1. 源端Oracle配置：
  1. # 创建ogg_test用户，密码也为ogg_test
  2. create user ogg_test identified by ogg_test; 
  4. # 给ogg_test赋予充分的权限
  5. grant connect,resource,dba to ogg_test;
  7. # 给用户ogg_test赋予库ogg_test的执行权限
  8. grant execute on ogg_test TO ogg_test;
  10. # 检查附加日志情况
  11. Select SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK, SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK, SUPPLEMENTAL_LOG_DATA_ALL from v$database;
  13. # 增加数据库附加日志及回退
  14. alter database add supplemental log data;
  15. alter database add supplemental log data (primary key, unique,foreign key) columns;
  16. --- rollback
  17. alter database drop supplemental log data (primary key, unique,foreign key) columns;
  18. alter database drop supplemental log data;
  20. # 全字段模式，注意：在该模式下的delete操作也只有主键值
  21. ALTER DATABASE ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS;
  23. # 开启数据库强制日志模式
  24. alter database force logging;
  26. # 执行marker_setup.sql 脚本
  27. @marker_setup.sql
  29. # 执行@ddl_setup.sql 
  30. @ddl_setup.sql
  32. # 执行role_setup.sql
  33. @role_setup.sql
  35. # 给ogg用户赋权
  36. grant GGS_GGSUSER_ROLE to ogg_test;
  38. # 执行@ddl_enable.sql，开启DDL trigger
  39. @ddl_enable.sql
  41. # 执行优化脚本
  42. @ddl_pin ogg_test
  44. # 安装sequence support
  45. @sequence.sql
  47. # 
  48. alter table sys.seq$ add supplemental log data (primary key) columns;
  • 2.源端OGG extract配置
  1. # 查看全局情况
  2. info all
  4. # 配置mgr
  5. edit params mgr
  7. PORT 7839
  8. DYNAMICPORTLIST  7840-7849
  9. USERID ogg_test, PASSWORD ogg_test
  10. PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 7
  11. LAGREPORTHOURS 1
  12. LAGINFOMINUTES 30
  13. LAGCRITICALMINUTES 45
  14. PURGEDDLHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  15. PURGEMARKERHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  17. # 启动mgr（运行日志在%YOUR_OGG_DIRECTORY%/dirrpt中）
  18. start mgr
  20. # 查看mgr状态
  21. info mgr
  23. # 查看mgr配置
  24. view params mgr
  26. # 配置extract（名字可任取，extract是组名）
  27. edit params extract
  29. EXTRACT extract
  30. SETENV (NLS_LANG="AMERICAN_AMERICA.AL32UTF8")
  31. DBOPTIONS   ALLOWUNUSEDCOLUMN
  32. USERID ogg_test, PASSWORD ogg_test
  33. REPORTCOUNT EVERY 1 MINUTES, RATE
  34. NUMFILES 5000
  35. DISCARDFILE ./dirrpt/ext_test.dsc, APPEND, MEGABYTES 100
  36. DISCARDROLLOVER AT 2:00
  37. WARNLONGTRANS 2h, CHECKINTERVAL 3m
  38. EXTTRAIL ./dirdat/st, MEGABYTES 200
  39. DYNAMICRESOLUTION
  40. TRANLOGOPTIONS CONVERTUCS2CLOBS
  41. TRANLOGOPTIONS RAWDEVICEOFFSET 0
  42. DDL &
  43. INCLUDE MAPPED OBJTYPE 'table' &
  44. INCLUDE MAPPED OBJTYPE 'index' &
  45. INCLUDE MAPPED OBJTYPE 'SEQUENCE' &
  46. EXCLUDE OPTYPE COMMENT
  47. DDLOPTIONS  NOCROSSRENAME  REPORT
  48. TABLE     OGG_TEST.*;
  49. SEQUENCE  OGG_TEST.*;
  51. # 增加extract进程（ext后的名字要跟上面`extract`对应，本例中extract是组名）
  52. add ext extract,tranlog,begin now
  54. # 添加抽取进程，每个队列文件大小为200m
  55. add exttrail ./dirdat/st,ext extract, megabytes 200
  57. # 启动抽取进程
  58. start extract extract
  59. 至此，extract配置完成，数据库的一条变更可以在ggate/dirdat目录下的文件中看到
  • 3.源端生成def文件并拷贝到宿端
  1. # 源端ggsci起来后执行如下命令
  2. edit params defgen
  4. DEFSFILE ./dirdef/ogg_test.def
  5. USERID ogg_test, PASSWORD ogg_test
  6. table OGG_TEST.*;
  8. # 生成ogg_test.def，拷贝到宿端相应目录下
  9. ./defgen paramfile ./dirprm/defgen.prm
  • 4.宿端启动OGG mgr
  1. # 创建必须目录
  2. create subdirs
  4. # 编辑mgr配置
  5. edit params mgr
  7. PORT 7839
  8. DYNAMICPORTLIST  7840-7849
  9. PURGEOLDEXTRACTS ./dirdat/*, USECHECKPOINTS, MINKEEPDAYS 7
  10. LAGREPORTHOURS 1
  11. LAGINFOMINUTES 30
  12. LAGCRITICALMINUTES 45
  13. PURGEDDLHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  14. PURGEMARKERHISTORY MINKEEPDAYS 3, MAXKEEPDAYS 7
  16. # 启动mgr
  17. start mgr
  • 5.源端OGG pump配置
  1. # 编辑pump配置
  2. edit params pump
  4. EXTRACT pump
  5. RMTHOST %YOUR_REMOTE_OGG_IP%, MGRPORT 7839, COMPRESS
  6. PASSTHRU
  7. NUMFILES 5000
  8. RMTTRAIL ./dirdat/st
  9. DYNAMICRESOLUTION
  10. TABLE      OGG_TEST.*;
  11. SEQUENCE   OGG_TEST.*;
  13. # 添加投递进程，从某一个队列开始投
  14. add ext pump,exttrailsource ./dirdat/st
  16. # 备注：投递进程，每个队文件大小为200m
  17. add rmttrail ./dirdat/st,ext pump,megabytes 200
  19. # 启动pump
  20. start pump
  21. 启动后可以在目标端的dirdat目录下看到过来的trailfile
  • 6.宿端安装aliyun-odps-ogg-plugin插件
  1. #从Github克隆项目:
  2. git clone git@github.com:aliyun/aliyun-odps-ogg-plugin.git
  4. #编译并打包:
  5. cd aliyun-odps-ogg-plugin/
  6. ./build.sh
  7. 编译完成后，插件会在aliyun-odps-ogg-plugin/build_1.0.0/datahub_lib/目录下
  • 7.宿端编写插件配置文件dirprm/extdatahub.properties
  1. goldengate.userexit.writers=jvm
  3. # jvm启动参数
  4. jvm.bootoptions=-Djava.class.path=%YOUR_OGG_HOME%/ggjava/ggjava.jar -Xmx512m -Xms32m
  6. # Goldengate classpath
  7. gg.classpath=%YOUR_aliyun-odps-ogg-plugin_DIRECTORY%/build_1.0.0/datahub_lib/*
  9. # 插件名称
  10. gg.handlerlist=ggdatahub
  12. # 插件类型
  13. gg.handler.ggdatahub.type=com.aliyun.odps.ogg.handler.datahub.DatahubHandler
  15. # 报警接口自定义实现，默认实现为使用log4j记录相关日志
  16. #gg.handler.ggdatahub.alarmImplement=com.test.LogAlarm
  18. # ODPS project name
  19. gg.handler.ggdatahub.project=%YOUR_ODPS_PROJECT%
  21. # ODPS table map. ODPS表应在OGG启动前完成创建
  22. gg.handler.ggdatahub.tableMap=ogg_test.test_1/ogg_test1,ogg_test.test_2/ogg_test2
  24. # Aliyun access_id
  25. gg.handler.ggdatahub.accessID=%YOUR_ODPS_ACCESS_ID%
  27. # Aliyun access_key
  28. gg.handler.ggdatahub.accessKey=%YOUR_ODPS_ACCESS_KEY%
  30. # ODPS end point 
  31. gg.handler.ggdatahub.endPoint=https://service.odps.aliyun.com/api
  33. # ODPS datahub end point
  34. gg.handler.ggdatahub.datahubEndPoint=https://dh.odps.aliyun.com
  36. # ODPS表shard个数
  37. gg.handler.ggdatahub.shardNumber=1
  39. # ODPS表hublifecycle
  40. gg.handler.ggdatahub.hubLifeCycle=7
  42. # 加载shard超时时间
  43. gg.handler.ggdatahub.shardTimeout=60
  45. # 插件缓存日指条数的最大容量
  46. gg.handler.ggdatahub.batchSize=1000
  48. # 记录插件信息的文件路径，默认是dirdat/%handler_name%_handler_info
  49. gg.handler.ggdatahub.handlerInfoFileName=dirdat/ggdatahub_handler_info
  51. # 指定Oracle字段名和相应的ODPS数据类型
  52. gg.handler.ggdatahub.keyFields=ogg_test.test_1:id/bigint|ogg_test.test_2:id/bigint
  54. # 指定Oracle要监控的字段名和相应的ODPS数据类型，插件会将"字段名_before"和"字段名_after"作为ODPS表字段，存储变化前后的变量值
  55. gg.handler.ggdatahub.focusFields=ogg_test.test_1:name/string|ogg_test.test_2:name/string
  57. # 指定Dateformat用于解析日期字段。如果不存在日期字段可以不配置
  58. gg.handler.ggdatahub.dbDateFormat=yyyy-MM-dd:HH:mm:ss
  60. # ODPS分区字段，逗号分隔
  61. gg.handler.ggdatahub.partitionFields=pt,dt
  63. # ODPS分区值，顺序应与字段顺序一直
  64. # 支持2种方式自定义分区值
  65. #   1. 固定值
  66. #   2. timestamp转义序列(使用transaction的开始时间作为timestamp)
  67. gg.handler.ggdatahub.partitionValues=p1,%y-%m-%d
  69. # 上传包的最大重试次数，默认为3
  70. gg.handler.ggdatahub.retryCount=3
  72. # 最多忽略的失败操作个数，默认为0
  73. gg.handler.ggdatahub.passFailedOperationCount=10
  75. # 记录失败操作的文件路径，默认为dirrpt/%handler_name%_bad_operations.log
  76. gg.handler.ggdatahub.failedOperationFileName=dirrpt/ggdatahub_bad_operations.log
  • 8.宿端自动根据Oracle表结构生成ODPS datahub表
  1. cd %YOUR_aliyun-odps-ogg-plugin_DIRECTORY%/datahub_handler/table_tool/
  2. java -jar ogg-odps-table-1.0.0.jar CREATE %YOUR_OGG_DIRECTORY%/dirprm/extdatahub.properties
  • 9.宿端启动extract进程从trailfile里抓取增加数据写往ODPS datahub
  1. # 编辑writer配置
  2. edit params dhwriter
  4. extract dhwriter
  5. CUSEREXIT libggjava_ue.so CUSEREXIT PASSTHRU,INCLUDEUPDATEBEFORES,PARAMS "dirprm/extdatahub.properties"
  6. sourcedefs ./dirdef/ogg_test.def
  7. table OGG_TEST.*;
  9. # 添加writer
  10. add extract dhwriter, exttrailsource ./dirdat/st
  12. # 启动writer
  13. start dhwriter

至此，全部配置结束，你在源端库做的DML操作，会在ODPS datahub表里看到对应的流水记录。譬如源端插入一条记录insert into ogg_test.test_2(id,name) values(10,’j’)几分钟后你将会在ODPS datahub表里看到类似如下的记录：

optype readtime id name_before name_after pt dt
INSERT(5) 2015-12-22 12:14:35.218 10 NULL j p1 15-12-22

四、常见问题

  • 宿端报错 libjsig.so: cannot open shared object file: No such file or directory

设置LD_LIBRARY_PATH：

  1. export LD_LIBRARY_PATH=$JRE_HOME/lib/amd64/server
  2. export shared_libraries_variable=$OGG_HOME:$shared_libraries_variable
  • 常见排查

看dirrpt目录下的系统日志，看dirdat下trailfile是否有更新，看extract进程是否running，断点调试 dirprm/extdatahub.properties：jvm.bootoptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,address=5006

五、了解更多

[插件GitHub文档] (https://github.com/aliyun/aliyun-odps-ogg-plugin/wiki)

最后更新：2016-11-24 11:23:47

  上一篇：go Fluentd MaxCompute插件__数据入云_数据集成-阿里云
  下一篇：go 产品介绍__交通行业解决方案_大数据解决方案-阿里云