博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
OTSReader自己定义切分主键
阅读量:7064 次
发布时间:2019-06-28

本文共 3319 字,大约阅读时间需要 11 分钟。

该配置项属于高级配置项,是用户自己定义切分配置信息,普通情况下不建议用户使用。

适用场景通常在OTS数据存储发生热点,使用OTSReader自动切分的策略不能生效情况下,使用用户自定义的切分规则。split指定是的在Begin、End区间内的切分点,且只能是partitionKey的切分点信息,即在split仅配置partitionKey,而不需要指定全部的PrimaryKey。

例如对一张主键为id01、id02的OTS进行抽取任务,主键是数据0~90可以配置为:

{"job": {       "setting": {           "speed": {               "byte": 1048576           },           "errorLimit": {               "record": 0,               "percentage": 0.02           }       },       "content": [           {               "reader": {                   "name": "otsreader-internal",                   "parameter": {                       "mode": "multiVersion",                       "endpoint": "http://datax-internal.cn-hangzhou.ots.aliyuncs.com/",                       "accessId": "xxxxxxxxxxxxxxxx",                       "accessKey": "yyyyyyyyyyyyyy",                       "instanceName": "datax-internal",                       "table": "datax_ots_reader_internal_test_table",                       "range": {                           "begin": [                               {                                   "type": "INF_MIN",//主键id01最小值                                   "value": ""                               },                               {                                   "type": "INF_MIN",//主键id02最小值                                   "value": ""                               }                           ],                           "end": [                               {                                   "type": "INF_MAX",//指定 id01 抽取最大值                                   "value": ""                               },                               {                                   "type": "INF_MIN",//指定 id02 抽取最大值                                   "value": ""                               }                           ],                           "split": [            // 用户指定的切分点,如果指定了切分点,Job 将按照 begin、end 和 split 进行 Task 的切分,           // 切分的列只能是 Partition Key(ParimaryKey 的第一列)           // 支持 INF_MIN, INF_MAX, STRING, INT                                          {                                   "type": "int",                                   "value": "30"                               },                               {                                   "type": "int",                                   "value": "60"                               },                               {                                   "type": "int",                                   "value": "90"                               }                           ]                       },                       "column": [                           {                               "name": "name"                           },                           {                               "name": "mobile"                           },                           {                               "name": "age"                           },                           {                               "name": "salary"                           },                           {                               "name": "marry"                           }                       ]                   }               },               "writer": {                   "name": "txtfilewriter",                   "parameter": {}               }           }       ]   }}

转载地址:http://nnill.baihongyu.com/

你可能感兴趣的文章
递归与尾递归(C语言)
查看>>
【phonegap】下载文件
查看>>
Web Service单元测试工具实例介绍之SoapUI
查看>>
谈谈javascript语法里一些难点问题(一)
查看>>
【BZOJ】1082: [SCOI2005]栅栏(二分+dfs)
查看>>
通过递归组合多维数组!
查看>>
ocp 1Z0-051 23-70题解析
查看>>
关于MFLAGS与MAKEFLAGS
查看>>
NotePad++ for PHP
查看>>
ssh事务回滚,纪念这几个月困扰已久的心酸
查看>>
jQuery中的编程范式
查看>>
比较快速排序,冒泡排序,双向冒泡排序的执行效率
查看>>
还没被玩坏的robobrowser(5)——Beautiful Soup的过滤器
查看>>
Linux 精准获取进程pid--转
查看>>
Servlet、Filter、Listener总结
查看>>
[翻译] JTBorderDotAnimation
查看>>
关于Thread类中三个interrupt方法的研究与学习(转)
查看>>
mysql 加入列,改动列,删除列。
查看>>
UML的学习
查看>>
ContentProvider简单介绍
查看>>