Commit a768739d authored by mazhenlin's avatar mazhenlin

修改hbaseConfig相关描述

parent baee63f8
......@@ -96,37 +96,6 @@ ROW COLUMN+CELL
| xiaoming | info:company| 1457082189826 | alibaba |
3、HbaseReader中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置,如:设置scan的cache(hbase.client.scanner.caching)、batch来优化与服务器的交互。
如:hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>***</value>
</property>
</configuration>
```
转换后的json为:
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip:9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
}
```
### 1.2 限制
1、目前不支持动态列的读取。考虑网络传输流量(支持动态列,需要先将hbase所有列的数据读取出来,再按规则进行过滤),现支持的两种读取模式中需要用户明确指定要读取的列。
......@@ -162,8 +131,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxxx: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxxf"
},
"table": "users",
......@@ -237,8 +204,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxx 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxx"
},
"table": "users",
......@@ -301,7 +266,7 @@ ROW COLUMN+CELL
* **hbaseConfig**
* 描述:每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 描述:连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 必选:是 <br />
......
......@@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
3、写入hbase的时间戳(版本)支持:用当前时间作为版本,指定源端列作为版本,指定一个时间 三种方式作为版本;
4、HbaseWriter中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置来优化与服务器的交互。
如:hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>***</value>
</property>
</configuration>
```
转换后的json为:
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
}
```
### 1.2 限制
1、目前只支持源端为横表写入,不支持竖表(源端读出的为四元组: rowKey,family:qualifier,timestamp,value)模式的数据写入;本期目标主要是替换DataX2中的habsewriter,下次迭代考虑支持。
......@@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
"name": "hbase11xwriter",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
},
"table": "writer",
......@@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
* **hbaseConfig**
* 描述:每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 描述:连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 必选:是 <br />
......
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment