Skip to content
Projects
Groups
Snippets
Help
Loading...
Help
Support
Submit feedback
Contribute to GitLab
Sign in
Toggle navigation
D
DataX
Project
Project
Details
Activity
Releases
Cycle Analytics
Repository
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
Issues
0
Issues
0
List
Boards
Labels
Milestones
Merge Requests
0
Merge Requests
0
CI / CD
CI / CD
Pipelines
Jobs
Schedules
Charts
Wiki
Wiki
Snippets
Snippets
Members
Members
Collapse sidebar
Close sidebar
Activity
Graph
Charts
Create a new issue
Jobs
Commits
Issue Boards
Open sidebar
risk-feature
DataX
Commits
a768739d
Commit
a768739d
authored
Mar 26, 2018
by
mazhenlin
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
修改hbaseConfig相关描述
parent
baee63f8
Changes
2
Hide whitespace changes
Inline
Side-by-side
Showing
2 changed files
with
2 additions
and
70 deletions
+2
-70
hbase11xreader.md
hbase11xreader/doc/hbase11xreader.md
+1
-36
hbase11xwriter.md
hbase11xwriter/doc/hbase11xwriter.md
+1
-34
No files found.
hbase11xreader/doc/hbase11xreader.md
View file @
a768739d
...
...
@@ -96,37 +96,6 @@ ROW COLUMN+CELL
| xiaoming | info:company| 1457082189826 | alibaba |
3、HbaseReader中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置,如:设置scan的cache(hbase.client.scanner.caching)、batch来优化与服务器的交互。
如:hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>
hbase.rootdir
</name>
<value>
hdfs://ip:9000/hbase
</value>
</property>
<property>
<name>
hbase.cluster.distributed
</name>
<value>
true
</value>
</property>
<property>
<name>
hbase.zookeeper.quorum
</name>
<value>
**
*
</value>
</property>
</configuration>
```
转换后的json为:
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip:9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "
**
*
"
}
```
### 1.2 限制
1、目前不支持动态列的读取。考虑网络传输流量(支持动态列,需要先将hbase所有列的数据读取出来,再按规则进行过滤),现支持的两种读取模式中需要用户明确指定要读取的列。
...
...
@@ -162,8 +131,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxxx: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxxf"
},
"table": "users",
...
...
@@ -237,8 +204,6 @@ ROW COLUMN+CELL
"name": "hbase11xreader",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //xxx 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "xxx"
},
"table": "users",
...
...
@@ -301,7 +266,7 @@ ROW COLUMN+CELL
* **hbaseConfig**
* 描述:
每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 描述:
连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 必选:是 <br />
...
...
hbase11xwriter/doc/hbase11xwriter.md
View file @
a768739d
...
...
@@ -31,37 +31,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
3、写入hbase的时间戳(版本)支持:用当前时间作为版本,指定源端列作为版本,指定一个时间 三种方式作为版本;
4、HbaseWriter中有一个必填配置项是:hbaseConfig,需要你联系 HBase PE,将hbase-site.xml 中与连接 HBase 相关的配置项提取出来,以 json 格式填入,同时可以补充更多HBase client的配置来优化与服务器的交互。
如:hbase-site.xml的配置内容如下
```
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>***</value>
</property>
</configuration>
```
转换后的json为:
```
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
}
```
### 1.2 限制
1、目前只支持源端为横表写入,不支持竖表(源端读出的为四元组: rowKey,family:qualifier,timestamp,value)模式的数据写入;本期目标主要是替换DataX2中的habsewriter,下次迭代考虑支持。
...
...
@@ -133,8 +102,6 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
"name": "hbase11xwriter",
"parameter": {
"hbaseConfig": {
"hbase.rootdir": "hdfs: //ip: 9000/hbase",
"hbase.cluster.distributed": "true",
"hbase.zookeeper.quorum": "***"
},
"table": "writer",
...
...
@@ -200,7 +167,7 @@ HbaseWriter 插件实现了从向Hbase中写取数据。在底层实现上,Hba
*
**hbaseConfig**
* 描述:
每个HBase集群提供给DataX客户端连接的配置信息存放在hbase-site.xml,请联系你的HBase PE提供配置信息,并转换为JSON格式
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
* 描述:
连接HBase集群需要的配置信息,JSON格式。必填的项是hbase.zookeeper.quorum,表示HBase的ZK链接地址
。同时可以补充更多HBase client的配置,如:设置scan的cache、batch来优化与服务器的交互。
*
必选:是
<br
/>
...
...
Write
Preview
Markdown
is supported
0%
Try again
or
attach a new file
Attach a file
Cancel
You are about to add
0
people
to the discussion. Proceed with caution.
Finish editing this message first!
Cancel
Please
register
or
sign in
to comment