主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中
sqoop主要有两个版本：1.4.x、1.99.x ; sqoop1和sqoop2两个版本。
环境变量配置无问题。 【以下问题是1.99.6版本，经过多方尝试，仍报错】
报错
【-bash: sqoop: command not found】
- sqoop2中已经没有sqoop command指令了…sqoop指令是适用与sqoop1的
进入sqoop.sh client，使用show job 等。
报错
sqoop:000> show job |
原因是没有指定服务端，需设置 set server –host 主机名或IP地址
sqoop:000> set server --host 主机名或IP地址
Server is set successfully可通过设置,查看错误原因
sqoop:000> set option --name verbose --value true
Verbose option was changed to true
尝试利用sqoop2 1.99.7版本
下载地址 [https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/]
配置好环境变量
export SQOOP2_HOME=/usr/local/sqoop/ |
修改 $SQOOP2_HOME/conf/sqoop.properties
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop-2.7.7/etc/hadoop |
启动服务端 $SQOOP2_HOME/bin/sqoop2-server start
报错
Setting conf dir: /usr/local/sqoop/bin/../conf |
检查Hadoop环境是否配置正确
export HADOOP_HOME=/usr/local/hadoop-2.7.7 |
注意：配置这个变量主要是让Sqoop能找到以下目录的jar文件和Hadoop配置文件：
- $HADOOP_HOME/share/hadoop/common
- $HADOOP_HOME/share/hadoop/hdfs
- $HADOOP_HOME/share/hadoop/mapreduce
- $HADOOP_HOME/share/hadoop/yarn
官网上说名了可以单独对各个组建进行配置，使用以下变量：
$HADOOP_COMMON_HOME, $HADOOP_HDFS_HOME, $HADOOP_MAPRED_HOME, $HADOOP_YARN_HOME
若$HADOOP_HOME已经配置了，最好不要再配置下面的变量，可能会有些莫名错误。
查看是否启动成功方式有三种
第一种查看日志
[root@localhost bin]# sqoop2-server start
Setting conf dir: /usr/local/sqoop/bin/../conf
Sqoop home directory: /usr/local/sqoop
Starting the Sqoop2 server...
0 [main] INFO org.apache.sqoop.core.SqoopServer - Initializing Sqoop server.
5 [main] INFO org.apache.sqoop.core.PropertiesConfigurationProvider - Starting config file poller thread
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/apache-hive-2.3.4-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
Sqoop2 server started.第二种执行访问 http://IP地址:12000/sqoop/version
- 第三种执行JPS命令查看进程：Bootstrap、SqoopJettyServer
[root@localhost bin]# jps
22402 RunJar
5861 Jps
11848 NamesrvStartup
2936 DataNode
3513 jenkins.war
5561 SqoopJettyServer
2060 NameNode
22317 RunJar
12285 JswLauncher
12686 NodeManager
12399 ResourceManager
5135 Bootstrap
启动客户端 $SQOOP2_HOME/bin/sqoop2-shell
再次尝试 show job、show connector 没有报错 这说明安装部署成功
sqoop:000> show connector |
尝试后
我想要的功能是将hive数据移入mysql，经对sqoop2的使用发现，sqoop2并不支持。遗憾。接下来将尝试sqoop1。
区别在于
| 功能 | Sqoop 1 | Sqoop 2 |
|---|---|---|
| 用于所有主要 RDBMS 的连接器 | 支持 | 不支持 解决办法： 使用已在以下数据库上执行测试的通用 JDBC 连接器： Microsoft SQL Server 、 PostgreSQL 、 MySQL 和 Oracle 。 此连接器应在任何其它符合 JDBC 要求的数据库上运行。但是，性能可能无法与 Sqoop 中的专用连接器相比 |
| Kerberos 安全集成 | 支持 | 不支持 |
| 数据从 RDBMS 传输至 Hive 或 HBase | 支持 | 不支持 解决办法： 按照此两步方法操作。 将数据从 RDBMS 导入 HDFS 在 Hive 中使用相应的工具和命令（例如 LOAD DATA 语句），手动将数据载入 Hive 或 HBase |
| 数据从 Hive 或 HBase 传输至 RDBMS | 不支持 解决办法： 按照此两步方法操作。 从 Hive 或 HBase 将数据提取至 HDFS （作为文本或 Avro 文件） 使用 Sqoop 将上一步的输出导出至 RDBMS | 不支持 按照与 Sqoop 1 相同的解决方法操作 |
