第5章Sqoop安装与使用 Ver1.8-20221010

Imagemap
第5章Sqoop安装与使用 Ver1.8-20221010概述Sqoop 是 SQL to Hadoop 的缩写，是一款开源工具，主要用在 H ...官网参考http://sqoop.apache.orghttp://www.apache.org/dyn/closer.lua/sqo ...官网下载http://archive.apache.org/dist/sqoop/视频学习sqoop的安装与wmware快照sqoop的配置与连接测试sqoop的使用实例sqoop导mysql和hdfssqoop导 mysql和hive(一)sqoop导mysql和hive( 二）sqoop导mysql和hive(三)Sqoop安装安装包准备通过官网下载wget -c http://archive.apache.org/dist/s ...或者通过hdd网下载wget -c http://home.hddly.cn:90/soft/had ...解压sqoop包tar -xzvf ./sqoop-1.4.7.bin__hadoop-2.6. ...sqoop目录转移sudo mv ./sqoop-1.4.7.bin__hadoop-2.6.0 ...mysql-connector通过hdd网下载wget http://bigdata.hddly.cn/b46488/file ...或者，通过镜像下载wget -c https://mirrors.tuna.tsinghua.ed ...hive-jdbc通过maven网下载cd /usr/local/sqoop/lib wget -c https:// ...Sqoop配置系统环境变量/etc/profilesudo vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop expor ...使profile配置生效 ： source /etc/profile配置sqoop-env.shcd /usr/local/sqoop/conf cp ./sqoop-env- ...sudo mkdir /usr/local/accumulovi ./sqoop-env.shexport HADOOP_COMMON_HOME=${HADOOP_HOME} ...链接hadoop&hive配置ln -s $HADOOP_HOME/etc/hadoop/core-site. ...复制Hadoop包cd /usr/local/sqoop/lib \cp /usr/loc ...sqoop测试显示版本[hadoop@master ~]$ sqoop version Warning ...注：上面有几个警告，因为没有启用对应的组件，暂时忽略。查询数据库查databasessqoop list-databases --connect jdbc:mysq ...运行结果结果： information_schema test查tablessqoop list-tables \ --connect jdbc:mysq ...sqoop使用测试前准备在业务数据库test库 中添加课堂练习test相关表CREATE TABLE test.`test` ( `id` int(10 ...在业务数据库test库 中添加强化练习class相关表#test.`class`来源于网络信息采集同学们采集上来的class表，存于h ...在hive数据库中 添加测试库myname (myname为本人姓名全拼)--查看hive中的所有数据库 SHOW DATABASES; --创建myna ...hdfs导入导出课堂练习从mysql库导入test表 到hdfs的test目录sqoop import --connect "jdbc:mysql://hom ...导入参数说明--num-mappers 1”或者“-m 1”，即最后汇总为一个输出文件默认以短号分隔，可以更换为以\t分隔数据（需带上“--fields-termin ...运行结果1，启动运行视频:sqoop import2，sqoop import命令运行结果截图3，hdfs上/user/myname/test目录下文件内容其它参考crt视频结果hdfs上文件内容在hdfs上test目录下 添加测试数据在linux下使用hdfs dfs命令生成数据hdfs dfs -get /user/myname/test/part-m-0 ...hdfs dfs -put ./part-m-00001 /user/mynam ...观察hdfs上/user/myname/test/part-m-00001的内容运行结果hdfs dfs -get修改内容 vi ./part-m-00001hdfs dfs -puthdfs上part-m-00001内容从hdfs导出test 目录到mysql的 test_hdfs表sqoop export --connect "jdbc:mysql://hom ...运行结果sqoop export运行视频一sqoop export运行结果截图观察mysql上test_hdfs结果已查到新增记录从mysql上导入test表 至hive的 myname库的 test_hive ...前提要先在hive中创建myname库请参考sqoop import --connect "jdbc:mysql://h ...预期结果在hive中检查 use myname; show tables;能查到test-hive表在hdfs上检查http://master:9870 ->打开目录:/user/hive/war ...能查到test-hive目录运行结果sqoop import 运行结果视频观察hdfs上hive表结果历史视频参考crt运行结果视频crt运行结果截图hdfs上的文件生成结果在test_hive表中 添加测试数据show databases; use myname; show tables; ...运行结果insert into test_hive运行视频观察hdfs上新增test_hive_1目录从hive库导出test_hive 至mysql的test_hive表sqoop export --connect "jdbc:mysql://hom ...hive默认字段分隔符为 \001运行结果运行过程视频一mysql上test_hive查询结果历史视频参考运行过程视频mysql上test_hive查询结果在实验室中 使用的脚本sqoop list-tables \ --connect jdbc:mysql ...强化练习导入class表 至hdfssqoop import --connect "jdbc:mysql://hom ...运行结果crt上运行结果hdfs上文件内容导出class 至mysqlsqoop export --connect "jdbc:mysql:// ...成功运行mysql上导入的数据运行结果mysql上导入的数据中文正常从mysql库导入 class表到 hive的myname库 的class_hi ...以下命令中'张三'需更换为本人的中文姓名，需与采集数据时使用的名字一致sqoop import --connect "jdbc:mysql://h ...运行结果hdfs上的文件生成结果在hive上查询 和验证数据use myname; show tables; select count(1) ...crt上运行结果从hive库中导出 class_hive表到 mysql库的 class_hiv ...sqoop export --connect "jdbc:mysql://hom ...运行结果运行过程视频mysql上class_hive查询结果实训作业利用Sqoop实现Mysq与HDFS和HIVE导入导出训练要点强化学习sqoop import 命令语句的编写使用熟练掌握利用sqoop数据转换工具进行数据的导入或导出方法需求说明1，从mysql库导入test表到hdfs的/user/myname/test目 ...2，从hdfs导出/user/myanme/test 目录到mysql的 tes ...3，从mysql上导入test表 至hive的myname库的 test_hiv ...4，从hive库导出test_hive 至mysql的test_hive表作业要求1，截图转换过程中运行脚本及运行结果截图2，hdfs的目录或hive的库名需换成本的姓名全拼3，传回到mysql的 test_hdfs表和test_hive表的数据记录需含 ...参考其它参考hbase与mysql数据互传参考1hive与mysql数据互传参考1hive与mongodb数据互传方式二：第二种方式—BSON-based，即使用mongoexport将所需要的 ...参考SQOOP 的基本使用参考1hdfs导入导出语法参考sqoop export \ --connect jdbc:mysql ...导入classsqoop import --connect jdbc:mysql://home ...运行结果crt上运行有异常异常内容： CommunicationsException: Communica ...原因：无法从外网访问内网hdfs的datanode节点hive导入导出导入语法参考sqoop import \ --connect "jdbc:mysql:/ ...Sqoop导入数据到Hive是通过先将数据导入到HDFS上的临时目录，然后再将数 ...hive中创建测试库导入到Hive中的sqoop_test数据库需要预先创建，不指定则默认使用Hiv ... # 查看hive中的所有数据库 hive> SHOW DATABASES; ...hive与oracle数据互传连接串sqoop import --connect jdbc:oracle:thin: ...默认导入的数据默认的列分隔符是'\001'，默认的行分隔符是'\n'指定Sqoop也指定了参数 --fields-terminated-by和 --li ...sqoop import --connect jdbc:oracle:thin: ...其它：略scp批量复制hadoop备注1，可下载包括haddop、spark、hbase、hive、sqoop等工具2，默认配置为：主机名是master，主机ip是:192.168.137.100 ...3，scp第一次连接有提示是否联接，输入yes4，scp远程连接的用户名hadoop,有提示密码时请输入：hadoop下载hadoopscp -P 8222 -r hadoop@home.hddly.cn:/usr ...配置scp -P 8222 -r hadoop@home.hddly.cn:/usr ...下载sparkscp -P 8222 -r hadoop@home.hddly.cn:/usr ...配置scp -P 8222 -r hadoop@home.hddly.cn:/usr ...下载hbasescp -P 8222 -r hadoop@home.hddly.cn:/usr ...下载hivescp -P 8222 -r hadoop@home.hddly.cn:/usr ...下载sqoopscp -P 8222 -r hadoop@home.hddly.cn:/usr ...下载zookeeperscp -P 8222 -r hadoop@home.hddly.cn:/usr ...下载profilescp -P 8222 -r hadoop@home.hddly.cn:/etc ...scp批量复制到从机scp -r /usr/local/hadoop-3.3.1/etc/hadoo ...hive 注释方法-- 两横线为注释切记不可在--后加“;”号,它在任何时候都会被 解析Hive表字段、行、map默认分隔符hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用field ...\001 用于分隔字段(列)\002 用于分隔ARRAY或者STRUCT中的元素，或用于MAP中键-值对之间 ...\003 用于MAP中键和值之间的分隔\n 用于分隔行常见问题sqoop配套hadoop3的问题参考2参考Sqoop提示$ACCUMULO_HOME警告参考主要是因为Sqoop加载$ACCUMULO_HOME环境变量，没有找到所以做出警 ...解决办法到Sqoop配置文件中 $SQOOP_HOME/bin/configure-sq ...#if [ ! -d "${ACCUMULO_HOME}" ]; then # ...导入$ACCUMULO_HOME变量sudo mkdir /usr/local/accumulo vi ./sqo ...运行Sqoop报错解决： java.lang.NoClassDefFoundE ...错误信息Exception in thread "main" java.lang.NoC ...错误截图错误原因少commons-lang-2.6.jar解决办法官网下载： http://mirrors.tuna.tsinghua.edu.c ...解决办法2本机搜索[hadoop@master conf]$ sudo find / -name ...copysudo cp /usr/local/hadoop-3.3.1/share/ha ...sqoop从hdfs到mysql报错报表不存在报表不存在错误Error executing statement: com.mysql.jdb ...处理:在mysql创建表处理：添加表CREATE TABLE test.`help_keyword_from_hdf ...导入mysql的数据乱码现象mysql上导入的数据如图，导入的记录中，中文是乱码crt上运行结果视频原因：未进行编码处理：连接串中添加编码sqoop export --connect "jdbc:mysql:// ...运行结果报异常异常截图异常信息2022-10-08 21:25:32,494 ERROR mapreduce. ...问题分析将hadoop的history服务开启cd /usr/local/hadoop-3.3.1/sbin/ ./mr-jo ...重新运行脚本sqoop export --connect "jdbc:mysql://hom ...观察http://master:8088上该任务通过任务号进入详情通过应用ID链接进入详细通过History链接进入详细进入logs链接进入详细进入here进入日志明细发现日志提示:Caused by: java.lang.NumberFormatExcepti ...如图原因是字符串过长，导致转换为Number时出错问题处理修改导入数据的第1个字段，改短些，在10位数以内，后重新导入，成功sqoop从mysql到 hdfs时报mysql错错误信息Caused by: javax.net.ssl.SSLHandshakeExc ...原因由于安全认证解决使用useSSL=false sqoop import --connect jdbc:mysql://192 ...sqoop import --connect jdbc:mysql://192. ...sqoop从mysql到hdfs时报yarn错错误信息java.lang.NoClassDefFoundError: org/apac ...错误截图解决指定yarn的路径 vi ./sqoop-env.shexport HADOOP_COMMON_HOME=${HADOOP_HOME} ...错误信息NoClassDefFoundError: org/apache/hadoop/ ...错误截图解决hadoop-common-2.8.5.jar是否已经拷贝到sqoop的lib目 ...[hadoop@master conf]$ find /usr/local/ha ...cp /usr/local/hadoop-3.3.1/share/hadoop/ ...错误信息UnsupportedFileSystemException: No FileS ...解决cp /usr/local/hadoop-3.3.1/share/hadoop/ ...错误信息NoClassDefFoundError: org/eclipse/jetty/ ...原因少websocket-server.jar解决[hadoop@master conf]$ sudo find / -name ...错误信息SLF4J: Failed to load class "org.slf4j.i ...原因分析参考日志含义加载org.slf4j.impl.StaticLoggerBinder类 ...解决[hadoop@master conf]$ sudo find / -name ...解决2官方下载https://repo1.maven.org/maven2/org/slf4j ...cd /usr/local/sqoop/lib/ 909 wget ht ... mv /usr/local/sqoop/lib/slf4j-nop-1.7.3 ...错误信息[2022-08-25 21:01:23.189]Container exite ...mapreduce.JobSubmissionFiles: Permission ...原因分析开启日志debug ：set option --name verbose --value true处理sudo mkdir /tmp/hadoop-yarn sudo chown h ...将hadoop包都copy过来[hadoop@master lib]$ cp /usr/local/hadoo ...可正常运行了，如视频修改hdfs的 机架数据， 需有2个机架[hadoop@master hadoop]$ more ./rack_topo ...警告信息WARN mapreduce.Counters: Group FileSyste ...hadoop日志错Not enough replicas was chosen. Reason: ...截图原因: hdfs的配置文件被 设置为: 导致无法满足存储策略： 第一个副本尽可能 ...[hadoop@master hadoop]$ more ./rack_topo ...修改hdfs的 机架数据， 需有2个机架[hadoop@master hadoop]$ more ./rack_topo ...sqoop从mysql到hive时报错错误信息Could not load org.apache.hadoop.hive.co ...处理1删除sqoop_env.sh文件中行：export HIVE_CONF_DIR= ...处理2将hive的jar都复制到sqoop的lib目录下 cp /usr/local/hive/lib/hive* /usr/local ...处理3修改/usr/local/hadoop/etc/hadoop/hdfs-site ...cleaning up错误sqoop import --connect jdbc:mysql://19 ...could not be cleaned up： ERROR ql.Driver ...错误截图原因：未创建hive数据库：sqoop_test处理:重建数据库 use sqoop_test; drop table class; ...报权限异常sqoopl把mysql数据导到hive报错： main ERROR Could ...截图ERROR Could not register mbeans java.sec ...原因java 的安全策略问题处理cd到java路径下的 jre/lib/security目录（我的java路径是 ...如图sqoop从hive到mysql时报错错误信息ERROR mapreduce.ExportJobBase: Export jo ...处理1只导mysql表中不存在的记录文件--export-dir /user/hive/warehouse/sqoop_ ...处理2删除目标库表中已存在的数据删除目标库表中已存在的数据对应的hdfs上的文件snoop连接远程mysql报连接异常运行导入脚本sqoop import --connect "jdbc:mysql://192 ...成功sqoop import --connect "jdbc:mysql://hom ...成功运行导出脚本sqoop export --connect "jdbc:mysql:// ...成功运行视频mysql表数据ERROR sqoop.Sqoop: Got exception running ...ERROR sqoop.Sqoop: Got exception running ...截图原因：hdfs上源或目标路私径使用全路径且为hdfs方式，如:hdfs://ma ...snoop连接远程hdfs无法将数据写入从机datanode通过外网进入hdfs: sqoop import --connect "jdbc ...运行异常视频原因：无法访问内网的datanode无法读取远程的hdfs上的数据通过外网访问hdfs: sqoop export --connect "j ...运行异常截图原因:无法远程访问内网的datanode数据提示/user/root/sqoop_hive路径不存在在执行sqoop import过程报异常，显示目录不存在如图版本历史Ver1.6-20220925Ver1.7-20220928其它参考增加:scp批量复制到从机Ver1.8-20221010修改随堂练习，增加myname的使用，默认分隔符的使用增加常见问题的处理：Export job failed!
hide
第5章Sqoop安装与使用
Ver1.8-20221010
hide
概述
leaf
Sqoop 是 SQL to Hadoop 的缩写，是一款开源工具，主要用在 Hadoop 与传统关系数据库之间进行高效块数据的转移。可以将一个关系数据库中的数据导入到 Hadoop 的 HDFS 文件系统、 HBase 数据库、 Hive 数据仓库中，也可以将 Hadoop 的数据导入到关系数据库中。
hide
官网参考
leaf
http://sqoop.apache.org User Link
leaf
http://www.apache.org/dyn/closer.lua/sqoop/ User Link
hide
官网下载
leaf
http://archive.apache.org/dist/sqoop/ User Link
hide
视频学习
leaf
sqoop的安装与wmware快照 User Link
leaf
sqoop的配置与连接测试 User Link
hide
sqoop的使用实例
leaf
sqoop导mysql和hdfs User Link
leaf
sqoop导 mysql和hive(一) User Link
leaf
sqoop导mysql和hive( 二） User Link
leaf
sqoop导mysql和hive(三) User Link
hide
Sqoop安装
hide
安装包准备
hide
通过官网下载
leaf
wget -c http://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
hide
或者通过hdd网下载
leaf
wget -c http://home.hddly.cn:90/soft/hadoop/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
hide
解压sqoop包
leaf
tar -xzvf ./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
hide
sqoop目录转移
leaf
sudo mv ./sqoop-1.4.7.bin__hadoop-2.6.0 /usr/local/sqoop
hide
mysql-connector
hide
通过hdd网下载
leaf
wget http://bigdata.hddly.cn/b46488/file/chap6/mysql-connector-java-5.1.45-bin.jar
mv ./mysql-connector-java-5.1.45-bin.jar /usr/local/sqoop/lib
hide
或者，通过镜像下载
leaf
wget -c https://mirrors.tuna.tsinghua.edu.cn/mysql/downloads/Connector-J/mysql-connector-java-5.1.49.tar.gz --no-check-certificate
tar -zxvf ./mysql-connector-java-5.1.49.tar.gz
cp ./mysql-connector-java-5.1.49/mysql-connector-java-5.1.49-bin.jar /usr/local/sqoop/lib
hide
hive-jdbc
hide
通过maven网下载
leaf
cd /usr/local/sqoop/lib
wget -c https://repo1.maven.org/maven2/org/apache/hive/hive-jdbc/2.1.0/hive-jdbc-2.1.0.jar
hide
Sqoop配置
hide
系统环境变量/etc/profile
leaf
sudo vi /etc/profile
leaf
export SQOOP_HOME=/usr/local/sqoop
export PATH=$SQOOP_HOME/bin:$PATH
leaf
使profile配置生效 ：
source /etc/profile
hide
配置sqoop-env.sh
leaf
cd /usr/local/sqoop/conf
cp ./sqoop-env-template.sh ./sqoop-env.sh
leaf
sudo mkdir /usr/local/accumulo
hide
vi ./sqoop-env.sh
leaf
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}/share/hadoop/hdfs
export HADOOP_MAPRED_HOME=${HADOOP_HOME}/share/hadoop/mapreduce
export HADOOP_YARN_HOME=${HADOOP_HOME}/share/hadoop/yarn
export HIVE_HOME=/usr/local/hive
export HBASE_HOME=/usr/local/hbase
export ZOOCFGDIR=/usr/local/zookeeper/conf
export ACCUMULO_HOME=/usr/local/accumulo
hidemessagebox_warning
链接hadoop&hive配置
leaf
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml /usr/local/sqoop/conf/core-site.xml
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml /usr/local/sqoop/conf/hdfs-site.xml
ln -s /usr/local/hive/conf/hive-site.xml /usr/local/sqoop/conf/hive-site.xml
hide
复制Hadoop包
leaf
cd /usr/local/sqoop/lib
\cp /usr/local/hadoop-3.3.1/share/hadoop/client/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/tools/lib/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/common/lib/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/client/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/tools/lib/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/timelineservice/lib/*.jar ./
\cp /usr/local/hadoop-3.3.1/share/hadoop/common/*.jar ./
hide
sqoop测试
hide
显示版本
leaf
[hadoop@master ~]$ sqoop version
Warning: /usr/local/sqoop/../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/local/sqoop/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /usr/local/sqoop/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
2022-08-25 08:10:40,911 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
Sqoop 1.4.7
git commit id 2328971411f57f0cb683dfb79d19d4d19d185dd8
Compiled by maugli on Thu Dec 21 15:59:58 STD 2017
[hadoop@master ~]$
leaf
注：上面有几个警告，因为没有启用对应的组件，暂时忽略。
hide
查询数据库
hide
查databases
hide
sqoop list-databases --connect jdbc:mysql://home.hddly.cn:53306/test?useSSL=false --username test --password test
leaf
运行结果 User Link
leaf
结果：
information_schema
test
hide
查tables
leaf
sqoop list-tables \
--connect jdbc:mysql://home.hddly.cn:53306/test?useSSL=false \
--username test \
--password test
hide
sqoop使用
hide
测试前准备
hide
在业务数据库test库
中添加课堂练习test相关表
leaf
CREATE TABLE test.`test` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(20) COLLATE utf8_bin NOT NULL,
`code` varchar(200) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=482 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
insert into test.`test` (id,name,code) values (100,'limm','100');
CREATE TABLE test.`test_hdfs` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(20) COLLATE utf8_bin NOT NULL,
`code` varchar(200) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=482 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
CREATE TABLE test.`test_hive` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(20) COLLATE utf8_bin NOT NULL,
`code` varchar(200) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
Arrow Link Arrow Link
hide
在业务数据库test库
中添加强化练习class相关表
leaf
#test.`class`来源于网络信息采集同学们采集上来的class表，存于home.hddly.cn:53306的test库中
#以下添加回传的数据表
CREATE TABLE test.`class_hdfs` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(20) COLLATE utf8_bin NOT NULL,
`text` varchar(200) COLLATE utf8_bin NOT NULL,
`stud` varchar(100) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=482 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
CREATE TABLE test.`class_hive` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(20) COLLATE utf8_bin NOT NULL,
`text` varchar(200) COLLATE utf8_bin NOT NULL,
`stud` varchar(100) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=482 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
hide
在hive数据库中
添加测试库myname
(myname为本人姓名全拼)
leaf
--查看hive中的所有数据库
SHOW DATABASES;
--创建myname数据库
CREATE DATABASE myname;
--使用myname库
use myname;
--查看myname库有哪些表
show tables;
hide
hdfs导入导出
hide
课堂练习
hide
从mysql库导入test表
到hdfs的test目录
leaf
sqoop import --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test --delete-target-dir --target-dir /user/myname/test --fields-terminated-by '\t' -m 1
hide
导入参数说明
leaf
--num-mappers 1”或者“-m 1”，即最后汇总为一个输出文件
leaf
默认以短号分隔，可以更换为以\t分隔数据（需带上“--fields-terminated-by ”参数）
hide
运行结果
leaf
1，启动运行视频:sqoop import User Link
leaf
2，sqoop import命令运行结果截图 User Link
leaf
3，hdfs上/user/myname/test目录下文件内容 User Link
hide
其它参考
leaf
crt视频结果 User Link
leaf
hdfs上文件内容 User Link
hide
在hdfs上test目录下
添加测试数据
leaf
在linux下使用hdfs dfs命令生成数据
leaf
hdfs dfs -get /user/myname/test/part-m-00000 ./
cp ./part-m-00000 ./part-m-00001
vi ./part-m-00001
#修改下行的 100为本人的学号，limm为本人的姓名全拼
#注意不要修改中间的空格和换行等不可见内容！
100 limm 100
leaf
hdfs dfs -put ./part-m-00001 /user/myname/test/
#注意删除part-m-00000文件，避免导回到mysql时因为记录已存在产生的异常！
hdfs dfs -rm /user/myname/test/part-m-00000
leaf
观察hdfs上/user/myname/test/part-m-00001的内容
hide
运行结果
leaf
hdfs dfs -get User Link
leaf
修改内容 vi ./part-m-00001 User Link
leaf
hdfs dfs -put User Link
leaf
hdfs上part-m-00001内容 User Link
hide
从hdfs导出test
目录到mysql的
test_hdfs表
leaf
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test_hdfs --export-dir /user/myname/test --input-fields-terminated-by '\t' --m 1
hide
运行结果
Arrow Link
leaf
sqoop export运行视频一 User Link
Arrow Link
leaf
sqoop export运行结果截图 User Link
hide
观察mysql上test_hdfs结果
leaf
已查到新增记录 User Link
hide
从mysql上导入test表
至hive的
myname库的
test_hive表
hide
前提要先在hive中创建myname库
leaf
请参考 User Link
leaf
sqoop import --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test --delete-target-dir --target-dir /user/root/sqoop_hive --hive-database myname --fields-terminated-by '\t' --lines-terminated-by '\n' --hive-import --hive-overwrite --hive-table test_hive --hive-drop-import-delims --m 1
hide
预期结果
hide
在hive中检查
hide
use myname;
show tables;
leaf
能查到test-hive表
hide
在hdfs上检查
hide
http://master:9870 ->打开目录:/user/hive/warehouse/myname.db
leaf
能查到test-hive目录
hide
运行结果
leaf
sqoop import 运行结果视频 User Link
leaf
观察hdfs上hive表结果 User Link
hide
历史视频参考
leaf
crt运行结果视频 User Link
leaf
crt运行结果截图 User Link
leaf
hdfs上的文件生成结果 User Link
hide
在test_hive表中
添加测试数据
leaf
show databases;
use myname;
show tables;
--观察是否有test_hive表?
--修改下行的 101为本人的学号，zhangmm为本人的姓名全拼
insert into test_hive (id,name,code) values (1234567890,'zhangmm','1234567890');
--取出数据产生新表
create table test_hive_1 as select * from test_hive where id=1234567890;
hide
运行结果
leaf
insert into test_hive运行视频 User Link
leaf
观察hdfs上新增test_hive_1目录
hide
从hive库导出test_hive
至mysql的test_hive表
hide
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test_hive --fields-terminated-by '\001' --lines-terminated-by '\n' --export-dir /user/hive/warehouse/myname.db/test_hive_1
leaf
hive默认字段分隔符为 \001
hide
运行结果
leaf
运行过程视频一 User Link
leaf
mysql上test_hive查询结果 User Link
hide
历史视频参考
leaf
运行过程视频 User Link
leaf
mysql上test_hive查询结果 User Link
hide
在实验室中
使用的脚本
leaf
sqoop list-tables \
--connect jdbc:mysql://10.255.10.51:3306/test?useSSL=false \
--username test \
--password test

sqoop import --connect "jdbc:mysql://10.255.10.51:3306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test --delete-target-dir --target-dir /user/myname/test --fields-terminated-by '\t' -m 1

sqoop export --connect "jdbc:mysql://10.255.10.51:3306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test_hdfs --export-dir /user/myname/test --input-fields-terminated-by '\t' --m 1

sqoop import --connect "jdbc:mysql://10.255.10.51:3306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test --delete-target-dir --target-dir /user/root/sqoop_hive --hive-database myname --fields-terminated-by '\t' --lines-terminated-by '\n' --hive-import --hive-overwrite --hive-table test_hive --hive-drop-import-delims --m 1

sqoop export --connect "jdbc:mysql://10.255.10.51:3306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test_hive --fields-terminated-by '\001' --lines-terminated-by '\n' --export-dir /user/hive/warehouse/myname.db/test_hive_1
hide
强化练习
hide
导入class表
至hdfs
leaf
sqoop import --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table class --delete-target-dir --target-dir /user/myname/class -m 1
hide
运行结果
leaf
crt上运行结果 User Link
leaf
hdfs上文件内容 User Link
hide
导出class
至mysql
hide
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table class_hdfs --export-dir /user/myname/class --m 1
leaf
成功运行 User Link
leaf
mysql上导入的数据 User Link
hide
运行结果
hide
mysql上导入的数据 User Link
leaf
中文正常
hide
从mysql库导入
class表到
hive的myname库
的class_hive表
leaf
以下命令中'张三'需更换为本人的中文姓名，需与采集数据时使用的名字一致
leaf
sqoop import --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table class --where "stud='张三'" --delete-target-dir --target-dir /user/myname/sqoop_hive/class --hive-database myname --hive-import --hive-overwrite --hive-table class_hive --hive-drop-import-delims --m 1
hide
运行结果
leaf
hdfs上的文件生成结果 User Link
hide
在hive上查询
和验证数据
leaf
use myname;
show tables;
select count(1) from class_hive;
leaf
crt上运行结果 User Link
hide
从hive库中导出
class_hive表到
mysql库的
class_hive表
leaf
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table class_hive --fields-terminated-by '\001' --lines-terminated-by '\n' --export-dir /user/hive/warehouse/myname.db/class_hive
hide
运行结果
leaf
运行过程视频 User Link
leaf
mysql上class_hive查询结果 User Link
hide
实训作业
hide
利用Sqoop实现Mysq与HDFS和HIVE导入导出
hide
训练要点
leaf
强化学习sqoop import 命令语句的编写使用
leaf
熟练掌握利用sqoop数据转换工具进行数据的导入或导出方法
hide
需求说明
leaf
1，从mysql库导入test表到hdfs的/user/myname/test目录(myname要换成本人姓名全拼)
leaf
2，从hdfs导出/user/myanme/test 目录到mysql的 test_hdfs表
leaf
3，从mysql上导入test表 至hive的myname库的 test_hive表(myname要换成本人姓名全拼)
leaf
4，从hive库导出test_hive 至mysql的test_hive表
hide
作业要求
leaf
1，截图转换过程中运行脚本及运行结果截图
leaf
2，hdfs的目录或hive的库名需换成本的姓名全拼
leaf
3，传回到mysql的 test_hdfs表和test_hive表的数据记录需含本人的学号
leaf
参考 User Link
hide
其它参考
hide
hbase与mysql数据互传
leaf
参考1 User Link
hide
hive与mysql数据互传
leaf
参考1 User Link
hide
hive与mongodb数据互传
hide
方式二：第二种方式—BSON-based，即使用mongoexport将所需要的表导出到本地文件，文件个是默认为bson。然后将导出的bson文件put到HDFS文件系统里面，最后在hive里面创建相应的表来使用hive sql进行查询
leaf
参考 User Link
hide
SQOOP 的基本使用
leaf
参考1 User Link
hide
hdfs导入导出
hide
语法参考
leaf
sqoop export \
--connect jdbc:mysql://hadoop001:3306/mysql \
--username root \
--password root \
--table help_keyword_from_hdfs \ # 导出数据存储在MySQL的help_keyword_from_hdf的表中
--export-dir /sqoop \
--input-fields-terminated-by '\t'\
--m 3
hide
导入class
leaf
sqoop import --connect jdbc:mysql://home.hddly.cn:53306/test?useSSL=false --username test --password test --table class --delete-target-dir --target-dir class2 --fields-terminated-by '\t' -m 1
hide
运行结果
leaf
crt上运行有异常 User Link
leaf
异常内容：
CommunicationsException: Communications link failure
leaf
原因：无法从外网访问内网hdfs的datanode节点
hide
hive导入导出
hide
导入语法参考
leaf
sqoop import \
--connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" \
--username test \
--password test \
--table test \ # 待导入的表
--delete-target-dir \ # 如果临时目录存在删除
--target-dir /user/hadoop/sqoop_hive \ # 临时目录位置
--hive-database sqoop_test \ # 导入到Hive的sqoop_test数据库，数据库需要预先创建。不指定则默认为default库
--hive-import \ # 导入到Hive
--hive-overwrite \ # 如果Hive表中有数据则覆盖，这会清除表中原有的数据，然后再写入
--m 1 # 并行度
leaf
Sqoop导入数据到Hive是通过先将数据导入到HDFS上的临时目录，然后再将数据从HDFS上Load到Hive中，最后将临时目录删除。可以使用target-dir来指定临时目录
hide
hive中创建测试库
leaf
导入到Hive中的sqoop_test数据库需要预先创建，不指定则默认使用Hive中的default库
leaf
# 查看hive中的所有数据库
hive> SHOW DATABASES;
# 创建sqoop_test数据库
hive> CREATE DATABASE sqoop_test;
hide
hive与oracle数据互传
hide
连接串
leaf
sqoop import --connect jdbc:oracle:thin:@oracle-host:port:orcl --username name--password passwd --hive-import -table tablename
hide
默认
leaf
导入的数据默认的列分隔符是'\001'，默认的行分隔符是'\n'
hide
指定
leaf
Sqoop也指定了参数 --fields-terminated-by和 --lines-terminated-by来自定义行分隔符和列分隔符。
leaf
sqoop import --connect jdbc:oracle:thin:@oracle-host:port:orcl --username name--password passwd --hive-import -table tablename --fields-terminated-by '\n' --lines-terminated-by ','
-split-by id //按照id（int类型，例如共500个）的最大最小区间划分where id>=min(id) and id<=500/2 和 id>500/2 and max(id) 两个阶段导入，结合-m map job的个数来运用
-m 2
leaf
其它：略
hide
scp批量复制hadoop
hide
备注
leaf
1，可下载包括haddop、spark、hbase、hive、sqoop等工具
leaf
2，默认配置为：主机名是master，主机ip是:192.168.137.100，NAT网络，JDK版1.8.0.322.b06
leaf
3，scp第一次连接有提示是否联接，输入yes
leaf
4，scp远程连接的用户名hadoop,有提示密码时请输入：hadoop
hide
下载hadoop
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/hadoop-3.3.1 /usr/local/
hide
配置
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/hadoop-3.3.1/etc/hadoop /usr/local/hadoop-3.3.1/etc/
hide
下载spark
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/spark /usr/local/
hide
配置
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/spark/conf /usr/local/spark/
hide
下载hbase
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/hbase /usr/local/
hide
下载hive
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/hive /usr/local/
hide
下载sqoop
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/sqoop /usr/local/
hide
下载zookeeper
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/usr/local/zookeeper /usr/local/
hide
下载profile
leaf
scp -P 8222 -r hadoop@home.hddly.cn:/etc/profile /etc/
hide
scp批量复制到从机
leaf
scp -r /usr/local/hadoop-3.3.1/etc/hadoop slave1://usr/local/hadoop-3.3.1/etc/
scp -r /usr/local/hadoop-3.3.1/etc/hadoop slave2://usr/local/hadoop-3.3.1/etc/

scp -r /usr/local/spark/conf slave1://usr/local/spark/
scp -r /usr/local/spark/conf slave2://usr/local/spark/

scp -r /usr/local/hbase/conf slave1://usr/local/hbase/
scp -r /usr/local/hbase/conf slave2://usr/local/hbase/

scp -r /usr/local/hive/conf slave1://usr/local/hive/
scp -r /usr/local/hive/conf slave2://usr/local/hive/

scp -r /usr/local/zookeeper/conf slave1://usr/local/zookeeper/
scp -r /usr/local/zookeeper/conf slave2://usr/local/zookeeper/
hide
hive 注释方法
leaf
-- 两横线为注释
leaf
切记不可在--后加“;”号,它在任何时候都会被 解析
hide
Hive表字段、行、map默认分隔符
leaf
hive 默认的字段分隔符为ascii码的控制符\001,建表的时候用fields terminated by '\001',如果要测试的话，造数据在vi 打开文件里面，用ctrl+v然后再ctrl+a可以输入这个控制符\001。按顺序，\002的输入方式为ctrl+v,ctrl+b。以此类推。
leaf
\001 用于分隔字段(列)
leaf
\002 用于分隔ARRAY或者STRUCT中的元素，或用于MAP中键-值对之间的分隔
leaf
\003 用于MAP中键和值之间的分隔
leaf
\n 用于分隔行
hide
常见问题
hide
sqoop配套hadoop3的问题
leaf
参考2 User Link
leaf
参考 User Link
hide
Sqoop提示$ACCUMULO_HOME警告
leaf
参考 User Link
leaf
主要是因为Sqoop加载$ACCUMULO_HOME环境变量，没有找到所以做出警告，其实也可以忽略
hide
解决办法
hide
到Sqoop配置文件中
$SQOOP_HOME/bin/configure-sqoop，
注释掉Accumulo检查
leaf
#if [ ! -d "${ACCUMULO_HOME}" ]; then
# echo "Warning: $ACCUMULO_HOME does not exist! Accumulo imports will fail."
# echo 'Please set $ACCUMULO_HOME to the root of your Accumulo installation.'
#fi
hide
导入$ACCUMULO_HOME变量
Arrow Link
leaf
sudo mkdir /usr/local/accumulo

vi ./sqoop-env.sh
export ACCUMULO_HOME=/usr/local/accumulo
hide
运行Sqoop报错解决：
java.lang.NoClassDefFoundError:
hide
错误信息
leaf
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
at org.apache.sqoop.tool.BaseSqoopTool.validateHiveOptions(BaseSqoopTool.java:1583)
at org.apache.sqoop.tool.ImportTool.validateOptions(ImportTool.java:1178)
at org.apache.sqoop.Sqoop.run(Sqoop.java:137)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils
at java.net.URLClassLoader.findClass(URLClassLoader.java:387)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
leaf
错误截图 User Link
hide
错误原因
leaf
少commons-lang-2.6.jar
hide
解决办法
leaf
官网下载： http://mirrors.tuna.tsinghua.edu.cn/apache//commons/lang/binaries/commons-lang-2.6-bin.zip
hide
解决办法2
hide
本机搜索
leaf
[hadoop@master conf]$ sudo find / -name commons-lang-2.6.jar
[sudo] password for hadoop:
/usr/local/hadoop-3.3.1/share/hadoop/yarn/timelineservice/lib/commons-lang-2.6.jar
/usr/local/hive/lib/commons-lang-2.6.jar
/usr/local/spark/jars/commons-lang-2.6.jar
hide
copy
leaf
sudo cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/timelineservice/lib/commons-lang-2.6.jar /usr/local/sqoop/lib/
hide
sqoop从hdfs到mysql报错
hide
报表不存在
hide
报表不存在错误
leaf
Error executing statement: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'test.help_keyword_from_hdfs' doesn't exist
hide
处理:在mysql创建表
hide
处理：添加表
leaf
CREATE TABLE test.`help_keyword_from_hdfs` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`name` varchar(20) COLLATE utf8_bin NOT NULL,
`text` varchar(200) COLLATE utf8_bin NOT NULL,
`stud` varchar(100) COLLATE utf8_bin NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=482 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
hide
导入mysql的数据乱码
hide
现象
hide
mysql上导入的数据 User Link
leaf
如图，导入的记录中，中文是乱码
leaf
crt上运行结果视频 User Link
leaf
原因：未进行编码
hide
处理：连接串中添加编码
leaf
sqoop export --connect "jdbc:mysql://192.168.31.11:3306/test?useSSL=false&useUnicode=true&characterEncoding=UTF-8" --username test --password test --table help_keyword_from_hdfs --export-dir /user/root/class1 --input-fields-terminated-by '\t' --m 1
hide
运行结果报异常
leaf
异常截图 User Link
hide
异常信息
leaf
2022-10-08 21:25:32,494 ERROR mapreduce.ExportJobBase: Export job failed!
2022-10-08 21:25:32,497 ERROR tool.ExportTool: Error during export:
Export job failed!
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445)
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
hide
问题分析
hide
将hadoop的history服务开启
leaf
cd /usr/local/hadoop-3.3.1/sbin/
./mr-jobhistory-daemon.sh start historyserver
hide
重新运行脚本
leaf
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table test_hdfs --export-dir /user/myname/test/part-m-00001 --input-fields-terminated-by '\t' --m 1
hide
观察http://master:8088上该任务
leaf
通过任务号进入详情 User Link
leaf
通过应用ID链接进入详细 User Link
leaf
通过History链接进入详细 User Link
leaf
进入logs链接进入详细 User Link
leaf
进入here进入日志明细 User Link
hide
发现日志提示:
hide
Caused by: java.lang.NumberFormatException: For input string: "2222192348234"
leaf
如图 User Link
leaf
原因是字符串过长，导致转换为Number时出错
hide
问题处理
leaf
修改导入数据的第1个字段，改短些，在10位数以内，后重新导入，成功
hide
sqoop从mysql到 hdfs时报mysql错
hide
错误信息
leaf
Caused by: javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate)
。。。
ERROR tool.ImportTool: Import failed: java.io.IOException: No columns to generate for ClassWriter
hide
原因
leaf
由于安全认证
hide
解决
leaf
使用useSSL=false
leaf
sqoop import --connect jdbc:mysql://192.168.31.11:3306/test?useSSL=false --username test --password test --table class
leaf
sqoop import --connect jdbc:mysql://192.168.31.11:3306/test?useSSL=false --username test --password test --table test --delete-target-dir --target-dir test --fields-terminated-by '\t' -m 2
hide
sqoop从mysql到hdfs时报yarn错
hide
错误信息
leaf
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnRuntimeException
。。。
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException
leaf
错误截图 User Link
hide
解决
hide
指定yarn的路径
vi ./sqoop-env.sh
leaf
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}/share/hadoop/hdfs
export HADOOP_MAPRED_HOME=${HADOOP_HOME}/share/hadoop/mapreduce
export HADOOP_YARN_HOME=${HADOOP_HOME}/share/hadoop/yarn
hide
错误信息
leaf
NoClassDefFoundError: org/apache/hadoop/mapreduce/InputFormat
。。。
ClassNotFoundException: org.apache.hadoop.mapreduce.InputFormat
leaf
错误截图 User Link
hide
解决
leaf
hadoop-common-2.8.5.jar是否已经拷贝到sqoop的lib目录下；
leaf
[hadoop@master conf]$ find /usr/local/hadoop-3.3.1/ -name hadoop-common*.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/sources/hadoop-common-3.3.1-sources.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/sources/hadoop-common-3.3.1-test-sources.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/hadoop-common-3.3.1-tests.jar
leaf
cp /usr/local/hadoop-3.3.1/share/hadoop/common/*.jar /usr/local/sqoop/lib/
cp /usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*.jar /usr/local/sqoop/lib/
hide
错误信息
leaf
UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
。。。
Caused by: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "hdfs"
hide
解决
leaf
cp /usr/local/hadoop-3.3.1/share/hadoop/common/lib/guava-27.0-jre.jar /usr/local/sqoop/lib/
cp /usr/local/hadoop-3.3.1/share/hadoop/common/*.jar /usr/local/sqoop/lib/
cp /usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*.jar /usr/local/sqoop/lib/

cp /usr/local/hadoop-3.3.1/share/hadoop/hdfs/*.jar /usr/local/sqoop/lib/
cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/*.jar /usr/local/sqoop/lib/p/lib/
hide
错误信息
leaf
NoClassDefFoundError: org/eclipse/jetty/websocket/api/WebSocketException
。。。
Caused by: java.lang.ClassNotFoundException: org.eclipse.jetty.websocket.api.WebSocketException
hide
原因
leaf
少websocket-server.jar
hide
解决
leaf
[hadoop@master conf]$ sudo find / -name websocket-server*
/usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/websocket-server-9.4.40.v20210413.jar
/usr/local/hive/lib/websocket-server-9.3.20.v20170531.jar

cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/*.jar /usr/local/sqoop/lib/
hide
错误信息
leaf
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
hide
原因分析
leaf
参考 User Link
leaf
日志含义加载org.slf4j.impl.StaticLoggerBinder类失败
当运行“org.slf4j.impl.”命令时，上报此警告消息。 无法将StaticLoggerBinder类装入内存。 当在类路径上找不到合适的SLF4J绑定时，就会发生这种情况。 将slf4j-nop.jar slf4j-simple.jar、slf4j-log4j12.jar、slf4j-jdk14.jar或logback-classic.jar中的一个(且只有一个)放到类路径上应该可以解决这个问题
hide
解决
leaf
[hadoop@master conf]$ sudo find / -name *slf4j*.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/lib/slf4j-api-1.7.30.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar
/usr/local/hadoop-3.3.1/share/hadoop/common/lib/jul-to-slf4j-1.7.30.jar
/usr/local/hive/hcatalog/share/webhcat/svr/lib/jul-to-slf4j-1.7.10.jar
/usr/local/spark_bak/jars/jcl-over-slf4j-1.7.30.jar
/usr/local/spark_bak/jars/jul-to-slf4j-1.7.30.jar
/usr/local/spark_bak/jars/slf4j-api-1.7.30.jar
/usr/local/spark/jars/jcl-over-slf4j-1.7.30.jar
/usr/local/spark/jars/jul-to-slf4j-1.7.30.jar
/usr/local/spark/jars/slf4j-api-1.7.30.jar
/usr/local/sqoop/lib/slf4j-api-1.6.1.jar
[hadoop@master conf]$ rm -f /usr/local/sqoop/lib/slf4j*.jar
[hadoop@master conf]$ cp /usr/local/hadoop-3.3.1/share/hadoop/common/lib/slf4j-log4j12-1.7.30.jar /usr/local/sqoop/lib/
cp /usr/local/hadoop-3.3.1/share/hadoop/common/lib/slf4j-api-1.7.30.jar /usr/local/sqoop/lib/
hide
解决2
hide
官方下载
leaf
https://repo1.maven.org/maven2/org/slf4j/
leaf
cd /usr/local/sqoop/lib/ 909
wget https://repo1.maven.org/maven2/org/slf4j/slf4j-nop/1.7.30/slf4j-nop-1.7.30.jar
leaf
mv /usr/local/sqoop/lib/slf4j-nop-1.7.30.jar /usr/local/sqoop/lib/slf4j-nop-1.7.30.jar.bak
hide
错误信息
leaf
[2022-08-25 21:01:23.189]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :

Exception: java.lang.NoClassDefFoundError thrown from the UncaughtExceptionHandler in thread "main"
leaf
mapreduce.JobSubmissionFiles: Permissions on staging directory /tmp/hadoop-yarn/staging/hadoop/.staging are incorrect: rwxrwxrwx. Fixing permissions to correct value rwx------
hide
原因分析
hide
开启日志debug ：
leaf
set option --name verbose --value true
hide
处理
leaf
sudo mkdir /tmp/hadoop-yarn
sudo chown hadoop:users -R /tmp/hadoop-yarn
hide
将hadoop包都copy过来
leaf
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/client/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/tools/lib/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/common/lib/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/mapreduce/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/client/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/tools/lib/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/lib/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/yarn/timelineservice/lib/*.jar ./
[hadoop@master lib]$ cp /usr/local/hadoop-3.3.1/share/hadoop/common/*.jar ./
leaf
可正常运行了，如视频 User Link
hide
修改hdfs的
机架数据，
需有2个机架
leaf
[hadoop@master hadoop]$ more ./rack_topology.data
192.168.31.23 /rack01
192.168.31.22 /rack01
192.168.31.24 /rack02
hide
警告信息
leaf
WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
hide
hadoop日志错
hide
Not enough replicas was chosen. Reason: {NO_REQUIRED_STORAGE_TYPE=1}
leaf
截图 User Link
hide
原因: hdfs的配置文件被 设置为:
导致无法满足存储策略：
第一个副本尽可能放在写入数据的节点，
第二个副本放在与第一个副本不在同一机架下的节点，
第三个副本与第二副本放在同一个机架。
leaf
[hadoop@master hadoop]$ more ./rack_topology.data
192.168.31.23 /rack01
192.168.31.22 /rack02
192.168.31.24 /rack03
[hadoop@master hadoop]$
hide
修改hdfs的
机架数据，
需有2个机架
leaf
[hadoop@master hadoop]$ more ./rack_topology.data
192.168.31.23 /rack01
192.168.31.22 /rack01
192.168.31.24 /rack02
hide
sqoop从mysql到hive时报错
hide
错误信息
leaf
Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly.
hide
处理1
leaf
删除sqoop_env.sh文件中行：export HIVE_CONF_DIR=/usr/local/hive/conf
vi /etc/profile,添加行
export HIVE_CONF_DIR=$HIVE_HOME/conf
hide
处理2
leaf
将hive的jar都复制到sqoop的lib目录下
leaf
cp /usr/local/hive/lib/hive* /usr/local/sqoop/lib/
hide
处理3
leaf
修改/usr/local/hadoop/etc/hadoop/hdfs-site.xml,将副本数调整为3
hide
cleaning up错误
leaf
sqoop import --connect jdbc:mysql://192.168.31.11:3306/test?useSSL=false --username test --password test --table test --delete-target-dir --target-dir /user/root/sqoop_hive --hive-database sqoop_test --hive-import --hive-overwrite --m 1
hide
could not be cleaned up：
ERROR ql.Driver: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Directory hdfs://master:9864/user/hive/warehouse/sqoop_test.db/test could not be cleaned up.
leaf
错误截图 User Link
Arrow Link
leaf
原因：未创建hive数据库：sqoop_test
hide
处理:
leaf
重建数据库
use sqoop_test;
drop table class;
drop table test;
drop database sqoop_test;
create database sqoop_test;
hide
报权限异常
hide
sqoopl把mysql数据导到hive报错：
main ERROR Could not register mbeans java.security.AccessControlException: access denied
(“javax.management.MBeanTrustPermission” “register”)
leaf
截图 User Link
leaf
ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermission" "register")
hide
原因
leaf
java 的安全策略问题
hide
处理
hide
cd到java路径下的 jre/lib/security目录（我的java路径是/usr/local/src/jdk）
cd /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64/jre/lib/security/
目录下面有一个文件是java.policy，
vi ./java.policy
增加：
grant {
// JMX Java Management eXtensions
permission javax.management.MBeanTrustPermission "register";
};
leaf
如图 User Link
hide
sqoop从hive到mysql时报错
hide
错误信息
leaf
ERROR mapreduce.ExportJobBase: Export job failed!
hide
处理1
leaf
只导mysql表中不存在的记录文件
leaf
--export-dir /user/hive/warehouse/sqoop_test.db/test_hive/*
=》
--export-dir /user/hive/warehouse/sqoop_test.db/test_hive/000000_0
hide
处理2
leaf
删除目标库表中已存在的数据
leaf
删除目标库表中已存在的数据对应的hdfs上的文件
hide
snoop连接远程mysql
hide
报连接异常
hide
运行导入脚本
hide
sqoop import --connect "jdbc:mysql://192.168.31.11:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false" --username test --password test --table class --delete-target-dir --target-dir hdfs://master:9864/user/root/class1 --fields-terminated-by '\t' -m 1
leaf
成功
hide
sqoop import --connect "jdbc:mysql://home.hddly.cn:53306/test?useUnicode=true&characterEncoding=utf-8&useSSL=false" --username test --password test --table class --delete-target-dir --target-dir hdfs://master:9864/user/root/class1 --fields-terminated-by '\t' -m 1
leaf
成功 User Link
hide
运行导出脚本
hide
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=UTF-8" --username test --password test --table help_keyword_from_hdfs --export-dir hdfs://master:9864/user/root/class1 --input-fields-terminated-by '\t' --m 1
leaf
成功 User Link
leaf
运行视频 User Link
leaf
mysql表数据 User Link
leaf
ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.UnsupportedOperationException
hide
ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.IllegalArgumentException: Invalid start or len parameter
leaf
截图 User Link
leaf
原因：hdfs上源或目标路私径使用全路径且为hdfs方式，如:hdfs://master:9864/user/root/class1
hide
snoop连接远程hdfs
hide
无法将数据写入从机datanode
leaf
通过外网进入hdfs:
sqoop import --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table class --delete-target-dir --target-dir hdfs://home.hddly.cn:9864/user/root/class1 --fields-terminated-by '\t' -m 1
leaf
运行异常视频 User Link
leaf
原因：无法访问内网的datanode
hide
无法读取远程的hdfs上的数据
leaf
通过外网访问hdfs:
sqoop export --connect "jdbc:mysql://home.hddly.cn:53306/test?useSSL=false&useUnicode=true&characterEncoding=utf-8" --username test --password test --table help_keyword_from_hdfs --export-dir hdfs://home.hddly.cn:9864/user/root/class1 --input-fields-terminated-by '\t' --m 1
leaf
运行异常截图 User Link
leaf
原因:无法远程访问内网的datanode数据
hide
提示/user/root/sqoop_hive路径不存在
hide
在执行sqoop import过程报异常，显示目录不存在
leaf
如图
hide
版本历史
leaf
Ver1.6-20220925
hide
Ver1.7-20220928
leaf
其它参考增加:scp批量复制到从机
hide
Ver1.8-20221010
leaf
修改随堂练习，增加myname的使用，默认分隔符的使用
leaf
增加常见问题的处理：Export job failed!