当前位置:首页 > 技术知识 > 正文内容

数据迁移工具 Sqoop(数据迁移工具汇总)

maynowei10个月前 (08-07)技术知识126

Sqoop(SQL to Hadoop)是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具 ,可以将一个关系型数据库(例如 : MySQL、 Oracle 、 PostgreSQL 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将HDFS 的数据导入到关系型数据库中。

Sqoop 工作机制利用 MapReduce 分布式批处理,加快了数据传输速度,保证了容错性。

选择 Sqoop 的理由通常基于三个方面的考虑:

(1)它可以高效地利用资源,可以通过调整任务数来控制任务的并发度。

(2)它可以自动地完成数据类型映射与转换。

(3)它支持多种数据库,比如 MySQL 、 Oracle 和 PostgreSQL 等数据库。

Sqoop发展至今主要演化了两大版本,Sqoop1和 Sqoop2。 Sqoop1的最高版本为 1.4.7,如图所示。而Sqoop1.99.7 属于 Sqoop2。 Sqoop1和Sqoop2是两个完全不兼容的版本。

相关文章

Android主流UI开源库整理(android完整开源项目)

前言最近老大让我整理一份 Android主流UI开源库 的资料,以补充公司的Android知识库。由于对格式不做特别限制,于是打算用博客的形式记录下来,方便查看、防丢并且可以持续维护、不断更新。标题隐...

聊聊并发编程: Lock(并发锁有哪些)

之前学习了如何使用synchronized关键字来实现同步访问,Java SE 5之后,并发包中新增了Lock接口(以及相关实现类)用来实现锁功能,它提供了与synchronized关键字类似的同步功...

PL/SQL Developer连接Oracle数据库详解

序言:oracle数据库比较难搞,好不容易安装上了,但是怎么连接呢,直接在服务器里用自带的命令行操作太繁琐,所以PL/SQL Developer客户端的好处就显而易见了,今天和大家聊聊客户端具体配置方...

一个快要被忘记的数据库开发岗位,但应该被尊重

数据库测试,似乎是被人遗忘的数据库职业,但依然是不错的选择。底下是我在某站找的招聘启事,就连蚂蚁金服都在积极寻找数据库测试人:要说我经历的项目,大大小小也有几十个,从 C/S, B/S, 再到 B/C...

Oracle中泄露“天机”的TNS(在oracle中发出的下列查询)

数据库的安全是长期存在的问题。在目前大量的数据泄露事件以及漏洞面前,大家看到的大都是SQl注入、越权操作、缓冲区溢出等这些具体漏洞。往往却忽视了造成这些问题的前提,黑客想要入侵数据库一定会尝试获取数据...

China to work with all member states to complete preparations in final phase for SCO Tianjin summit: spokesperson

BEIJING, July 31 (Xinhua) -- China will work with all the Shanghai Cooperation Organization (SCO) me...