当前位置:首页 > 技术知识 > 正文内容

数据迁移工具 Sqoop(数据迁移工具汇总)

maynowei8个月前 (08-07)技术知识107

Sqoop(SQL to Hadoop)是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具 ,可以将一个关系型数据库(例如 : MySQL、 Oracle 、 PostgreSQL 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将HDFS 的数据导入到关系型数据库中。

Sqoop 工作机制利用 MapReduce 分布式批处理,加快了数据传输速度,保证了容错性。

选择 Sqoop 的理由通常基于三个方面的考虑:

(1)它可以高效地利用资源,可以通过调整任务数来控制任务的并发度。

(2)它可以自动地完成数据类型映射与转换。

(3)它支持多种数据库,比如 MySQL 、 Oracle 和 PostgreSQL 等数据库。

Sqoop发展至今主要演化了两大版本,Sqoop1和 Sqoop2。 Sqoop1的最高版本为 1.4.7,如图所示。而Sqoop1.99.7 属于 Sqoop2。 Sqoop1和Sqoop2是两个完全不兼容的版本。

相关文章

Oracle 11g安装教程完整版(oracle 11g 安装教程)

由于工作需要,将安装的经验分享给大家。第一步:首先准备安装文件包:Oralce 11.2.0.4 64bit和plsqldev1405x64如图所示:第二步:将2个文件解压到同一个目录,如图所示:第三...

Oracle公布Java9未来进度表(oracle的未来)

作为1995年由Sun公司推出的产品,Java既是指一种程序设计语言,也包含了Java平台。因其平台无关、安全、高性能、自动垃圾回收等特点,Java已经推出便受到广泛应用。Java软件开发工具包(Ja...

Java集合框架:总结(java集合框架是什么?说出一些集合框架的优点)

Java集合框架这个系列做了一个整理,主要包括:Map系:HashMap, LinkedHashMap, TreeMap, WeakHashMap, EnumMap;List系:ArrayList,...

Diplomacy Talk | Why building a shared future matters now more than ever

What does it mean to build a global community of a shared future? First put forward by Chinese Presi...

美文欣赏:Learn to think—学会思考

Learning to think is one of the important tasks in life.学会思考,是人生的重要任务之一。Cultivating the ability of i...

入门Javascript需要看的书(js入门看什么书)

JavaScript权威指南(第6版)对于 JavaScript 新手入门来说,其实看什么书不重要,重要的是要能引起你兴趣使得你愿意动动手做做项目。在动手做过几个项目,对了 JavaScript 有了...