当前位置:首页 > 技术知识 > 正文内容

数据迁移工具 Sqoop(数据迁移工具汇总)

maynowei11个月前 (08-07)技术知识147

Sqoop(SQL to Hadoop)是一个用来将 Hadoop 和关系型数据库中的数据相互转移的工具 ,可以将一个关系型数据库(例如 : MySQL、 Oracle 、 PostgreSQL 等)中的数据导入到 Hadoop 的 HDFS 中,也可以将HDFS 的数据导入到关系型数据库中。

Sqoop 工作机制利用 MapReduce 分布式批处理,加快了数据传输速度,保证了容错性。

选择 Sqoop 的理由通常基于三个方面的考虑:

(1)它可以高效地利用资源,可以通过调整任务数来控制任务的并发度。

(2)它可以自动地完成数据类型映射与转换。

(3)它支持多种数据库,比如 MySQL 、 Oracle 和 PostgreSQL 等数据库。

Sqoop发展至今主要演化了两大版本,Sqoop1和 Sqoop2。 Sqoop1的最高版本为 1.4.7,如图所示。而Sqoop1.99.7 属于 Sqoop2。 Sqoop1和Sqoop2是两个完全不兼容的版本。

相关文章

Axure RP设计伸缩导航、遮罩弹窗、返回顶部的方法

以下几小教程使用的是Axure的动态面板来实现,内容简单,适合菜鸟查阅,老鸟可飘过,顺便帮忙点个赞哈/偷笑。一.伸缩/隐藏导航栏例如:鼠标移动到一级导航上,二级导航会下拉方式显示1.打开Axure,拖...

Objective-c单例模式的正确写法「藏」

单例模式在iOS开发中可能算是最常用的模式之一了,但是由于oc本身的语言特性,想要写一个正确的单例模式相对来说比较麻烦,这里我就抛砖引玉来聊一聊iOS中单例模式的设计思路。关于单例模式更多的介绍请参考...

webview 渲染机制:硬件加速方式渲染的Android Web

webview 渲染是什么?webview 渲染是用于展现web页面的控件; webview 可以内嵌在移动端,实现前端的混合式开发,大多数混合式开发框架都是基于 webview 模式进行二次开发的w...

Win10桌面/手机版最深层次开发功能挖掘

IT之家讯 Win10开发者预览版为我们提供了一个Win10大框架的早期概览,使开发者与热心用户都可以提前感受Win10带来的新特性,尝试新工具,而作为开发者,最关心的莫过于Windows多平台通用应...

打通 JAVA 与内核系列之 一 ReentrantLock 锁的实现原理

写JAVA代码的同学都知道,JAVA里的锁有两大类,一类是synchronized锁,一类是concurrent包里的锁(JUC锁)。其中synchronized锁是JAVA语言层面提供的能力,在此不...

掌握C语言多线程:高效并发编程指南

一、多线程基础概念介绍多线程编程是现代软件开发中提高程序性能和响应性的重要技术。在C语言中,pthread(POSIX Threads)库是实现多线程编程的标准工具。本节将通俗易懂地介绍多线程的核心概...