Apache Sqoop

Apache Sqoop
開發者Apache Software Foundation
首次发布2009年6月1日，​15年前​（2009-06-01）
最终版本
  • 1.4.6（2015年5月11日）
編輯維基數據鏈接
源代码库Sqoop Repository
编程语言Java
操作系统跨平台
类型数据管理
许可协议Apache License 2.0
网站sqoop.apache.org

Apache Sqoop是用于在关系型数据库和Hadoop之间传输数据的开源工具。[1] 该项目始于2009年，在2021年6月结束，并被移至Apache Attic。[2]

概要

[编辑]

Sqoop支持增量更新，将新记录添加到最近一次的导出的数据源上，或者指定上次修改的时间戳。导入也可以填充Hive或HBase中的表。[3] 导出则支持将Hadoop的数据放入关系数据库中。Sqoop得名于“SQL-to-Hadoop”。Sqoop于2012年3月成为顶级Apache项目。[4]

Informatica从10.1版开始提供基于Sqoop的连接器。Pentaho自4.5版开始在其ETL套件Pentaho Data Integration中提供基于开源Sqoop的连接器，Sqoop导入[5]和导出[6]。[7]微软使用基于Sqoop的连接器将数据从Microsoft SQL Server传输到Hadoop。[8]Couchbase还通过Sqoop提供Couchbase Server-Hadoop连接器。[9]

参考书目

[编辑]

参考资料

[编辑]
  1. ^ Sqoop -. sqoop.apache.org. [2022-06-24]. （原始内容存档于2022-07-07）. 
  2. ^ moving Sqoop to the Attic. mail-archives.apache.org. [2021-06-27]. （原始内容存档于2021-06-27）. 
  3. ^ Apache Sqoop - Overview : Apache Sqoop. blogs.apache.org. [2022-06-24]. （原始内容存档于2022-06-24）. 
  4. ^ Apache Sqoop Graduates from Incubator : Apache Sqoop. blogs.apache.org. [2022-06-24]. （原始内容存档于2022-06-24）. 
  5. ^ Sqoop Import. Pentaho. 2015-12-10 [2015-12-10]. （原始内容存档于2015-12-10）. The Sqoop Import job allows you to import data from a relational database into the Hadoop Distributed File System (HDFS) using Apache Sqoop. 
  6. ^ Sqoop Export. Pentaho. 2015-12-10 [2015-12-10]. （原始内容存档于2015-12-10）. The Sqoop Export job allows you to export data from Hadoop into an RDBMS using Apache Sqoop. 
  7. ^ Big Data Analytics Vendor Pentaho Announces Tighter Integration with Cloudera; Extends Visual Interface to Include Hadoop Sqoop and Oozie. Database Trends and Applications (dbta.com). 2012-07-27 [2015-12-08]. （原始内容存档于2015-12-08）. Pentaho’s Business Analytics 4.5 is now certified on Cloudera’s latest releases, Cloudera Enterprise 4.0 and CDH4. Pentaho also announced that its visual design studio capabilities have been extended to the Sqoop and Oozie components of Hadoop. 
  8. ^ Microsoft SQL Server Connector for Apache Hadoop. [Sep 8, 2012]. （原始内容存档于2016-04-13）. 
  9. ^ Couchbase Hadoop Connector. [Sep 8, 2012]. （原始内容存档于2012-08-25）.