利用udf函数将Hive统计结果直接插入到MySQL

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中，再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。

今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。

步骤为

hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;

Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path
Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar

hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;

Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path
Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar
hive>CREATE TEMPORARY FUNCTION dboutput AS "org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput";

hive>select dboutput（"jdbc:mysql://localhost/result","root","123456","INSERT INTO dc（code,size） VALUES （？,？）",code,size） from accesslog limit 10;

注：result为mysql数据库名，dc为数据库result中的表名 dc（code,size）括号中的字段为mysql表dc字段，values（？,？）对应hive统计结果的值后面的code,size为hive表中的字段，accesslog表示hive中的表名称。

通过以上步骤即可将hive统计结果直接导入到mysql数据库中。Oracle sqldev 快捷键配置心得分享Hive中添加自定义udf udaf udtf等函数的jar文件的三种方法相关资讯 Hive Hive MySQL hive函数 MySQL udf

Hive 简明教程 PDF （今 09:40）
Apache Hive v2.1.0-rc1 发布下载（06月04日）
在 Apache Hive 中轻松生存的12个（04月07日）

Apache Hive v2.1.0 发布下载（06月22日）
SparkSQL读取Hive中的数据（05月20日）
Apache Hive 2.0.0 发布下载，数据（02月17日）

本文评论查看全部评论（1）

评论声明

尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任