Pig安装及本地模式测试,体验

Pig是Apache的一个开源项目，用于简化MapReduce的开发。研究了一段时间，略有心得。系废话不多说，我们直接步入实际测试。Pig的运行有两种模式，本地单击模式和集群模式。我目前只是测试学习，是为了检验Pig的运行流程以及学习语法，没必要使用分布式模式，分布式模式下也都是大同小异的。我的环境：1. 系统： Ubuntu 12.04 64位2. JDK：Oracle JDK1.7.0_153. Pig：0.9.2和Apache其他项目一样，安装Pig都很简单，解压到系统任意目录，设置环境变量就能使用。export PIG_HOME=path
export PATH=$PATH:$PIG_HOME/bin设置环境变量后注销后登录或者打开终端输入：source /etc/profile 使新加入的环境变量生效最后在终端中输入：pig -version，正常应该出现如下字样Warning: $Hadoop_HOME is deprecated.Apache Pig version 0.9.2 （r1232772）
compiled Jan 18 2012, 07:57:19到这里Pig的安装算是成功了。（当然如果不成功检查你的JDK安装及环境变量是否正确）现在你可以输入：pig -x local进入一个外壳程序。学习Hadoop一般的入门都是Oreilly的《《Hadoop权威指南》》中文版，其中测试MapReduce的第一个程序就是统计一个文本文件中单词出现的次数。Pig是为了简化MapReduce开发的，肯定也是能实现这个的。我以这个为例，写一个测试的例子。相关链接：Hadoop权威指南（中文第2版）PDF http://www.linuxidc.com/Linux/2012-07/65972.htm我准备了一个文件，文件名为：nie.txt 里边是一片普通的英文文章，比较长，大约52KB。

用busybox制作微Linux及详解过程中可能出现的问题Pig安装与配置教程相关资讯 pig Pig安装

Apache Pig如何与Apache Lucene集（03/06/2015 08:08:20）
Pig的limit无效（返回所有记录）（10/31/2014 19:48:20）
Pig代码格式上小注意（10/31/2014 19:45:59）

如何给Apache Pig自定义UDF函数？（01/02/2015 12:34:44）
Pig的cogroup详解（10/31/2014 19:46:58）
Pig简单的代码实例：报表统计行业（10/31/2014 19:44:43）

本文评论查看全部评论（0）