Pig 安装部署及MapReduce模式下测试

Pig 安装配置1.下载pig包：（pig-0.9.1）apache版本：http://pig.apache.org/2.解压文件：# tar -zxvf pig-0.9.1.tar.gz3.配置/etc/profitexport PIG_INSTALL=/usr/pig/pig-0.9.1
export PATH=$PATH:$PIG_INSTALL/bin
export PIG_Hadoop_VERSION=20 //支持hadoop版本，我的是hadoop-0.20.2
source /etc/profile 使配置文件生效 4.pig的本地模式这里就不多讲，主要讲hadoop模式下的一些配置两种方式配置，主要是指明namenode和jobtracker的位置：方式一：写profile文件 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/方式二：在pig目录下的conf文件夹pig.properties 中增加fs.default.name=hdfs://hadoop149:9000/
mapred.job.tracker=hadoop149:9004 5.启动pig[root@localhost conf]# pig 2011-12-06 17:57:48,357 [main] INFO org.apache.pig.Main - Logging error messages to: /usr/pig/pig-0.9.1/conf/pig_1323165468355.log 2011-12-06 17:57:48,528 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://hadoop149:9000/ 2011-12-06 17:57:48,634 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: hadoop149:9004 • grunt> 出现如上信息，说明pig启动成功6 测试pig在MapReduce 模式下作业的执行步骤一：上传passwd到hdfs文件系统假如路径如下 /passwd步骤二：在grunt编译器命令行依次执行如下命令A = load "/passwd" using PigStorage（":"）;B = foreach A generate $0 as id;dump B;在屏幕可以直接查看命令执行结果Pig安装与配置教程Fedora 18 编译内核相关资讯 MapReduce pig Pig安装

MapReduce朝不保夕的江湖地位（02月27日）
Apache Pig如何与Apache Lucene集（03/06/2015 08:08:20）
如何给Apache Pig自定义UDF函数？（01/02/2015 12:34:44）

MapReduce中Shuffle过程整理（05/26/2015 14:37:47）
Google开源C/C++版MapReduce框架（02/24/2015 16:07:46）
MapReduce作业运行第三方配置文件（12/24/2014 08:26:38）

本文评论查看全部评论（0）