Welcome 微信登录

首页 / 操作系统 / Linux / 如何远程调试Hadoop代码

通常情况下，我们只是通过已经编译好的Hadoop jar包来运行Hadoop。如果我们更改了Hadoop的源码，希望对更改的代码进行远程调试，可以通过下面的步骤来进行：1. 下载从Apache社区或者Cloudera网站上下载Hadoop的压缩包2. 在eclipse中创建一个java工程，并将该压缩包导入其中，建议在linux开发环境下完成3. 对Hadoop代码更改后，在linux命令行下运行: "ant jar"，重新生成新的jar包4. 将更改后的Hadoop部署到远程的linux server上，假设为一个name node，两个data node的场景，并且要调试name node（IP是10.10.10.2）5. 在name node的Hadoop bin目录下运行： "cp hadoop hadoop-debug"，复制一个新的脚本6. 在hadoop-debug脚本中的最后一行进行如下改动：
  1. #exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"  
  2. exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=9090,server=y,suspend=y $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"  
7. 运行: "hadoop-debug namenode -format"，这个时候命令会挂起，等待调试器连接9090端口，如：
  1. #./hadoop-debug namenode -format    
  2. Listening for transport dt_socket at address: 9090  
8. 回到开发端，在eclipse中右键选择NameNode.java->Debug As->Debug Configuration，进行如下配置：9. 点击Apply，然后Debug，就可以连接到name node上进行调试了。远程调试和本地调试区别不大，同样可以设置断点等操作。RHEL5如何使用CentOS更新yum源如何在Ubuntu 11.10下成功安装Java相关资讯      Hadoop 
  • 云中巨象——作为一种服务的Hadoop  （05月16日）
  • Hadoop/Spark生态圈里的新气象  （02月17日）
  • 2分钟读懂大数据框架Hadoop和Spark  （12/16/2015 13:38:47）
  • 一篇文看懂Hadoop：风雨十年，未来  （03月11日）
  • Hadoop之父祝贺黄色小象的十岁生日  （01月30日）
  • Spark和Hadoop，孰优孰劣？  （12/01/2015 12:40:40）
本文评论 查看全部评论 （0）
表情： 姓名： 字数