博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
编译Hadoop1.1.2eclipse插件并测试
阅读量:7091 次
发布时间:2019-06-28

本文共 3548 字,大约阅读时间需要 11 分钟。

(一)、building hadoop

1、编辑{HADOOP_HOME}/build.xml

(1)、对31行的hadoop版本做修改

<property name="version"value="1.1.2-SNAPSHOT"/>

修改为:

<property name="version"value="1.1.2"/>

(2)、对2418行的ivy下载进行注释,因为已经包含了ivy.jar

  <!--target name="ivy-download"description="To download ivy"unless="offline">

   <get src="${ivy_repo_url}" dest="${ivy.jar}"usetimestamp="true"/>
  </target-->

(3)、对2426行去除对ivy-download的依赖关系,保留如下:

    <target name="ivy-init-antlib"depends="ivy-init-dirs,ivy-probe-antlib"

2、编辑{HADOOP_HOME}/src/contrib./build-contrib.xml

添加红色字体的两行,补充Eclipse路径和Hadoop版本

<projectname="hadoopbuildcontrib" xmlns:ivy="antlib:org.apache.ivy.ant">

  <propertyname="eclipse.home"location="/home/yjdabc/eclipse"/>

  <propertyname="version"value="1.1.2"/>

  <propertyname="name"value="${ant.project.name}"/>

  <propertyname="root"value="${basedir}"/>

  <propertyname="hadoop.root"location="/home/yjdabc/hadoop-1.1.2"/>

</project>

3、building hadoop

cd ${HADOOP-HOME}

ant compile

大概30分钟

(二)、building eclipse-plugin for hadoop

1、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/build.xml

加入下面红色字体的几行,指定添加的jar包:

<!-- Override jar target to specify manifest -->

  <target name="jar" depends="compile" unless="skip.contrib">
    <mkdir dir="${build.dir}/lib"/>
    <copy file="${hadoop.root}/build/hadoop-core-${version}.jar" tofile="${build.dir}/lib/hadoop-core.jar" verbose="true"/>
    <copy file="${hadoop.root}/build/ivy/lib/Hadoop/common/commons-cli-${commons-cli.version}.jar"  todir="${build.dir}/lib" verbose="true"/>
   <copy file="${hadoop.root}/lib/commons-configuration-1.6.jar" tofile="${build.dir}/lib/commons-configuration-1.6.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/commons-httpclient-3.0.1.jar" tofile="${build.dir}/lib/commons-httpclient-3.0.1.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/commons-lang-2.4.jar" tofile="${build.dir}/lib/commons-lang-2.4.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/jackson-core-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-core-asl-1.8.8.jar" verbose="true"/>
   <copy file="${hadoop.root}/lib/jackson-mapper-asl-1.8.8.jar" tofile="${build.dir}/lib/jackson-mapper-asl-1.8.8.jar" verbose="true"/>    
<jar
      jarfile="${build.dir}/hadoop-${name}-${version}.jar"
      manifest="${root}/META-INF/MANIFEST.MF">
      <fileset dir="${build.dir}" includes="classes/ lib/"/>
      <fileset dir="${root}" includes="resources/ plugin.xml"/>
 </jar>
  </target>

2、修改${HADOOP_HOME}/src/contrib/eclipse-plugin/META-INF/MENIFEST.MF,指定CLASS_PATH

Bundle-ClassPath: classes/,

 lib/hadoop-core.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-2.4.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-cli-1.2.jar

3、building

cd ${HADOOP_HOME}/usr/contrib/eclipse-plugin

ant -Declipse.home=/home/yjdabc/eclipse -Dversion=1.1.2

building输出的eclipse插件:${HADOOP_HOME}/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-1.1.2.jar

三、eclipse配置

 1、 打开Window-->Preferens,你会发现HadoopMap/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。

2、选择window -> open perspective -> Other..., 选择有大象图标的 Map/Reduce

此时,就打开了Map/Reduce的开发环境。可以看到,右下角多了一个Map/Reduce Locations的框。

3、设置Hadoop的环境参数。选择Map/ReduceLocations标签,点击该标签最右边的大象图标,即那个齿轮状图标右侧的大象图标,打开参数设置页面

LocationName :此处为参数设置名称,可以任意填写

Map/ReduceMaster (此处为Hadoop集群的Map/Reduce地址,应该和mapred-site.xml中的mapred.job.tracker设置相同)

    Host: localhost

    port: 9001

DFSMaster  (此处为Hadoop的master服务器地址,应该和core-site.xml中的fs.default.name 设置相同)

    Host: localhost

    Port: 9000

设置完成后,点击Finish就应用了该设置。

注:解决linux上运行权限的问题,可以在服务器创建一个和hadoop集群用户名一致的用户,即可不用修改master的permissions策略。

转载于:https://www.cnblogs.com/sell/p/3211033.html

你可能感兴趣的文章
性能测试
查看>>
js滚动到底部事件
查看>>
Newtonsoft.Json 用法
查看>>
Unity3D如何减少安装包大小
查看>>
漫游Kafka设计篇之数据持久化
查看>>
Java提高篇——equals()与hashCode()方法详解
查看>>
【python】——小程序之电话薄
查看>>
Atitit.iso格式蓝光 BDMV 结构说明
查看>>
MySQL的create table as 与 like区别(转)
查看>>
Linux学习历程(持续更新整理中)
查看>>
Linux查看物理CPU个数、核数、逻辑CPU个数
查看>>
软件设计模式详解:OCP原则
查看>>
Apache服务器常规操作
查看>>
qt cef嵌入web
查看>>
Java程序员面试失败的5大原因
查看>>
过滤器(Filter)
查看>>
外观模式
查看>>
Webmin|Linux管理员远程管理工具
查看>>
【温故而知新-Javascript】比较 undefined 和 null 值
查看>>
CentOS中iptables防火墙 开放80端口方法
查看>>