eclipse配置hadoop插件

eclipse配置hadoop插件

安装hadoop插件可以方便我们进行一些简单的操作,比如删除,上传,下载操作

而无需在xshell操作或进入浏览器查看

浏览器查看的地址应该是类似于这样的

http://mycentos:50070/explorer.html

下面我们就来简单的配置一下:

第一步,下载插件包

下载后放到eclipse/plugins目录下,重启eclipse

这里提供64位的hadoop2.7的插件包下载

eclipse的hadoop插件 hadoop-eclipse-plugin-2.7.0.jar下载


第二步,设置我们的安装路径

eclipse —— windows —— preferences —— 你就可以看到 Hadoop Map/Reduce

然后在右边选择你的hadoop的安装目录



[caption id="attachment_1156" align="alignnone" width="620"]eclipse配置hadoop插件 eclipse配置hadoop插件[/caption]


第三步:打开运行hadoop的开关

eclipse —— windows —— show view —— other

选择我们的MapReduce Tools下面的Map/Reduce Locations即可

此时在下面就有这个选项了


[caption id="attachment_1157" align="alignnone" width="620"]show mapreduce show mapreduce[/caption]


第四步,配置hadoop插件参数

此时我们就可以向操作tomcat那样 ,在空白区域点击右键,选择新建hadoop 


[caption id="attachment_1158" align="alignnone" width="541"]配置hadoop插件参数 配置hadoop插件参数[/caption]


参数说明:Map/Reduce(V2)Master 的host和port时我们在mapred-site.xml配置的

配置的相关代码如下:

<property>
	<!-- jobtracker标识:端口号,不是URI -->
	<name>mapred.job.tracker</name>
    	<value>master:9001</value>
</property>
而右边的DFS Master是配置我们的文件系统所在的位置,及在文件 core-site.xml里配置的


相关代码如下

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://MyCentOS:9000</value>
</property>



第五步,查看并测试

查看:在我们的eclipse的左上边出现如下图片所示,就表示成功,如果出现error什么的,就表示配置失败,请检查端口是否配置好,以及是否已经启动了DFS和yarn


[caption id="attachment_1159" align="alignnone" width="235"]hadoop检查 hadoop检查[/caption]


测试,您可以简单的测试,比如上传一个文件,下载一个文件,删除一个文件

途中的abc abcd abcde 就是为新建的目录,abc文件夹里有一个文件,所以abc旁边显示1,表示里面有一个文件


当然您还可以写 一个java程序来验证

public class Client{
	
	@SuppressWarnings("unused")
	private FileSystem fs;

	public void getFS() throws IOException{
		Configuration conf = new Configuration();
		//设置文件系统所在的位置
		conf.set("fs.defaultFS", "MyCentOS:9000");
		//设置备份数量
		conf.set("dfs.replication", "2");
		fs = FileSystem.get(conf);
	}
	
	public void Mkdir() throws IllegalArgumentException, IOException{
		getFS();
		fs.mkdirs(new Path("/abcde/"));
		System.out.println("1111111111111");
	}
	
	public static void  main(String[] args){
		Client client = new Client();
		try {
			client.Mkdir();
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
	}
}
eclipse 下运行第一个hadoop程序



如果您觉得本文章对您有用,也为了更好的运营博客,您可以点击这里捐助

评论 抢沙发

昵称 (必填) 邮箱 (必填)
表情