hadoop

hadoop web ui 简单权限验证

共410人围观 个不明物体

hadoop web ui 简单权限验证 1,在中加入如下代码 !-- Authentication for Hadoop HTTP web-consoles -- property namehadoop.http.filter.initializers/name valueorg.apache.hadoop.security.AuthenticationFilter

Incomplete HDFS URI, no host

共870人围观 个不明物体

执行如下命令报错 [likilone@heyou_2 hadoop]$ hdfs dfs -mkdir /test/ mkdir: Incomplete HDFS URI, no host: hdfs://heyou_2:9000 其原因是hadoop设定的主机名不能有_ 但是可以为-

hadoop2.9.2源码64位编译

共445人围观 个不明物体

hadoop2.9.2源码64位编译 之前我对hadoop2.7.2源码进行了64位编译,由于官方最新版仍然是提供的是32位的二进制版本,因此,经过不懈努力,我对最新版本也进行了64位编译,编译过程大同小异。 编译中遇到的问题,我也在博客中有所提及,大家可自行编译,如不希望编译,也可以通过如下链接进行下载,体验最新版本的hadoop 自行编译,可参考 如何编译官

编译 Hadoop mvn -rf :hadoop-pipes

共1233人围观 个不明物体

编译hadoop的时候出现如下错误 [ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.9.2:cmake-compile (cmake-compile) on project hadoop-pipes: CMake failed with error code 1 - [Help 1] [

hadoop的split使用方法,不当使用可能会使你的程序运行缓慢

共1267人围观 个不明物体

hadoop的split使用方法,不当使用可能会使你的程序运行缓慢 今天运行一个简单的hadoop测试程序时,发现运行缓慢 后来发现,原来时因为我在分割字符串的时候使用的java原生的分割字符串的方法split 这个方法是可以用的,但是当真正在大数据环境下时,他的效率就相当的底下 因此hadoop为我们提供了

hadoop的RPC框架封装思想(简要步骤)

共1133人围观 个不明物体

hadoop的RPC框架封装思想 我们这里用controller远程访问服务端的一个方法login()为例,来简要说明一下 hadoop的RPC框架封装思想 本例可以参考以下文章 Hadoop的第一个rpc实现——hello likilone 1、通过客户端与服务端共有的接口,生成

测试删除、恢复hadoop数据

共1677人围观 个不明物体

在hadoop里面删除和恢复数据,和我们在windows下是 一样的 他也有一个回收站 如果仅仅只是删除文件,文件是可以被恢复的,并且我们不会去操作回收站,除非没有空间了 如果删除回收站里的东西,那您的文件就不可恢复了。 测试删除、恢复hadoop数据

Hadoop的第一个rpc实现——hello likilone

共964人围观 个不明物体

服务端与客户端的网络通信 Hadoop的第一个rpc实现——hello world 目前所知道的有三种方式可以实现了吧 第一、就是通过scoket来实现,当然这是底层的; 第二、通过soap协议的webservice或框架的axis2; 第三、就是我们接

hadoop测试并分析在子节点上上传大文件 备份 存放等

共2082人围观 个不明物体

现在习惯了凌晨起来学习hadoop,由于昨天一天都在写项目,所以今天凌晨突然不知道hadoop应该学什么了 突然想到,测试下在集群里测试下上传文件 本文主要探讨上传文件的备份、存放等 hadoop测试并分析在子节点上上传大文件 备份 存放等

hadoop 没有找到主机路由

共1472人围观 个不明物体

hadoop 没有找到主机路由 出现这个问题,一般的助理方法是 1、namenode主机ping其他的节点主机,查看是否通 2、datanode主机ping其他节点主机,查看是否通 3、通常,前两项我们一般都不会有问题 主要问题是防火墙是否关闭 Ubuntu关闭防火墙的

eclipse配置hadoop插件

共1148人围观 个不明物体

eclipse配置hadoop插件 安装hadoop插件可以方便我们 进行一些简单的操作 ,比如删除,上传,下载操作 而无需在xshell操作或进入浏览器查看 浏览器查看的地址应该是类似于这样的 http://mycentos:50070/explorer.html

关于DataNode的运行机制和副本规则

共674人围观 个不明物体

关于DataNode的运行机制和副本规则 DataNode的一些笔记。 A、DataNode默认的三个副本的创建规则 1,首先,先在本机创建一个副本 2,再在另外一个机架上存放一个副本 3,再在本机所在的机架上存放一个副本 B、副本数量的配置优先级 1,服务端 hdfs-site.xml 可以配置 2