hadoop

hadoop的split使用方法,不当使用可能会使你的程序运行缓慢

共580人围观 个不明物体

hadoop的split使用方法,不当使用可能会使你的程序运行缓慢 今天运行一个简单的hadoop测试程序时,发现运行缓慢 后来发现,原来时因为我在分割字符串的时候使用的java原生的分割字符串的方法split 这个方法是可以用的,但是当真正在大数据环境下时,他的效率就相当的底下 因此hadoop为我们提供了

hadoop的RPC框架封装思想(简要步骤)

共560人围观 个不明物体

hadoop的RPC框架封装思想 我们这里用controller远程访问服务端的一个方法login()为例,来简要说明一下 hadoop的RPC框架封装思想 本例可以参考以下文章 Hadoop的第一个rpc实现——hello likilone 1、通过客户端与服务端共有的接口,生成

测试删除、恢复hadoop数据

共798人围观 个不明物体

在hadoop里面删除和恢复数据,和我们在windows下是 一样的 他也有一个回收站 如果仅仅只是删除文件,文件是可以被恢复的,并且我们不会去操作回收站,除非没有空间了 如果删除回收站里的东西,那您的文件就不可恢复了。 测试删除、恢复hadoop数据

Hadoop的第一个rpc实现——hello likilone

共466人围观 个不明物体

服务端与客户端的网络通信 Hadoop的第一个rpc实现——hello world 目前所知道的有三种方式可以实现了吧 第一、就是通过scoket来实现,当然这是底层的; 第二、通过soap协议的webservice或框架的axis2; 第三、就是我们接

hadoop测试并分析在子节点上上传大文件 备份 存放等

共663人围观 个不明物体

现在习惯了凌晨起来学习hadoop,由于昨天一天都在写项目,所以今天凌晨突然不知道hadoop应该学什么了 突然想到,测试下在集群里测试下上传文件 本文主要探讨上传文件的备份、存放等 hadoop测试并分析在子节点上上传大文件 备份 存放等

hadoop 没有找到主机路由

共593人围观 个不明物体

hadoop 没有找到主机路由 出现这个问题,一般的助理方法是 1、namenode主机ping其他的节点主机,查看是否通 2、datanode主机ping其他节点主机,查看是否通 3、通常,前两项我们一般都不会有问题 主要问题是防火墙是否关闭 Ubuntu关闭防火墙的

eclipse配置hadoop插件

共487人围观 个不明物体

eclipse配置hadoop插件 安装hadoop插件可以方便我们 进行一些简单的操作 ,比如删除,上传,下载操作 而无需在xshell操作或进入浏览器查看 浏览器查看的地址应该是类似于这样的 http://mycentos:50070/explorer.html

关于DataNode的运行机制和副本规则

共316人围观 个不明物体

关于DataNode的运行机制和副本规则 DataNode的一些笔记。 A、DataNode默认的三个副本的创建规则 1,首先,先在本机创建一个副本 2,再在另外一个机架上存放一个副本 3,再在本机所在的机架上存放一个副本 B、副本数量的配置优先级 1,服务端 hdfs-site.xml 可以配置 2

hadoop2.7.2 64位下载

共697人围观 个不明物体

hadoop2.7.2 64位下载 如果您的系统是64位,那你就需要下载官方的源码在本地64位系统上重新编译 这个过程有点复杂,您可以参考这里 如何编译官方hadoop为64位 自行编译 也可以下载我编译好的源码 下载地址:http://pan.baidu.c

为什么需要在64位机器上重新编译hadoop

共630人围观 个不明物体

为什么需要在64位机器上重新编译hadoop 首先我们应该知道hadoop是用java写的(在编译hadoop的时候,我们会发现他会现在很多jar文件,比如hadoop-hdfs、hadoop-yarn等) 那么就有个疑问?java文件不是一处编译,到处运行吗? java的确是一处编译,到处运行,但是有

如何编译官方hadoop为64位

共785人围观 个不明物体

在运行hadoop时出现 Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 他的大概意思就是说,库不对 后来经过查找方法,发现原来是hadoop官方提供的是32位程序,而我的系统是