hadoop电脑配置

⑴ 如何配置Hadoop环境

资源下载

1、JDK下载：下载链接
2、hadoop：下载链接
3、下载完成后验证一下下载，将计算的MD5值与官网的进行对比已验证安装包的准确性：

md5sum ./hadoop-2.6.*.tar.gz | tr "a-z" "A-Z" # 计算md5值，并转化为大写，方便比较1

一、创建Hadoop用户

创建hadoop用户，并分配以用户名为家目录/home/hadoop，并将其加入到sudo用户组，创建好用户之后，以hadoop用户登录：

sudo useradd -m hadoop -s /bin/bash sudo adser hadoop sudo
sudo passwd hadoop # 设置hadoop用户密码123

二、安装JDK、Hadoop及配置环境变量

安装，解压JDK到/usr/lib/java/路径下，Hadoop到/usr/local/etc/hadoop/路径下：

tar zxf ./hadoop-2.6.*.tar.gz
mv ./hadoop-2.6.* /usr/local/etc/hadoop # 将 /usr/local/etc/hadoop作为Hadoop的安装路径12

解压完成之后，可验证hadoop的可用性：

cd /usr/local/etc/hadoop
./bin/hadoop version # 查看hadoop的版本信息12

若在此处，会出现类似以下的错误信息，则很有可能是该安装包有问题。

Error: Could not find or load main class org.apache.hadoop.util.VersionInfo1

配置环境，编辑“/etc/profile”文件，在其后添加如下信息：

export HADOOP_HOME=/usr/local/etc/hadoopexport JAVA_HOME=/usr/lib/java/jdk1.8.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=$PATH:${JAVA_HOME}/bin:${JRE_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin12345

使配置的变量生效：

source /etc/profile1

三、测试一下

在此我们可以运行一个简单的官方Demo：

cd `echo $HADOOP_HOME` # 到hadoop安装路径
mkdir ./input
cp ./etc/hadoop/*.xml ./input
hadoop jar ./share/hadoop/maprece/hadoop-maprece-examples-*.jar grep ./input ./output 'dfs[a-z.]+'1234

输出的结果应该会是：

1 dfsadmin 1

• 这里有一点需要注意，该Example程序运行时不能已存在output目录，否则或将无法执行！

四、Hadoop的伪分布式环境搭建

什么是伪分布式？Hadoop 伪分布式模式是在一台机器上模拟Hadoop分布式，单机上的分布式并不是真正的分布式，而是使用线程模拟的分布式。分布式和伪分布式这两种配置也很相似，唯一不同的地方是伪分布式是在一台机器上配置，也就是名字节点（namenode）和数据节点（datanode）均是同一台机器。

需要配置的文件有core-site.xml和hdfs-site.xml这两个文件他们都位于${HADOOP_HOME}/etc/hadoop/文件夹下。
其中core-site.xml：

• 1 <?xml version="1.0" encoding="UTF-8"?>


• 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


• 3 <!--


• 4 Licensed ...


• -->


• 18


• 19 <configuration>


• 20 <property>


• 21 <name>hadoop.tmp.dir</name>


• 22 <value>file:/home/hadoop/tmp</value>


• 23 <description>Abase for other temporary directories.</description>


• 24 </property>


• 25 <property>


• 26 <name>fs.default.name</name>


• 27 <value>hdfs://master:9000</value>


• 28 </property>


• 29 </configuration> 1234567891011121314151617



文件hdfs-site.xml的配置如下：

• 1 <?xml version="1.0" encoding="UTF-8"?>


• 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>


• 3 <!--


• 4 Licensed ...


• -->


• 18


• 19 <configuration>


• 20 <property>


• 21 <name>dfs.replication</name>


• 22 <value>1</value>


• 23 </property>


• 24 <property>


• 25 <name>dfs.namenode.name.dir</name>


• 26 <value>file:/home/hadoop/tmp/dfs/name</value>


• 27 </property>


• 28 <property>


• 29 <name>dfs.datanode.data.dir</name>


• 30 <value>file:/home/hadoop/tmp/dfs/data</value>


• 31 </property>


• 32 </configuration>



配置完成后，执行格式化命令，使HDFS将制定的目录进行格式化：

• hdfs namenode -format1



若格式化成功，在临近输出的结尾部分可看到如下信息：

如果发现并没有出现如上信息，则使用刷新节点命令进行刷新：

• hdfs dfsadmin -refreshNodes1



八、HDFS集群实例测试

依然是之前的那个示例，首先，创建一个数据源文件夹，并添加数据：

• hdfs dfs -mkdir /input


• hdfs dfs -put /usr/local/etc/hadoop/etc/hadoop/*.xml /input12



运行maprece示例：

• hadoop jar /usr/local/etc/hadoop/share/hadoop/maprece/hadoop-maprece-examples-*.jar grep /input /output 'dfs[a-z.]+'1



holding…

⑵ 问句门外汉的话，一台电脑能配置hadoop集群环境吗

可以，在电脑上安装虚拟机，虚拟出3个节点，就可以搭建一个完全分布式的Hadoop集群了。 虚拟机建议选VirtualBox，安装完比较小（相比于VMWare ）。 关于虚拟机的安装请网络教程。 其中一个虚拟机Ubuntu或其他linux安装完成后，可以通过复制功能安装其他两个，其中包括JDK的安装配置，Hadoop的安装（其实就是解压，环境变量配置即profile的修改，etc配置文件的修改，包括core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）。 复制完后再分配虚拟机的IP，SSH无密码验证配置等。 上述细节请网络教程，太多了。

⑶ 学习hadoop实验 电脑要什么配置

如果只是安装开源的hadoop的话，cpu8核，内存8g，磁盘16g应该就可以了

⑷ hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少

如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。
因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写过教程，还不止一篇，都挺详细的内容，可以帮助你入门。

⑸ 自己的电脑安装Hadoop、Spark的配置要求是

spark的话内存越大越好，hadoop配置稍高点就可以了

⑹ hadoop要求电脑内存

1、使用apache原生的hadoop来搭建集群，除了配置繁琐之外，还可能会有很多版本兼容性的问题(这很是头疼的问题)，当然在一些组件的官网有明确的版本依赖性说明，搭建haddop+hive或者hadoop+hbase等，管理起来也非常的不便，得自己写脚本来实现监控。当然了，也有它的好处，就是达到能运行起来，占用的内存并不多，8G的笔记本也能运行hadoop+hive或者hadoop+hbase，现在主流的pc机器应该都支持，也适合入门，对了解各个配置文件的作用及一些参数的调整有好处。

2、使用hortonworks的ambari来搭建 hadoop集群，这个占用的内存不算太多，也支持添加常用的组件同时运行，如zookeeper,hadoop,hive,hbase,flume等，ambari也是开源的，能满足大部分的初学者及一些为节约成本的企业需求。但ambari对一些组件的支持还是不够，如impala,ku，hue等，这些组件最早都是由cloudera公司开发的，虽然目前ambari也支持，但可能对他们的兼容性还不够完善，可能会遇到一些问题。对于16G的笔记本来说，用ambari来搭建学习环境是完全没问题的。

3、对于CDH爱好者来说，16G笔记本其实也是可以搭建并运行起来的，当然了，这个真只能单节点了。只是在安装集群时候，最开始先只添加必要的服务，如zookpper，hdfs。其它服务可以安装完成之后再添加的。安装完成后，把下面的Cloudera Management Service给停掉，这可以节约几个G的内存(至少2-3G)，停用后，不影响集群的正常工作，这只是用于资源监控的，我停用后，添加的组件和CM界面效果如下:

目前上述服务全部都是启动状态，可以正常使用。本人笔记本16G内存，下面是我虚拟机的内存情况：

当然本人物理机打开的应用除了虚拟机之外，还可以开一个xshell和idea开发工具，再多开一些应用就会卡了，当然也可以停掉一些用不到的服务来减小内存消耗。

⑺ 哪位大神知道从安装hadoop2.7.1到配置文件的所有正确流程

需要技能：Linux shell 基本操作
Hadoop hdfs 基本操作
（网上文档很多）
需要文件：VMvare
Hadoop2.1以上包
（官网都可以下）
FTP工具
JDK
Linux
开始配置：

1：.准备Linux环境
1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok
回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定
在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> 192network adapter -> host only -> ok
1.1修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast

1.2修改IP
通过Linux图形界面进行修改
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

1.3修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.101 itcast

1.4关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启et动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

1.5重启Linux
reboot
#####################################################################

2.安装JDK
2.1上传alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
//在主机crt中，联192.168.1.101
2.2解压jdk
#创建文件夹
mkdir /home/hadoop/app
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

#解压的时候注意是路径 要在[root@itcast~]下

2.3将java添加到环境变量中
#在文件最后添加 #注意添加的jdk路径
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile
#[root@itcast app] ls 看一下是否成功

####################################################################
3.安装hadoop2.4.1

#同上jdk 上传 解压#
先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop

# 进入 hadoop2.4.1 的etc中的 hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh：
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend-1206-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.4.1/tmp</value>
</property>

第三个：hdfs-site.xml hdfs-default.xml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>maprece.framework.name</name>
<value>yarn</value>
</property>

第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<!-- recer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>maprece_shuffle</value>
</property>

3.2将hadoop添加到环境变量

hadoop2.4.1下的bin下设置

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:
#export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin::$HADOOP_HOME/bin

############################若无效可改用按以下式#################################

#vi /etc/profile或者vi ~/.bash_profile
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

然后用source重新编译使之生效即可！
#source /etc/profile或者source ~/.bash_profile 赞

################################################################################

$HADOOP_HOME/sbin

source /etc/profile

3.3格式化namenode（是对namenode进行初始化）
###########每次重启集群必须先格式化#########
hdfs namenode -format (hadoop namenode -format)

3.4启动hadoop
先启动HDFS
sbin/start-dfs.sh

再启动YARN
sbin/start-yarn.sh

3.5验证是否启动成功
使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
#缺一不可#
http://192.168.1.101:50070 （HDFS管理界面）
http://192.168.1.101:8088 （MR管理界面）

##########################OK！~ 配置成功了######################################

作者：孙思
链接：http://www.hu.com/question/35246777/answer/92115364
来源：知乎
着作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

⑻ 一台笔记本怎么学习Hadoop

如果你的笔记本电脑配置强悍，8核CPU+8G内存，可以安装个VMWare Esxi 5 虚拟化平台(免费)，就可以像一台服务器那样操作。
给虚拟机分配资源，管理网卡，你同时还可以安装Cloudera的VMWare虚拟机镜像，他们已经把Hadoop安装好了，你需要拿过来用就OK了。

⑼ Hadoop的搭建一般至少要多少台机器

这个要看你的需求
比如你要处理的数据量，和你的服务器的配置

如果你只是学习，可以用2-3台服务器
如果没有条件，用一台电脑，装几个虚拟机也可以