总算在window下运行起来了hadoop小记

首先安装JDK 直接安装到C盘符下就行了

?

然后安装cygwin，在选择openssl,openssh

准备在elipse下编译的 还需要安装“BaseCategory”下的“GUN SED“

建议还安装

还建议将“EditorsCategory”下的vim安装，以方便在Cygwin上直接修改配置文件；“DevelCategory”下的subversion建议安装，

?

然后把JDK和cygwin安装路径配置环境变量

需要配置的环境变量包括PATH和JAVA_HOME：JAVA_HOME指向安装目录，Cygwin的bin目录，以及Cygwin的usr\bin目录都必须添加到PATH环境变量中

?

我的用的是hadoop-0.20.1下面是下载的?

http://dl.dbank.com/c0b3kwezsa

?

点击桌面上的

Cygwin

图标，启动

Cygwin

，执行

ssh-host-config

命令

点击桌面上的Cygwin图标，启动Cygwin，执行ssh-host-config命令 查看是否SSH 执行成功

再查看我的电脑---服务----启动CYGWIN sshd服务

?

在执行ssh-keygen命令生成密钥文件

然后在进入 Cygwin/home/用户文件夹/?

执行ls -a 命令 会看到一个隐藏的.ssh 文件夹 没有自己创建

再执行cp id_rsa.pub authorized_keys

再执行ssh localhost? 然后输入yes即可

失败可以把该文件删除 重新来一次

?

然后把下载下来的hadoop 解压到c:/hadoop/run 目录下

把conf 下的hadoop-env.sh #JAVA_HOME? 地#号去掉 填上自己的JDK安装目录

ssh-keygen

列如我的 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_23? 前面cygdrive这个必须写。不知道的可以在cygwin 下执行 cd $JAVA_HOME 查看当前路径

?

ore-site.xml

、

hdfs-site.xml

和

mapred-site.xm

再修改里面的core-site.xml、hdfs-site.xml和mapred-site.xml

查找自己安装hadoop下面的src文件夹

core目录下的core-default.xml文件复制到conf目录下，并将core-default.xml文件名改成core-site.xml。修改fs.default.name的值，端口自己定义只要没暂用即可我定义的是localhost:10001

hdfs目录下的hdfs-default.xml文件复制到conf目录下，并将hdfs-default.xml文件名改成hdfs-site.xml。不需要再做其它修改

mapred目录下的mapred-default.xml文件复制到D:\hadoop\run\conf目录下，并将mapred-default.xml文件名改成mapred-site.xml。修改mapred.job.tracker的值端口自己定义没用即可 我定义的是localhost:10002

?

?

在回头到自己安装的hadoop/bin下面

格式化文件节点

执行./hadoop namenode -format

在执行./start-all.sh

如果失败 可以执行./stop-all.sh

再把上面的重复一次

?

?

成功了可以执行下面

NameNode的.0.0.1:10001 '127'

http://192.168.1.113:50070/dfshealth.jsp

?

本地主机的Hadoop Map / Reduce的管理

http://192.168.1.113:50030/jobtracker.jsp?

?

?

-----------暂记