Windows下基于Cygwin和Eclipse的Hadoop开发环境配置中遇到的问题和解决方法

由于不是即时写的，所以不能把我遇到的每个问题都写出来。但是几个印象比较深刻的问题和解决方法可以分享一下。

 

主要有如下几个问题：

 

一、在我执行格式化namenode的时候。不停的跳出一个一行语句说cygwin '\r'command not found。

在网上搜过之后，大部分给出的解决方法是：“其实，很简单，就是不要用winrar解压缩，而应该用linux下的tar工具来解压缩，然后问题解决”。

我按照这个方法，用tar命令在cygwin中解压之后还是有这个问题，没有解决。

后来发现，关键问题在那个hadoop-env.sh文件上。我们在windows的环境下讲这个文件打开进行了编辑，于是里面所有的\n都转成了\r。这个在linux环境下是不认识的，在cygwin下也是。

所以，解决方法就是，把这个文件中所有的\r都转换成\n.具体的方法是,通过路径转到这个文件,对它执行dos2unix操作。执行完之后记得不要再打开了。正确的步骤是打开hadoop-env.sh进行相关修改后，执行dos2unix命令。这样再namenode -format的时候就不会出现这个错误了。

 

二、还是在namenode -format的时候的问题，老是提示我找不到路径。

路径问题有几个要注意的地方。

a.java要配置好环境变量，为了保险，最好把系统环境变量和当前的用户的环境变量都要添加。特别是后者。

b.cygwin要配置好环境变量，这个在之前配置的那篇文章里面讲过了。

c.hadoop-env.sh中的JAVA_HOME要改掉，然后把那句话前面的注释用的#去掉。如果路径名有空格的话，要扩上双引号。

d.也就是我的这个错误。路径名中的\要写成\\。这个错误纠结了我很久.所以，光复制是不行的。

 

三、最后这个问题是困扰我时间最长的，但是却是最简单的一个问题。走到最后了，但是老是迈不过去那个槛：就是在Eclipse连接的时候，老是说不能连接。can't connect，连接不上，各种errors.具体的描述语句我忘记了。

我一直以为是自己的连接参数没有配好的问题。不停的new和edit Map\Reduce的配置，怎么都成功不了。导致我不停去寻找看是不是之前的配置步骤哪里错了。最后发现，是软件的版本问题。虽然教程里面要求的hadoop是0.19.2版本的，但是我下载的是0.20.2版本的，因为是一个同学推荐的，说是很稳定的一个版本。就因为这个版本的错误导致一直连接不上。

所以，最后得出结论就是。在windows用cygwin配置hadoop环境的时候一定要选择0.19.2的版本。

 

如果还有其他问题，可以给我留言交流。因为配置了很久，所以基本上该遇到的问题都遇到了。只是这几个是印象比较深刻的。

评论

4 楼 Sunnie小食 2011-10-12  

duguyiren3476 写道

我现在是没有出现错误，只是eclipse中一直显示connection to dfs 。。。。 楼主遇到了么？？？

你的意思是你现在已经能正常运行了，能编写程序并编译了。但是会一直出现这句提示是么？

3 楼 duguyiren3476 2011-10-12  

我现在是没有出现错误，只是eclipse中一直显示connection to dfs 。。。。 楼主遇到了么？？？

2 楼 Sunnie小食 2011-10-09  

风漂雨落 写道

楼主有碰到过这个问题吗？我的操作系统是WIN7。
Exception in thread "main" java.io.IOException: Cannot run program "chmod": CreateProcess error=2, ?????????

额，这个没有呢，再说时间有点久了。你是在哪步出现的？ 估计这一个月你也已经解决了。呵呵

1 楼 风漂雨落 2011-09-02  

楼主有碰到过这个问题吗？我的操作系统是WIN7。
Exception in thread "main" java.io.IOException: Cannot run program "chmod": CreateProcess error=2, ?????????