Windows7 Pro(64bit)で Hadoop2.4.0 Window Native を動かす。
以下をDownloadして使用します。
・Apache Hadoop 2.4.0 Source codes
・Windows 7 OS（64Bit）
・Microsoft Windows SDK v7.1（今回は、VS2010 Proを使用）
・Maven 3.2.1
・Protocol Buffers 2.5.0
・Cygwin64（今回は使用しない、ただしzip、tarファイルが解凍できるツールが必要です。(7-ZIPやLhaplus等)）
tar、zipコマンドが必要の場合、インストールしてください。
・JDK 1.6 （JDK 1.7ではサンプル実行でエラーが発生）
１．Maven 3.2.1のインストール
http://maven.apache.org/download.cgiより、apache-maven-3.2.1-bin.zipをDownloadし展開する。
展開した、Mavenをc:\apache-maven-3.2.1に変更する。
２．Protocol Buffers のインストール
http://code.google.com/p/protobuf/downloads/listよりprotoc-2.5.0-win32.zipをDownloadし展開する。
３．JDK１．６をインストール
今回は、インストール先をc:\javaの下にインストールしました。JDKのインストールは他のHP等を参考にしてください。
４．Microsoft Windows SDK v7.1または VS2010 Proをインストールしてください。
５．PATH環境変数に追加
・c:\apache-maven-3.2.1\bin
・c:\protoc-2.5.0-win32
・c:\java\jdk1.6.0_45\bin
６．環境変数の追加
・JAVA_HOME= C:\java\jdk1.6.0_45
・M2_HOME= c:\apache-maven-3.2.1
・Platform=x64
８．Hadoop 2.4.0をDownloadした hadoop-2.4.0-src.tar.gz を展開してください。
hadoop-2.4.0-src.tar.gzをhttp://www.apache.org/dyn/closer.cgi/hadoop/common/よりDownloadしてください。
展開先は e:\deploy とします。
９．Hadoopのコンパイル
スタートメニュー - Microsoft Visual Studio 2010 - Visual Studio Tools - Visual Studio x64 in64 コマンドプロンプトを実行する。
> cd e:\deploy
> mvn package -Pdist,native-win -DskipTests
-Dtar を付けると、コンパイル完了時に、hadoop-2.4.0.tar.gzファイルが作成されます。今回は特に必要がないので指定していません。
１０．Hadoopの環境設定
・e:\hadoopを作成
・コンパイルした E:\deploy\hadoop-dist\target\hadoop-2.4.0の全フォルダを e:\hadoop下に移動する。
１１．環境変数の設定及び追加
・e:\hadoop\bin をPATHに追加
・HADOOP_HOME=e:\hadoop を環境変数を追加
１２．Hadoopの設定
・e:\hadoop\etc\hadoop\core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
・e:\hadoop\etc\hadoop\hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/data/dfs/datanode</value>
</property>
</configuration>
・e:\hadoop\etc\hadoop\yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>
%HADOOP_HOME%\\etc\\hadoop,
%HADOOP_HOME%\\share\\hadoop\\common\\*,
%HADOOP_HOME%\\share\\hadoop\\common\\lib\\*,
%HADOOP_HOME%\\share\\hadoop\\mapreduce\\*,
%HADOOP_HOME%\\share\\hadoop\\mapreduce\\lib\\*,
%HADOOP_HOME%\\share\\hadoop\\hdfs\\*,
%HADOOP_HOME%\\share\\hadoop\\hdfs\\lib\\*,
%HADOOP_HOME%\\share\\hadoop\\yarn\\*,
%HADOOP_HOME%\\share\\hadoop\\yarn\\lib\\*
</value>
</property>
</configuration>
・e:\hadoop\etc\hadoop\mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
１３．HDFSの実行確認
> cd e:\hadoop\sbin
> start-dfs
エラーが出ていなければOKです。
１４．YARNの実行確認
> cd e:\hadoop\sbin
> start-yarn
エラーが出ていなければOKです。
１５．Resource Manager、Node ManagerとNodenameの確認
・Node Manager: http://localhost:8042/
・Namenode: http://localhost:50070
１６．HDFS、YARNの停止
> cd e:\hadoop\sbin
> stop-dfs
> stop-yarn
次はサンプルの実行を確認します。
１．HDFS、YARNの実行
> cd e:\hadoop\sbin
> start-all
２．サンプル実行前に忘れずに実施しておくこと
(1)/tmp を作成
> hdfs dfs mkdir /tmp
> hdfs dfs chmod R 1777 /tmp
(2)/userを作成
> hdfs dfs mkdir /user
> hdfs dfs chmod R 1777 /user
(3)自分自身のユーザを作成
> hdfs dfs mkdir /user/hoge
> hdfs dfs chown hoge /user/hoge
３．データの準備
・e:\file1.txt
Install Hadoop
Run Hadoop Wordcount Mapreduce Example
４．サンプル WordCount の実行
> cd e:\hadoop
> hdfs dfs mkdir input
> hdfs dfs copyFromLocal e:\file1.txt input
> hdfs dfs ls input/file1.txt
-rw-r--r-- 1 skf skf 57 2014-06-04 09:10 input/file1.txt
> hdfs dfs cat input/file1.txt
Install Hadoop
Run Hadoop Wordcount Mapreduce Example
> hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount input output
５．サンプル WordCount の実行結果確認
参考URL
http://www.srccodes.com/p/article/38/build-install-configure-run-apache-hadoop-2.2.0-microsoft-windows-os
http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/index.html