Hadoop 2.2.0 HDFS 명령어

주로 사용하는 Hadoop의 파일시스템인 HDFS의 명령어들을 정리할 계획이다.

hadoop fs -cmd <args> 형태로 명령을 내릴 수 있으며, Unix 또는 Linux의 명령어와 유사하게 사용할 수 있다.

Hadoop에서 가장 일반적인 파일 관리 작업은 아래와 같다.

1. 파일과 디렉토리의 추가
2. 파일 복구
3. 파일 삭제

• help - 각 명령어의 사용과 간단한 설명을 제공
  hadoop dfs -help [CMD]
  hadoop의 fs 명령어를 사용하면 사용자가 설치한 하둡 버전에서 지원하는 모든 명령어를 볼 수 있다. 또한 help 옵션을 사용하면 각 명령어의 사용과 간단한 설명을  함께 볼 수 있다.
• ls - 파일과 디렉토리를 조회한다.
  hadoop dfs -ls PATH [PATH ..]
  hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop fs -ls /input
  13/12/19 13:35:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  Found 1 items
  drwxr-xr-x   - hadoop supergroup          0 2013-12-19 13:23 /input/study
  
  특정 폴더의 하위 폴더까지 보고자 할 경우에는 -R 옵션을 사용
  hadoop dfs -ls -R PATH [PATH ..]
  hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop fs -ls -R /input
  13/12/19 13:54:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
  drwxr-xr-x   - hadoop supergroup          0 2013-12-19 13:23 /input/study
  -rw-r--r--   3 hadoop supergroup   35451909 2013-12-16 14:21 /input/study/comments.xml
• mkdir - 디렉토리를 생성한다.
  hadoop dfs -mkdir PATH [PATH ..]
• mv - SRC에 있는 파일이나 디렉토리를 DST로 옮긴다.
  hadoop dfs -mv SRC [SRC ..] DST
  hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -mv /input/comments.xml /input/study/
  
  hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -mv /output/out_workshop1 /output/study/
• put - 로컬 시스템의 파일과 디렉토리를 목적지 파일 시스템으로 복사. 만약 LOCALSRC가 -로 설정되어 있으면 입력은 stdin으로 지정되고 DST는 파일이어야 한다.
  hadoop dfs -put LOCALSRC [LOCALSRC ..] DST
  hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -put ./comments.xml /input/study/
• rm - 파일 또는 디렉토리를 삭제한다. 하위 폴더까지 모두 삭제를 원할 경우 -R 옵션을 사용.
  hadoop dfs -rm SRC
  hadoop fs -rm /output/study/HadoopInAction/out_*
  hadoop fs -rm -R /output/study/HadoopInAction/out_*
• 
  
•