hadoop fs -cmd <args> 형태로 명령을 내릴 수 있으며, Unix 또는 Linux의 명령어와 유사하게 사용할 수 있다.
Hadoop에서 가장 일반적인 파일 관리 작업은 아래와 같다.
- 파일과 디렉토리의 추가
- 파일 복구
- 파일 삭제
- help - 각 명령어의 사용과 간단한 설명을 제공
hadoop dfs -help [CMD]
hadoop의 fs 명령어를 사용하면 사용자가 설치한 하둡 버전에서 지원하는 모든 명령어를 볼 수 있다. 또한 help 옵션을 사용하면 각 명령어의 사용과 간단한 설명을 함께 볼 수 있다. - ls - 파일과 디렉토리를 조회한다.
hadoop dfs -ls PATH [PATH ..]
hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop fs -ls /input
13/12/19 13:35:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2013-12-19 13:23 /input/study
특정 폴더의 하위 폴더까지 보고자 할 경우에는 -R 옵션을 사용
hadoop dfs -ls -R PATH [PATH ..]
hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop fs -ls -R /input
13/12/19 13:54:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
drwxr-xr-x - hadoop supergroup 0 2013-12-19 13:23 /input/study
-rw-r--r-- 3 hadoop supergroup 35451909 2013-12-16 14:21 /input/study/comments.xml - mkdir - 디렉토리를 생성한다.
hadoop dfs -mkdir PATH [PATH ..] - mv - SRC에 있는 파일이나 디렉토리를 DST로 옮긴다.
hadoop dfs -mv SRC [SRC ..] DST
hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -mv /input/comments.xml /input/study/
hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -mv /output/out_workshop1 /output/study/ - put - 로컬 시스템의 파일과 디렉토리를 목적지 파일 시스템으로 복사. 만약 LOCALSRC가 -로 설정되어 있으면 입력은 stdin으로 지정되고 DST는 파일이어야 한다.
hadoop dfs -put LOCALSRC [LOCALSRC ..] DST
hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -put ./comments.xml /input/study/ - rm - 파일 또는 디렉토리를 삭제한다. 하위 폴더까지 모두 삭제를 원할 경우 -R 옵션을 사용.
hadoop dfs -rm SRC
hadoop fs -rm /output/study/HadoopInAction/out_*
hadoop fs -rm -R /output/study/HadoopInAction/out_*
