[TIL] Hadoop의 기본 명령어 (사용자 커맨드)

회사에서, 새 프로젝트를 시작하면서 세팅을 하면서 Hadoop이나 Hive에 익숙해져야만 하는 상황이 왔다.

Hadoop 명령어를 공부하면서 기본적인 상황을 이해하려고 한다. (Hadoop을 통해서, 서버상에서도 데이터를 관리하는 어떤 매개체인것으로 이해했다. 실제로는 서버에서 작업을 해야 한다고 하셔서... 일단 이렇게 이해..)

 

주요 사용자 커맨드

$ hdfs dfs -ls
$ hadoop fs -ls

기본적으로는 hdfs dfs + 명령어,  hadoop fs + 명령어의 구조이다. 

cat

지정한 파일을 기본 입력으로 읽어서 출력

$ hdfs dfs -cat /user/file.txt

text

지정한 파일을 텍스트 형식으로 읽음

$ hdfs dfs -text /user/file.txt

ls

주어진 경로의 파일 목록을 조회

$ hdfs dfs -ls /user/

mkdir

디렉토리를 생성 (안될경우 -p를 붙이자.)

$ hdfs dfs -mkdir /user/new_folder
# 오류가 발생할 경우 하단처럼 처리하자.
$ hdfs dfs -mkdir -p /user/new_folder

cp, mv

HDFS -> HDFS로 파일을 복사/이동한다.

출발지, 도착지 순서로 경로를 적으면 된다.

$ hdfs dfs -cp /user/data1.txt /user/data2.txt
$ hdfs dfs -mv /user/data1.txt /user/data2.txt

get

HDFS -> 로컬 복사

$ hadoop fs -get /user/data1.txt ./

put

로컬 -> HDFS 복사

$ hadoop fs -put ./data1.txt /user/

 

추가로, 알게되는 커맨드는 이 글에 계속 정리하려고 한다.