2013년 12월 18일 수요일

Hadoop 2.2.0 HDFS 명령어

주로 사용하는 Hadoop의 파일시스템인 HDFS의 명령어들을 정리할 계획이다.

hadoop fs -cmd <args> 형태로 명령을 내릴 수 있으며, Unix 또는 Linux의 명령어와 유사하게 사용할 수 있다.

Hadoop에서 가장 일반적인 파일 관리 작업은 아래와 같다.

  1. 파일과 디렉토리의 추가
  2. 파일 복구
  3. 파일 삭제

  • help - 각 명령어의 사용과 간단한 설명을 제공
    hadoop dfs -help [CMD]

    hadoop의 fs 명령어를 사용하면 사용자가 설치한 하둡 버전에서 지원하는 모든 명령어를 볼 수 있다. 또한 help 옵션을 사용하면 각 명령어의 사용과 간단한 설명을  함께 볼 수 있다.
  • ls - 파일과 디렉토리를 조회한다.
    hadoop dfs -ls PATH [PATH ..]
    hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop fs -ls /input
    13/12/19 13:35:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    Found 1 items
    drwxr-xr-x   - hadoop supergroup          0 2013-12-19 13:23 /input/study

    특정 폴더의 하위 폴더까지 보고자 할 경우에는 -R 옵션을 사용
    hadoop dfs -ls -R PATH [PATH ..]
    hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop fs -ls -R /input
    13/12/19 13:54:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
    drwxr-xr-x   - hadoop supergroup          0 2013-12-19 13:23 /input/study
    -rw-r--r--   3 hadoop supergroup   35451909 2013-12-16 14:21 /input/study/comments.xml
  • mkdir - 디렉토리를 생성한다.
    hadoop dfs -mkdir PATH [PATH ..]
  • mv - SRC에 있는 파일이나 디렉토리를 DST로 옮긴다.
    hadoop dfs -mv SRC [SRC ..] DST
    hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -mv /input/comments.xml /input/study/

    hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -mv /output/out_workshop1 /output/study/
  • put - 로컬 시스템의 파일과 디렉토리를 목적지 파일 시스템으로 복사. 만약 LOCALSRC가 -로 설정되어 있으면 입력은 stdin으로 지정되고 DST는 파일이어야 한다.
    hadoop dfs -put LOCALSRC [LOCALSRC ..] DST
    hadoop@linuxwan-VirtualBox:/usr/local/hadoop/sbin$ hadoop dfs -put ./comments.xml /input/study/
  • rm - 파일 또는 디렉토리를 삭제한다. 하위 폴더까지 모두 삭제를 원할 경우 -R 옵션을 사용.
    hadoop dfs -rm SRC
    hadoop fs -rm /output/study/HadoopInAction/out_*
    hadoop fs -rm -R /output/study/HadoopInAction/out_*





2013년 12월 3일 화요일

Spring + Mybatis + JUnit Test를 위한 예제

mybatistest-context.xml
Mybatis 설정을 위한 dataSource와 transactionManager, Mybatis관련 설정을 아래와 같이 한다.

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:aop="http://www.springframework.org/schema/aop"
    xmlns:tx="http://www.springframework.org/schema/tx"
    xmlns:jdbc="http://www.springframework.org/schema/jdbc"
xmlns:context="http://www.springframework.org/schema/context"
xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.1.xsd
http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.1.xsd
http://www.springframework.org/schema/jdbc http://www.springframework.org/schema/jdbc/spring-jdbc-3.1.xsd
      http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-3.1.xsd
      http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.1.xsd">

<bean id="dataSource" class="org.springframework.jdbc.datasource.SimpleDriverDataSource">
<property name="driverClass" value="com.mysql.jdbc.Driver" />
<property name="url" value="jdbc:mysql://localhost/springbook?characterEncoding=UTF-8" />
<property name="username" value="spring" />
<property name="password" value="book" />
</bean>

<bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
<property name="dataSource" ref="dataSource" />
</bean>

<!-- enable autowire -->
    <context:annotation-config />

    <!-- enable transaction demarcation with annotations -->
    <tx:annotation-driven />
 
<bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
<property name="dataSource" ref="dataSource" />
<!-- property name="configLocation" value="springbook/learningtest/spring/mybatis/mybatis-config.xml" /-->
<property name="mapperLocations" value="springbook/learningtest/spring/mybatis/*-sqlmap.xml" />
</bean>

<bean id="sqlSession" class="org.mybatis.spring.SqlSessionTemplate">
<constructor-arg index="0" ref="sqlSessionFactory" />
</bean>

<bean id="mybatisDao" class="springbook.learningtest.spring.mybatis.MybatisTest$MybatisDAO">
<property name="sqlSession" ref="sqlSession" />
</bean>
</beans>
--------------------------------------------------------------------------

mybatis-config.xml
이 부분은 상기의 mybatistest-context.xml에 있는 sqlSessionFactory부분의 주석처리되어 있는 configLocation 태그를 활성화 했을 경우에 필요한 파일.
이때 당연 mapperLocations 태그 부분을 주석처리해야 한다.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
<mappers>
<mapper resource="springbook/learningtest/spring/mybatis/user-sqlmap.xml" />
</mappers>
</configuration>
----------------------------------------------------------------------------

user-sqlmap.xml
수행되어야 할 쿼리문을 아래와 같이 작성.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="springbook.learningtest.spring.mybatis.ExampleDAO">
 
<select id="getUserName" parameterType="String" resultType="string">
    SELECT NAME FROM USERS WHERE ID = #{id}
</select>

<select id="getUserList" resultType="springbook.learningtest.spring.mybatis.Users">
SELECT id, name, password, level, login, recommend, email
FROM users
order by id, name
</select>
</mapper>
----------------------------------------------------------------------------

ExampleDAO.java

/**
 *
 */
package springbook.learningtest.spring.mybatis;

import java.util.List;

import org.apache.ibatis.annotations.Param;

/**
 * @author
 *
 */
public interface ExampleDAO {
public String getUserName(@Param("id") String userId);
public List<Users> getUserList();
}

-----------------------------------------------------------------------------

Users.java

/**
 *
 */
package springbook.learningtest.spring.mybatis;

import java.io.Serializable;

/**
 * @author
 *
 */
public class Users implements Serializable {
/**
*
*/
private static final long serialVersionUID = 1L;

private String id;
private String name;
private String password;
private String level;
private String login;
private String recommend;
private String email;

public String getId() {
return id;
}
public void setId(String id) {
this.id = id;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public String getPassword() {
return password;
}
public void setPassword(String password) {
this.password = password;
}
public String getLevel() {
return level;
}
public void setLevel(String level) {
this.level = level;
}
public String getLogin() {
return login;
}
public void setLogin(String login) {
this.login = login;
}
public String getRecommend() {
return recommend;
}
public void setRecommend(String recommend) {
this.recommend = recommend;
}
public String getEmail() {
return email;
}
public void setEmail(String email) {
this.email = email;
}
public String toString() {
return getId() + getName();
}
}


-----------------------------------------------------------------------------

MybatisTest.java

/**
 *
 */
package springbook.learningtest.spring.mybatis;

import static org.hamcrest.CoreMatchers.is;
import static org.junit.Assert.assertThat;

import java.util.List;

import org.apache.ibatis.session.SqlSession;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.test.context.ContextConfiguration;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;

/**
 * @author
 *
 */
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration
public class MybatisTest {
@Autowired MybatisDAO mybatisDao;

@Test
public void getUserName() {
String id = "gyumee";
String name = mybatisDao.getUserName(id);

assertThat(name, is("박성철"));
}

@Test
public void getUserList() {
List<Users> userList = mybatisDao.getUserList();

assertThat(true, is(userList.size() > 1));
}

public static class MybatisDAO {
private SqlSession sqlSession;

public void setSqlSession(SqlSession sqlSession) {
this.sqlSession = sqlSession;
}

public String getUserName(String id) {
ExampleDAO exampleDao = sqlSession.getMapper(ExampleDAO.class);
return exampleDao.getUserName(id);
}

public List<Users> getUserList() {
ExampleDAO exampleDao = sqlSession.getMapper(ExampleDAO.class);
List<Users> list = exampleDao.getUserList();
return list;
}
}
}