티스토리 툴바


2011년 리뷰 그리고 2012년 계획

mixellaneous 2012/01/15 19:42
2012년도 벌써 2주일이 흘러가 버렸습니다. 한살 두살 먹다보니 이제는 1년에서 2주일도 아깝다는 생각이 들고, 해마다 그 2주일이 더 짧게 느껴집니다. 우선 늦었지만 이 포스트를 읽는 분들! 새해 복 많이 받으세요!

원래 계획은 2011년 연말에 바빴던(?) 한 해를 정리하는 시간을 가지려고 했는데 오히려 12월에 더 바빴습니다. 더 늦기전에 정리하려고 오늘 랩탑을 펴놓고 이 글을 쓰고 있습니다.

개인적으로 2011년은 변화가 많았던 해 였습니다. 4월에 포털에서 클라우드/빅데이터 전문 회사인 'NexR'로 이직을 했고 업무도 약간 변화가 있었습니다. 새로운 환경과 새로운 프로젝트 그리고 인원이 작은 조직, 스타트업에서 일을 하면서 진행했고 참여했던 일들이 저에게는 정말 좋은 경험이 되었습니다. 그렇게 계속 될 것 같더니... 작년 말에 회사 구성도 일부 변화가 생겼습니다. NexR은 KT Innotz와 함께 KT Cloudware의 구성원이 되어 2012년을 맞이했습니다. 올해는 또 어떤 일들이 생길지 기대가 됩니다. 

전반적으로 2011년은 체력적으로 힘들었던 시기도 있었고 정신없던 한 해였지만 많은 것을 보고 느낀 시간이었습니다. 아쉬움도 있지만 만족할만한 한 해였습니다.

그리고, 2012년. 요즘 약간 바쁜 일이 겹치면서 많은 것을 계획하고 생각하지는 못했습니다. 해마다 하는 결심들. 금연 ㅋㅋㅋ, 운동 ㅋㅋㅋ, 공부 ㅋㅋㅋ

조그만 변화가 있다면 올해는 기존에 하던 일에다 추가로 'Team manager' 일도 같이 하게 되었습니다. 팀에 대한 구체적인 계획을 세운 것은 없으나, 잘 굴러가던 팀이었기 때문에 변화를 주기보다는 작년에 시간 부족이나 여러 사정으로 못했던 일들을 차근차근 진행해보는 한 해가 되도록하는 것이 제가 생각하는 계획의 주요 목표입니다.

올해 개인적으로 변화를 주고 싶은 부분이 있다면 제가 공부하는 패턴을 조금 바꿔보려합니다. 특히 기술 업무관련 기술들. 올해에는 설익은 기술을 선행하거나 탐구하는 시간 보다 대중화된 기술을 응용하고 개선하는 쪽에 시간을 보다 많이 투자할 계획입니다.

물론, 가장 큰 새해 소망은 가족 모두가 더 행복하게 사는 것이지요!

저작자 표시 비영리

FASTFOKUS Demo Reel 2011

mixtape 2011/12/29 13:10

FASTFOKUS Demo Reel 2011 from FASTFOKUS on Vimeo.


Source: http://kellymcgazza.blogspot.com/2011/12/fast-fokus-demo-reel.html
저작자 표시 비영리

Hive ( >= 0.8) builtins 테스트 로그 확인

mixellaneous 2011/12/27 16:16
Hive 0.8 부터 builtins 서브 프로젝트가 들어가 있고 이를 통해 사용자는 UD[F|AF|TF]를 Hive 내장함수처럼 쓸 수 있다.

그런데 builtins 유닛테스트를 실행하면 오류가 있는 경우에 화면에 로그를 출력하지 않아서 조금 답답했는데... 찾아보니 로그는 다른 디렉토리 안에 파잉로 기록되어 있었다. :-(

테스트를 시행하면...

$ cd builtins

$ ant test
Buildfile: /home/ywkim/git/hive/builtins/build.xml

test:
     [echo] Project: builtins

compile:

get-class-list:

extract-functions:
     [xslt] Processing /home/ywkim/git/hive/build/builtins/metadata/class-info.xml to /home/ywkim/git/oss-hive/build/builtins/metadata/class-registration.sql
     [xslt] Loading stylesheet /home/ywkim/git/hive/pdk/scripts/class-registration.xsl

jar:
      [jar] Building jar: /home/ywkim/git/hive/build/builtins/hive-builtins-0.8.0-SNAPSHOT.jar

package:

test:
    [junit] Running org.apache.hive.pdk.PluginTest
    [junit] Tests run: 1, Failures: 1, Errors: 0, Time elapsed: 11.517 sec

BUILD FAILED
/home/ywkim/git/hive/builtins/build.xml:45: The following error occurred while executing this line:
/home/ywkim/git/hive/pdk/scripts/build-plugin.xml:122: Test org.apache.hive.pdk.PluginTest failed

Total time: 15 seconds



로그는 메세지는  build/builtins/TEST-org.apache.hive.pdk.PluginTest.txt  파일에 기록된다.
 

$ cat ../build/builtins/TEST-org.apache.hive.pdk.PluginTest.txt 
Testsuite: org.apache.hive.pdk.PluginTest
Tests run: 1, Failures: 1, Errors: 0, Time elapsed: 11.517 sec
------------- Standard Error -----------------
GLOBAL SETUP:  Copying file: file:/home/ywkim/git/hive/builtins/test/onerow.txt
Deleted file:/home/ywkim/git/hive/build/builtins/warehouse/onerow
Copying file: file:/home/ywkim/git/hive/builtins/test/iris.txt
Deleted file:/home/ywkim/git/hive/build/builtins/warehouse/iris
org.apache.hive.builtins.GenericUDFDecode SETUP:  
Hive history file=/tmp/ywkim/hive_job_log_ywkim_201112271507_1925460847.txt
OK
Time taken: 0.0080 seconds
OK
Time taken: 0.028 seconds
FAILED: Error in semantic analysis: Line 1:48 Table not found 'dual'
org.apache.hive.builtins.GenericUDFDecode TEARDOWN:  
Hive history file=/tmp/ywkim/hive_job_log_ywkim_201112271507_1767240162.txt
OK
Time taken: 0.788 seconds
GLOBAL TEARDOWN:  
Hive history file=/tmp/ywkim/hive_job_log_ywkim_201112271507_784307455.txt
OK
Time taken: 0.1 seconds
OK
Time taken: 0.091 seconds
------------- ---------------- ---------------

Testcase: SELECT myfnc(i, 0, 'ACCOUNT', 1, 'HR', 'NO-DEP') FROM dual_data; took 3.586 sec
FAILED
expected:<[HR]> but was:<[
Hive history file=/tmp/ywkim/hive_job_log_ywkim_201112271507_631647530.txt
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
11/12/27 15:07:16 WARN conf.HiveConf: hive-site.xml not found on CLASSPATH
Execution log at: /tmp/ywkim/ywkim_20111227150707_6929dc8f-65dc-4446-9218-c0a7983e4a0b.log
Job running in-process (local Hadoop)
Hadoop job information for null: number of mappers: 0; number of reducers: 0
2011-12-27 15:07:18,693 null map = 100%,  reduce = 0%
Ended Job = job_local_0001
Execution completed successfully
Mapred Local Task Succeeded . Convert the Join into MapJoin
OK
Time taken: 3.535 seconds]>
junit.framework.ComparisonFailure: expected:<[HR]> but was:<[
Hive history file=/tmp/ywkim/hive_job_log_ywkim_201112271507_631647530.txt
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
11/12/27 15:07:16 WARN conf.HiveConf: hive-site.xml not found on CLASSPATH
Execution log at: /tmp/ywkim/ywkim_20111227150707_6929dc8f-65dc-4446-9218-c0a7983e4a0b.log
Job running in-process (local Hadoop)
Hadoop job information for null: number of mappers: 0; number of reducers: 0
2011-12-27 15:07:18,693 null map = 100%,  reduce = 0%
Ended Job = job_local_0001
Execution completed successfully
Mapred Local Task Succeeded . Convert the Join into MapJoin
OK
Time taken: 3.535 seconds]>
at org.apache.hive.pdk.PluginTest.runTest(PluginTest.java:59)
at junit.extensions.TestDecorator.basicRun(TestDecorator.java:24)
at junit.extensions.TestSetup$1.protect(TestSetup.java:23)
at junit.extensions.TestSetup.run(TestSetup.java:27)
at junit.extensions.TestDecorator.basicRun(TestDecorator.java:24)
at junit.extensions.TestSetup$1.protect(TestSetup.java:23)
at junit.extensions.TestSetup.run(TestSetup.java:27)

 
저작자 표시 비영리