본문 바로가기

Apache Tajo 테스트 (Windows) # Apache Tajo - Apache Tajo™: A big data warehouse system on Hadoop- http://tajo.apache.org/ # Apache Tajo 설치 - Download : http://tajo.apache.org/downloads.html- 최신 바이너리(Latest Release 0.11.0) 를 받아서 압축을 풀기 - conf/tajo-env.cmd 파일의 HADOOP_HOME 과 JAVA_HOME 세팅 @rem Hadoop home. Requiredset HADOOP_HOME=%HADOOP_HOME% @rem The java implementation to use. Required.set JAVA_HOME=%JAVA_HOME% # Apache Tajo.. 더보기
Apache Hadoop 2.7.1 (Windows) ** Apache Hadoop을 Windows 10에 설치 및 테스트 # Apache Hadoop for Windows - 깃헙에서 소스를 받아 빌드 작업을 해야 하지만, 친철하게 Windows용 64비트 비공식 빌드가 있어 해당 바이너리를 다운로드 - karthikj1/Hadoop-2.7.1-Windows-64-binaries https://github.com/karthikj1/Hadoop-2.7.1-Windows-64-binaries- Single Node Cluster, Pseudo-Distributed Mode 로 설치 # 설치- 다운로드 받은 파일을 공백이 없는 위치에 압축 풀기- HADOOP_HOME , JAVA_HOME 환경번수 세팅 - PATH에 HADOOP_HOME\bin 경로 추가 * .. 더보기
Spark 테스트 (Windows, Python 환경) # Spark 어플리케이션 실행 방법- Spark 어플리케이션을 실행 하기 위해서 3가지 방법을 제공- http://spark.apache.org/docs/latest/quick-start.html 1. Spark Shell 을 이용한 인터랙티브한 환경에서 실행 (scala : bin/spark-shell, python: bin/pyspark)>> bin\pyspark Python 3.5.0 (v3.5.0:374f501f4567, Sep 13 2015, 02:16:59) [MSC v.1900 32 bit (Intel)] on win32 Type "help", "copyright", "credits" or "license" for more information. 15/11/11 20:05:54 WARN N.. 더보기
Spark 설치 (Standalone) # Apache Spark - http://spark.apache.org/- Apache Spark™ is a fast and general engine for large-scale data processing. - Spark 의 핵심은 무엇인가? RDD! : http://www.slideshare.net/yongho/rdd-paper-review- Spark programming guide (번역) : http://www.raonbit.com/spark-programming-guide/ # Spark 설치 (Standalone, Python 기준) - Java 설치 (1.8)# Ubuntu sudo apt-get install python-software-propertiessudo add-apt-rep.. 더보기
멀티쓰레드 최적화 힙 메모리 할당기 - tcmalloc. jemalloc # TCmalloc (Thread-Caching memory allocation) - https://code.google.com/p/gperftools/ - 구글이 만든 성능 도구에 포함되어 있는 힙 메모리 할당자로서 크롬 및 많은 프로젝트에 사용 - 기존의 malloc 으로 대표되는 할당자의 경우 멀티쓰레드의 최적화가 고려되지 않은 상황의 구현체이기 때문에, Thread가 난무하는 현실 세계에서는 많은 성능 저하가 있다고 함 (메모리 할당, 관리도 동시성을 고려해야 하므로..) - 이쪽 계열 라이브러리 중에서는 가장 많이 알려져 있고, 기본 할당기에 비해 비약적인 성능 향상이 있다고 함. - 그리고 적용 방법도 드라마틱 하게, 인상적임. # 리눅스(Ubuntu, 14.10) 환경에서의 TCmalloc .. 더보기
cdecl/asb 개발 중.. cdecl/asb 개발 중.. 1. wg/wrk (Modern HTTP benchmarking tool) - wrk는 커맨드 라인의 옵션으로, 간단한게 Http 서비스의 성능 평가를 할 수 있는 툴. - 윈도우 환경에서도 쓸 수 있지 않을까 했지만, Linux의 aio(Asynchronous I/O)으로 구현 되어 있어 포팅 불가. - 비슷한 툴로 Apache ab, JoeDog/siege 등이 있으며, github에 "benchmark" 등의 단어로 검색하면 더 많은 언어로 작성되어 있는 오픈소스를 찾아 볼 수 있음. 2. Boost Asio - 윈도우 환경이라면 IOCP로 작성 가능 하겠지만, 기본적으로 작성해야 할 내용이 많고 크로스 플랫폼을 지원하고 성능적인 부분에서 검증이 되어 있는 Asio로 .. 더보기
cdecl/asb - Http benchmarking and load test tool for windows, posix # cdecl/asb - Http benchmarking and load test tool for windows, posix - wg/wrk (Modern HTTP benchmarking tool)과 기능이 비슷한, Windows 버전으로 만들게 된 커맨드 라인 툴. - boost::asio 와 asio 에서 지원하는 ssl(openssl)을 이용하여 구현. - VC++ 2013 환경에서 개발하고, 라이브러리 패키지 NuGet으로 관리. - Posix 환경은 g++ (4.8 이상, -std=c++11), boost 라이브러리 및 libssl-dev (openssl) 패키지 설치 # 테스트 결과 - 테스트 환경 ; Laptop Intel i5(4세대), 4 Core, 8G RAM, Windows 8.1 6.. 더보기
Bonobo - Simple git server for Windows # Bonobo - Simple git server for Windows - Git 서버를 윈도우즈 환경에서 운영하기 위한 플랫폼 - IIS 7 이상, .NET Framework 4.5, ASP.NET MVC 4 환경 # 설치 - IIS 설치 : Windows 7 이상이면 "프로그램 및 기능" - "Windows 기능 겨키/끄기" 에서 설치 가능 * 응용 프로그램 개발 기능에서 .NET 4.5 확장성 및 ASP.NET 4.5 활성화 - .NET Framework 4.5 설치 (Windows 8.1 이상은 이미 설치 됨) https://www.microsoft.com/ko-KR/download/details.aspx?id=30653 - ASP.NET MVC 4 (http://www.asp.net/mvc/m.. 더보기
Catch (A modern, C++-native, header-only, framework for unit-tests, TDD and BDD) Github : https://github.com/philsquared/Catch Tutorial : https://github.com/philsquared/Catch/blob/master/docs/tutorial.md # 특징 - CppUnit, Google Test, Boost.Test 등등 다른 프레임웍크에 비해 의존성이 없는 헤더파일(catch.hpp) 하나면 사용 할 수 있음 * C++ Test Framework 비교 - 별도 빌드 모듈로 운영 할 수도 있음 - 크로스 플랫폼 지원 # 사용 - TEST_CASE 라는 기본 단위 테스트에 SECTION이라는 작은 부분으로 나누어서 테스트 할 수 있음 - 기본적으로 REQUIRE 와 CHECK 의 평가식을 이용하여 로직 검증. - REQUIRE 와 .. 더보기
C++ REST SDK (casablanca) 간단 샘플 * https://casablanca.codeplex.com/ The C++ REST SDK is a Microsoft project for cloud-based client-server communication in native code using a modern asynchronous C++ API design. This project aims to help C++ developers connect to and interact with services. What's in the SDK:Features - HTTP client/server, JSON, URI, asynchronous streams, WebSockets client, oAuthPPL Tasks - A powerful model for c.. 더보기