본문 바로가기

Dev

Gitlab Backup & Restore 방법 Gitlab Backup & Restore 방법참고: https://gitlab.com/gitlab-org/gitlab-ce/blob/master/doc/raketasks/backup_restore.md1. Backup 방법sudo gitlab-rake gitlab:backup:create 백업을 하면 아래 경로에 백업 파일이 생성/var/opt/gitlab/backups/drwxr-----. 2 git root .. 더보기
Hadoop Single Node 설치 (linux) 1. 기본 설정 # JAVA 설치 - OS에 맞춰 설치(다운로드) 후 JAVA_HOME 환경변수 설정 # Hadoop 실행 계정 생성 및 SSH Key 등록 - 노드에서 다른 노드로 접속(ssh) 시 패스워드 없이 접속을 위해 키 생성 및 등록 - ssh localhost 명령에서 패스워드가 없이 접속이 되어야 성공 $ useradd hadoop$ su - hadoop$ ssh-.. 더보기
JVM GC 모니터링(Tomcat), VisualVM 사용 # VisualVM- JAVA의 VM을 모니터링 할 수 있는 GUI 툴  - JDK 1.7 이상의 경우 JAVA_HOME/bin 밑에 포함 되어 있음 (e.g. windows - jvisualvm.exe)- 별도로 다운 받을 경우 : https://visualvm.java.net/# 원격접속 준비 (서버)- 원격으로 접속을 할 경우 host 서버측에 rmiregistry 및 jstatd 데몬 실행.. 더보기
Spark 테스트 (Windows, Scala, Self-Contained Applications) # Scala 를 이용한 Spark Self-Contained Applications 테스트 # 설치 - Scala 다운로드 : http://www.scala-lang.org/download/all.html (2.10.6 버전)- SBT(Scala Build Tool) 다운로드 : http://www.scala-sbt.org/download.html- 두개의 프로그램 모두 공백이 없는 경.. 더보기
Apache Tajo 테스트 (Windows) # Apache Tajo - Apache Tajo™: A big data warehouse system on Hadoop- http://tajo.apache.org/# Apache Tajo 설치 - Download : http://tajo.apache.org/downloads.html- 최신 바이너리(Latest Release 0.11.0) 를 받아서 압축을 풀기 - conf/tajo-e.. 더보기
Apache Hadoop 2.7.1 (Windows) ** Apache Hadoop을 Windows 10에 설치 및 테스트 # Apache Hadoop for Windows - 깃헙에서 소스를 받아 빌드 작업을 해야 하지만, 친철하게 Windows용 64비트 비공식 빌드가 있어 해당 바이너리를 다운로드 - karthikj1/Hadoop-2.7.1-Windows-64-binaries https://github.com/karthikj1/Hado.. 더보기
Spark 테스트 (Windows, Python 환경) # Spark 어플리케이션 실행 방법- Spark 어플리케이션을 실행 하기 위해서 3가지 방법을 제공- http://spark.apache.org/docs/latest/quick-start.html 1. Spark Shell 을 이용한 인터랙티브한 환경에서 실행 (scala : bin/spark-shell, python: bin/pyspark)>> bin\pyspark Python 3.5.0 (v3.5.0:37.. 더보기
Spark 설치 (Standalone) # Apache Spark - http://spark.apache.org/- Apache Spark™ is a fast and general engine for large-scale data processing.- Spark 의 핵심은 무엇인가? RDD! : http://www.slideshare.net/yongho/rdd-paper-review- Spark programming guid.. 더보기
멀티쓰레드 최적화 힙 메모리 할당기 - tcmalloc. jemalloc # TCmalloc (Thread-Caching memory allocation) - https://code.google.com/p/gperftools/ - 구글이 만든 성능 도구에 포함되어 있는 힙 메모리 할당자로서 크롬 및 많은 프로젝트에 사용  - 기존의 malloc 으로 대표되는 할당자의 경우 멀티쓰레드의 최적화가 고려되지 않은 상황의 구현체이기 때문에, Thread가 난무하는 현실 세계에서는 많은.. 더보기
cdecl/asb 개발 중.. cdecl/asb 개발 중.. 1. wg/wrk (Modern HTTP benchmarking tool) - wrk는 커맨드 라인의 옵션으로, 간단한게 Http 서비스의 성능 평가를 할 수 있는 툴. - 윈도우 환경에서도 쓸 수 있지 않을까 했지만, Linux의 aio(Asynchronous I/O)으로 구현 되어 있어 포팅 불가. - 비슷한 툴로 Apache ab, JoeDog/siege 등이 있으며, github에 "benchmark" .. 더보기
cdecl/asb - Http benchmarking and load test tool for windows, posix # cdecl/asb - Http benchmarking and load test tool for windows, posix - wg/wrk (Modern HTTP benchmarking tool)과 기능이 비슷한, Windows 버전으로 만들게 된 커맨드 라인 툴. - boost::asio 와 asio 에서 지원하는 ssl(openssl)을 이용하여 구현. - VC++ 2013 환경에서 개발하고, 라이브.. 더보기
Bonobo - Simple git server for Windows # Bonobo - Simple git server for Windows - Git 서버를 윈도우즈 환경에서 운영하기 위한 플랫폼  - IIS 7 이상, .NET Framework 4.5, ASP.NET MVC 4 환경  # 설치  - IIS 설치 : Windows 7 이상이면 "프로그램 및 기능" - "Windows 기능 겨키/끄기" 에서 설치 가능    * 응용 프로그램 .. 더보기