본문 바로가기

spark

Spark 테스트 (Windows, Scala, Self-Contained Applications) # Scala 를 이용한 Spark Self-Contained Applications 테스트 # 설치 - Scala 다운로드 : http://www.scala-lang.org/download/all.html (2.10.6 버전)- SBT(Scala Build Tool) 다운로드 : http://www.scala-sbt.org/download.html- 두개의 프로그램 모두 공백이 없는 경로에 설치 하거나 mklink를 이용하여 공백이 없는 경로에 접근 가능하게 작업- 각각의 "scala\bin" "sbt\bin" 디렉토리를 PATH 설정 # 빌드 준비 - 아래와 같은 Spark 빌드 환경 설정을 위해 .sbt 파일을 작성- Scala 버전 2.10.6, Spark 버전 1.5.2 name := "App".. 더보기
Spark 테스트 (Windows, Python 환경) # Spark 어플리케이션 실행 방법- Spark 어플리케이션을 실행 하기 위해서 3가지 방법을 제공- http://spark.apache.org/docs/latest/quick-start.html 1. Spark Shell 을 이용한 인터랙티브한 환경에서 실행 (scala : bin/spark-shell, python: bin/pyspark)>> bin\pyspark Python 3.5.0 (v3.5.0:374f501f4567, Sep 13 2015, 02:16:59) [MSC v.1900 32 bit (Intel)] on win32 Type "help", "copyright", "credits" or "license" for more information. 15/11/11 20:05:54 WARN N.. 더보기
Spark 설치 (Standalone) # Apache Spark - http://spark.apache.org/- Apache Spark™ is a fast and general engine for large-scale data processing.- Spark 의 핵심은 무엇인가? RDD! : http://www.slideshare.net/yongho/rdd-paper-review- Spark programming guide (번역) : http://www.raonbit.com/spark-programming-guide/# Spark 설치 (Standalone, Python 기준)- Java 설치 (1.8)# Ubuntu sudo apt-get install python-software-propertiessudo add-apt-reposi.. 더보기