Zeppelin Docker에 Apache Zeppelin + Apache Spark + Python (Keras, TensorFlow) 환경을 만들어 보았습니다. 에서 시도했다. 현재 작업에서 Apache Spark를 사용하여 데이터를 정리하고 집계하고 통계를 수행하고 있지만 쉘이나 프로젝트에서 데이터를 정형화하고 통계를 작성하면 무엇이 무엇인지 모르기 때문에 GUI에서 대화 형 도구로 사용됩니다. 를 이용하고 있다. notebook로서 처리를 정리할 수 있으므로 꽤 편리하다. (ipython의 Spark 전문 버전과 같은 것) 또한 Apache Ze... KerasZeppelinTensorFlow스파크도커 Zeppelin + Spark + Hive LLAP 이 포스트는, 요전날 라고 하는 타이틀로 쓴 아래와 같은 아키텍쳐를 만들기에 있어서의 Zeppelin + Spark + LLAP 주위의 조사와 검증 상황을 자신을 위한 메모로서 정리한 것입니다. Spark에서 S3의 데이터를 분석할 때 대기 시간을 가능한 한 낮추고 S3의 스로틀링을 피하기 위해 가능한 한 액세스 빈도를 낮추고 싶다는 배경에서 spark-llap을 시도하고 있다. spark-... Zeppelin스파크hive
Docker에 Apache Zeppelin + Apache Spark + Python (Keras, TensorFlow) 환경을 만들어 보았습니다. 에서 시도했다. 현재 작업에서 Apache Spark를 사용하여 데이터를 정리하고 집계하고 통계를 수행하고 있지만 쉘이나 프로젝트에서 데이터를 정형화하고 통계를 작성하면 무엇이 무엇인지 모르기 때문에 GUI에서 대화 형 도구로 사용됩니다. 를 이용하고 있다. notebook로서 처리를 정리할 수 있으므로 꽤 편리하다. (ipython의 Spark 전문 버전과 같은 것) 또한 Apache Ze... KerasZeppelinTensorFlow스파크도커 Zeppelin + Spark + Hive LLAP 이 포스트는, 요전날 라고 하는 타이틀로 쓴 아래와 같은 아키텍쳐를 만들기에 있어서의 Zeppelin + Spark + LLAP 주위의 조사와 검증 상황을 자신을 위한 메모로서 정리한 것입니다. Spark에서 S3의 데이터를 분석할 때 대기 시간을 가능한 한 낮추고 S3의 스로틀링을 피하기 위해 가능한 한 액세스 빈도를 낮추고 싶다는 배경에서 spark-llap을 시도하고 있다. spark-... Zeppelin스파크hive