뉴스레터

이메일로 Hortonworks의 새 업데이트를 받으세요.

한 달에 한 번 빅 데이터와 관련한 최신 인사이트, 동향, 분석 정보, 지식을 받아 보세요.

AVAILABLE NEWSLETTERS:

Sign up for the Developers Newsletter

한 달에 한 번 빅 데이터와 관련한 최신 인사이트, 동향, 분석 정보, 지식을 받아 보세요.

CTA

시작하기

클라우드

시작할 준비가 되셨습니까?

Sandbox 다운로드

어떤 도움이 필요하십니까?

* 저는 언제든지 구독을 해지할 수 있다는 점을 이해합니다. 또한 저는 Hortonworks이 개인정보 보호정책에 추가된 정보를 확인하였습니다.
닫기닫기 버튼
HDP > Hadoop 관리 > Hortonworks Sandbox

Sandbox Deployment and Install Guide

Docker에 Hortonworks Sandbox 배포하기

클라우드 시작할 준비가 되셨습니까?

SANDBOX 다운로드

소개

이 튜토리얼에서는 Hortonworks Sandbox(HDP 또는 HDF)를 컴퓨터의 Docker에 설치하는 일반적인 방법을 보여줍니다.

필수 전제 조건

  • Docker 설치됨, 버전 17.09 이상
  • A computer with minimum 10 GB RAM dedicated to the virtual machine
  • Microsoft Windows 사용자는 bash shell을 먼저 설치해야 합니다. 지침은 Git Bash를 사용하여 테스트되었습니다.

개요

메모리 구성

Linux용 메모리

Linux의 경우 특별한 구성이 필요하지 않습니다.

Windows용 메모리

Windows용 Docker를 설치한 후, 애플리케이션을 열고 메뉴 모음의 Docker 아이콘을 클릭하십시오. 설정을 선택합니다.

Docker 설정

Select the Advanced tab and adjust the dedicated memory to at least 10240GB of RAM.

Docker 램 구성

Mac용 메모리

Mac용 Docker를 설치한 후, 애플리케이션을 열고 메뉴 모음의 Docker 아이콘을 클릭하십시오. 기본 설정을 선택합니다.

docker-mac-preferences

Select the Advanced tab and adjust the dedicated memory to at least 12GB of RAM.

docker-mac-configure

HDP 배포

HDP Sandbox 배포

HDP Sandbox 설치/배포/시작하기

docker-download-hdp

압축 해제된 폴더에서 셸 스크립트 docker-deploy-{version}.sh를 찾을 수 있습니다. Linux/ Mac/Windows(Git Bash) 명령줄에서 다음 스크립트를 실행합니다.

cd /path/to/script
sh docker-deploy-{HDPversion}.sh

참고: 스크립트는 한 번만 실행하면 됩니다. 스크립트가 실행되면 Sandbox가 구성 후 시작되고, 필요한 경우 Sandbox Docker 컨테이너가 생성됩니다.

참고: 압축 해제된 폴더에는 다른 스크립트와 폴더도 포함되어 있습니다. 지금은 이에 대해 다루지 않겠습니다. 이들은 추후 고급 튜토리얼에서 다룰 예정입니다.

스크립트 출력은 다음과 유사합니다.

docker-start-hdp-output

HDP Sandbox 확인

다음 명령을 발행하여 HDP Sandbox가 성공적으로 배포되었는지 확인하십시오.

docker ps

다음과 같이 표시됩니다.

docker-ps-hdp-output

HDP Sandbox 중지

HDP Sandbox를 중지/종료하려면 다음 명령을 실행하십시오.

docker stop sandbox-hdp
docker stop sandbox-proxy

HDP Sandbox 다시 시작

Sandbox를 다시 시작하려면 다음 명령을 실행하십시오:

docker start sandbox-hdp
docker start sandbox-proxy

HDP Sandbox 제거

컨테이너는 Sandbox 이미지의 인스턴스입니다. 이를 삭제하기 전에 컨테이너 종속성을 중지해야 합니다. 다음 명령을 발행하십시오.

docker stop sandbox-hdp
docker stop sandbox-proxy
docker rm sandbox-hdp
docker rm sandbox-proxy

HDP Sandbox 이미지를 제거하려면 컨테이너를 중지하고 삭제한 후 다음 명령을 발행하십시오.

docker rmi hortonworks/sandbox-hdp:{release}

HDP 배포

HDF Sandbox 배포

HDF Sandbox 설치/배포/시작하기

docker-download-hdf

압축 해제된 폴더에서 셸 스크립트 docker-deploy-{version}.sh를 찾을 수 있습니다. Linux/ Mac/Windows(Git Bash) 명령줄에서 다음 스크립트를 실행합니다.

cd /path/to/script
sh docker-deploy-{HDFversion}.sh

참고: 스크립트는 한 번만 실행하면 됩니다. 스크립트가 실행되면 Sandbox가 구성 후 시작되고, 필요한 경우 Sandbox Docker 컨테이너가 생성됩니다.

참고: 압축 해제된 폴더에는 다른 스크립트와 폴더도 포함되어 있습니다. 지금은 이에 대해 다루지 않겠습니다. 이들은 추후 고급 튜토리얼에서 다룰 예정입니다.

스크립트 출력은 다음과 유사합니다.

docker-start-hdf-output

HDF Sandbox 확인

다음 명령을 발행하여 HDF Sandbox가 성공적으로 배포되었는지 확인하십시오.

docker ps

다음과 같이 표시됩니다.

docker-ps-hdf-output

HDF Sandbox 중지

HDF Sandbox를 중지/종료하려면 다음 명령을 실행하십시오.

docker stop sandbox-hdf
docker stop sandbox-proxy

HDF Sandbox 다시 시작

HDF Sandbox를 다시 시작하려면 다음 명령을 실행하십시오:

docker start sandbox-hdf
docker start sandbox-proxy

HDF Sandbox 제거

A container is an instance of the Sandbox image. You must stop container dependencies before removing it. Issue the following commands:

docker stop sandbox-hdf
docker stop sandbox-proxy
docker rm sandbox-hdf
docker rm sandbox-proxy

HDF Sandbox 이미지를 제거하려면 컨테이너를 중지하고 삭제한 후 다음 명령을 발행하십시오.

docker rmi hortonworks/sandbox-hdf:{release}

Connected Data Architecture(CDA) 활성화 – 심화 주제

필수 구성 요소:

  • A computer with minimum 22 GB of RAM dedicated to the virtual machine
  • 최소한 HDP/HDF Sandbox가 이미 배포되어 있음
  • Update Docker settings to use minimum 16 GB (16384 MB)

Hortonworks Connected Data Architecture(CDA)를 사용하면 활성 데이터(HDF) 및 비활성 데이터(HDP) Sandbox 모두를 동시에 재생할 수 있습니다.

HDF (Data-In-Motion)

data-in-motion은 모든 종류의 다양한 장치로부터 흐름이나 스트림으로 데이터가 수집된다는 개념입니다. 데이터가 이러한 흐름을 따라 이동하는 동안 NiFi가 '프로세서'라고 부르는 구성요소가 데이터를 수정, 변환, 집계 및 라우팅하고 있습니다. 활성 데이터는 Big Data Application을 구축할 때 사전 처리 단계의 대부분을 담당합니다. 예를 들어, 데이터 처리란 데이터 과학자들이 데이터를 분석 및 시각화하는 데 집중할 수 있도록 데이터 엔지니어들이 원시 데이터를 향상된 스키마로 포맷하는 활동을 일컫습니다.

HDP(Data-At-Rest)

Data-At-Rest는 데이터가 이동하지 않으며 Hadoop Distributed File System(HDFS)과 같은 분산 데이터 스토리지에 상주하는 데이터베이스 또는 강력한 데이터 저장소에 저장된다는 개념입니다. 데이터를 쿼리로 전송하는 대신 의미 있는 통찰력을 확보하기 위해 쿼리를 데이터로 전송합니다. 이러한 스테이지 데이터에서 Big Data Application을 구축할 때 데이터 처리와 분석이 이루어집니다.

Docker 메모리 업데이트

Docker -> 기본 설정… -> 고급을 선택하고 이에 따라 메모리를 설정합니다. Docker를 다시 시작합니다.

docker-memory-settings

스크립트를 실행하여 CDA 활성화

Sandbox를 최초로 배포했을 때, 배포 스크립트 묶음이 다운로드되었습니다(예: HDP Sandbox 배포 참조).

압축 해제된 폴더에서 셸 스크립트 enable-native-cda.sh를 찾을 수 있습니다. Linux/ Mac/Windows(Git Bash) 명령줄에서 다음 스크립트를 실행합니다.

cd /path/to/script
sh enable-native-cda.sh

스크립트 출력은 다음과 유사합니다.

docker-enable-cda-output

더 읽기

부록 A: 문제 해결

드라이브 공유되지 않음

docker-drive-not-shared

  • Docker는 docker-deploy-{version}.sh가 실행되는 드라이브에 쓰기 액세스 권한을 필요로 합니다.

  • 가장 쉬운 솔루션은 다운로드 폴더에서 스크립트를 실행하는 것입니다.

  • 아니면, Docker 기본 설정/설정 -> 파일 공유/공유 드라이브 -> 배포-스크립트가 위치한 경로 /드라이브를 추가/선택하고 다시 시도하십시오.

장치에 여유 공간 없음

포트 충돌

배포 스크립트를 실행하는 동안 다음과 비슷한 포트 충돌 문제가 발생할 수 있습니다.

docker-conflicting-port

이 그림은 6001과의 포트 충돌이 있음을 보여줍니다.

Docker 배포 스크립트를 저장한 위치로 이동하십시오(예: HDP Sandbox 배포 참조). Sandbox 디렉토리가 새롭게 생성된 것을 확인할 수 있습니다.

  • sandbox/proxy/proxy-deploy.sh 파일을 수정합니다.
  • 충돌 포트를 수정(먼저 키 쌍에서)합니다. 예: 6001:600116001:6001로 수정
  • 파일 저장/나가기
  • bash 스크립트를 실행합니다: bash sandbox/proxy/proxy-deploy.sh
  • 계속 포트 충돌이 발생하면 단계를 반복하십시오.

다음 명령을 발행하여 Sandbox가 성공적으로 배포되었는지 확인하십시오.

docker ps

다음과 같이 표시됩니다.

docker-ps-hdf-output

사용자 리뷰

사용자 등급
1 4 out of 5 stars
5 Star 0%
4 Star 100%
3 Star 0%
2 Star 0%
1 Star 0%
튜토리얼 이름
Sandbox Deployment and Install Guide

질문을 하거나 답변을 찾으시려면, Hortonworks Community Connection을 방문하시기 바랍니다.

1 Review
리뷰 작성

등록

리뷰를 작성하려면 등록해주세요

나의 경험 공유하기

예: 내가 본 최고의 튜토리얼

이 필드에는 최소 50글자를 입력해야 합니다.

성공

리뷰를 공유해 주셔서 감사합니다!

Sandbox Deployment and Install Guide
by Patrick Hagan on August 9, 2018 at 3:13 am

The instructions were written well, except at the end where you have to put in the URL. It would have been better with a screen prints of the browser before and after initial URL is entered and the result. Right now it is not clear, which browser - outside VM or inside VM and which URL - the ones on the top screen or the ones on the bottom. My guess is the URL on the bottom on a browser outside the VM. Thank you.

The instructions were written well, except at the end where you have to put in the URL. It would have been better with a screen prints of the browser before and after initial URL is entered and the result. Right now it is not clear, which browser – outside VM or inside VM and which URL – the ones on the top screen or the ones on the bottom. My guess is the URL on the bottom on a browser outside the VM. Thank you.

적게 표시
Cancel

Review updated successfully.