Get fresh updates from Hortonworks by email

Once a month, receive latest insights, trends, analytics information and knowledge of Big Data.




시작할 준비가 되셨습니까?

Sandbox 다운로드

어떤 도움이 필요하십니까?

닫기닫기 버튼

Enterprise Spark Big Data Solutions At Scale

HORTONWORKS, 엔터프라이즈 배포를 위해 SPARK 제공

클라우드 Hortonworks는 리더입니다. Forrester Wave를 읽어보세요.

보고서 다운로드


Apache™ Spark Overview

Hortonworks is unleashing the power of the Apache Spark big data processing framework for enterprise scale, unifying the capabilities of open enterprise Apache Hadoop® and the in-memory analytic capabilities of Apache Spark to maximize organizational value.

Spark is Better as Part of the Platform
Spark is certified as YARN-ready and is part of Hortonworks Data Platform. Memory and CPU-intensive enterprise Spark-based applications can coexist with other workloads deployed in a YARN-enabled cluster. Spark has first class support for external data sources, it can run directly on the cluster in YARN, and that is where enterprises want to perform their data analysis. This approach avoids the need to create and manage dedicated enterprise Spark clusters and allows for more efficient resource use within a single cluster. 

Spark Requires Enterprise-Grade Security and Governance
As part of the HDP platform, Spark has access to the same governance, security and management policies as other components of the HDP stack. The Spark big data processing framework is one the fastest moving projects in the Big Data ecosystem and its libraries remain at different levels of maturity. Hortonworks investigates, validates, certifies and then supports each of the components in the Spark project. This approach is key to the way we add value for our customers.

Notebooks Makes Spark and Data Science Easier to Consume & Share
Web-based notebooks bring data ingestion, exploration, visualization, sharing and collaboration capabilities to Hadoop and Spark. Hortonworks is making a substantial investment in Apache Zeppelin; we plan to make Zeppelin ready for production use by making it easier to use, while adding security, stability and R support.

By delivering a unified Apache Spark and Hadoop, we combine Spark-driven Agile Analytic workflows with the vast-data set and economics of Hadoop. With Hortonworks, enterprises can deploy the Apache Spark big data processing framework with the industry’s best security, governance, and operations capabilities.

SPARK에 대한 HORTONWORKS의 주안점은 무엇입니까?

Hortonworks는 Spark 1.6을 릴리스하면서 고객이 데이터 과학을 가속화하고 원활한 데이터 액세스를 유지하고 핵심적인 혁신을 이루도록 돕기 위해 최선을 다하고 있습니다.

Spark는 오픈 엔터프라이즈 Hadoop의 구성 요소로서, 엔터프라이즈급 가치를 위해 Spark를 확장하도록 조직의 역량을 높여 줍니다.


데이터 과학 가속화

Apache Zeppelin을 강화하고 추가 Spark 알고리즘 및 패키지에 기여함으로써 데이터 과학 생산성을 향상하여 핵심 솔루션의 개발을 용이하게 합니다.

예: Magellan 프로젝트 - Apache Spark의 지리 공간 분석, 지리 공간 쿼리를 지원하고 Spark를 기반으로 구축하여 지리 공간 데이터를 대규모로 처리하는 어려운 문제를 해결하는 지리 공간 분석에 대한 오픈 소스 라이브러리


원활한 데이터 액세스

Spark SQL에서는 SQL 및 Data Frame API를 제공하여 구조화된 데이터에 액세스하는 한편 Spark 스트리밍을 통해 개발자가 확장 가능하고 처리량이 높으며, 내결함성이 우수한 라이브 데이터 스트림의 스트림 처리를 손쉽게 구축할 수 있도록 합니다.

Hortonworks에서는 YARN, HDFS, Hive, HBase 및 ORC에 대한 Spark의 통합을 개선하고 있습니다. 특히 새 데이터 소스 API를 통해 데이터 액세스를 보다 최적화할 수 있다고 믿고 있습니다.


핵심적인 혁신

HDFS 메모리 계층을 통해 RDD 공유 사용

추가 기계 학습 알고리즘에 기여

Enhance enterprise Spark’s security, governance, operations, and readiness


탁월한 모든 Spark 혁신에 대해 알아보려면

APACHE SPARK 페이지를 확인해 보세요.

페이지 보기


최신 웨비나 'Hadoop을 통한 Spark at Scale' 듣기

시작할 준비가 되셨습니까?