Managed Spark

Managed Spark란 무엇입니까?

Managed Spark 서비스를 이용하면 일괄 처리, 쿼리, 스트리밍과 머신 러닝 등을 위한 오픈 소스 데이터 툴을 유리하게 활용할 수 있습니다. 이러한 자동화 기능을 이용하면 필요에 따라 신속하게 클러스터를 만들어 간편하게 관리하고, 작업이 완료되면 끌 수 있습니다. 또한 워크로드, 성능 요구사항에 따라서나 기존 리소스를 바탕으로 클러스터 크기를 조정할 수도 있습니다. 뿐만 아니라 완전한 Managed Spark 클러스터에 액세스 권한이 부여되어 몇 초 만에 동적으로 클러스터 크기를 조정할 수 있게 됩니다.게다가 이것은 작업을 처리 중인 동안에도 동시에 수행할 수 있습니다. 또한 사용자에게 클러스터가 필요 없어지면 그 클러스터는 끄면 되므로 비용이 절약됩니다. Managed Spark 제공업체는 모든 작업에 하나의 클러스터를 만들어 프로비저닝하고 보관하는 것이 아니라 임시 클러스터를 여러 개 만듭니다. 보통은 마스터 노드와 작업자로 구성된 시스템 클러스터를 사용합니다.기업에서는 귀중한 자산을 운영에 쓰지 않고, 대신 보유한 데이터에서 가치를 추출하는 데만 집중할 수 있습니다.

Managed Spark 서비스를 이용하면 얻을 수 있는 장점:

자동 클러스터 관리

작업의 요구사항에 따라 관리형 배포, 로깅 및 모니터링이 제공되어 클러스터에 집중할 필요가 없고 데이터에만 초점을 맞출 수 있습니다. 클러스터가 안정적, 확장 가능하고 빠른 상태로 유지됩니다.

클러스터 크기 조정 가능

Spark 클러스터를 구축, 구성하려면 리소스를 많이 투입해야 하지만, 클러스터를 만들고 크기를 조정하는 작업이 금방 끝나고 더 이상 필요 없게 된 노드는 서서히 멈추므로 이 부분은 더 이상 신경 쓰지 않아도 됩니다. 모든 것을 필요에 따라(as-needed) 수행하는 것이 원칙입니다.

개발자 툴

보통은 클러스터 하나를 관리하는 데 여러 가지 방법이 있습니다.

자동 또는 수동 구성

클러스터에 포함된 하드웨어와 소프트웨어를 자동으로 구성해주며, 동시에 수동 제어도 허용됩니다.

단순한 관리

클러스터 관리나 리소스 할당 문제로 스트레스에 시달릴 필요가 없어집니다. YARN 리소스 관리자와 같은 툴을 통해 우선순위 지정이 간편하게 해결됩니다.

비용 효율적

사용자는 프로세스 중에 사용한 컴퓨팅 리소스에 대한 요금만 지불하면 됩니다.