데이터브릭스를 활용한 JetBlue의 혁신 가속화

Translated by: HaUn Kim - Original Blog Post

항공 부문에서 데이터의 역할은 오랜 역사를 가지고 있습니다. 항공사는 메인프레임 컴퓨터를 최초로 사용한 기업 중 하나이며, 오늘날 데이터가 사용되는 비즈니스의 모든 부분을 지원하도록 발전했습니다. 데이터의 양과 질 덕분에 항공은 세계에서 가장 안전한 교통수단 중 하나가 되었습니다.

현대 항공사는 여러 가지 변수가 동시에 발생하는 상황에서 균형을 맞춰야 하며, 이러한 변수들은 다음과 같습니다:

• 고객 연결: 항공편에 승객을 연결해야 합니다.
• 수하물 추적: 수하물을 항공편에 적재하고, 고객과 동일한 목적지까지 추적해야 합니다.
• 승무원 관리: 승무원들(조종사, 객실 및 지상직 승무원 등)은 미국 연방 항공청의 법적 의무와 휴식 요건을 충족하면서 비행을 위해 대기해야 합니다.
• 유지보수와 부품 재고: 항공기의 유지보수 상황을 모니터링하고, 필요한 부품을 확보해야 합니다.
• 날씨 예보: 수백 개의 지역과 노선에 대한 일기 예보가 필요하며, 이는 안전하고 효율적인 비행 운영을 위해 필수적입니다.
• 정부 규제: 정부 기관은 영공 제약을 정기적으로 업데이트하며, 공항 당국은 공항 인프라를 정기적으로 업데이트합니다. 또한, 정부 기관은 공항 슬롯 제한을 업데이트하고 지정학적 긴장의 영향을 감지합니다.
• 경제적 요인: 거시경제적 요인은 Jet-A 항공기 연료 및 지속 가능한 항공 연료(SAF)의 가격에 영향을 미칩니다.
• 기내 상황 대응: 다양한 이유로 기내 상황이 발생하면 항공사는 시스템을 조정해야 합니다.

이는 고객에게 원활한 경험을 제공하면서 최적의 비즈니스 목표를 위해 효율적인 운영을 유지하는 데 중요합니다.

항공사는 운송 인프라의 중요한 구성 요소인 항공기에 의존하면서 고객의 요구에 맞춰 변화하는 데이터의 빈도, 양, 다양성에 따라 데이터 중심적인 산업으로 성장하였습니다.

예를 들어, 뉴욕에서 런던으로 가는 한 번의 비행을 위해서는 고객, 승무원, 항공기 센서, 실시간 날씨, 실시간 항공교통관제(ATC) 데이터 등 다양한 요소를 고려하여 수백 가지의 의사결정을 내려야 합니다. 특히, 혹독한 겨울 폭풍과 같은 대규모 장애는 미국 전역의 수천 편의 항공편에 영향을 미칠 수 있으므로 항공사는 실시간 데이터와 인공지능(AI) 및 머신러닝(ML)을 활용하여 사전 예방적인 실시간 의사 결정을 내리는 것이 중요합니다. 항공기는 하루 동안 테라바이트 규모의 IoT 센서 데이터를 생성하며, 예약 또는 셀프 서비스 채널과의 고객 상호 작용, 역동적인 기상 조건 및 항공 교통 제약으로 인한 지속적인 운영 변경은 항공사에서 데이터의 복잡성, 양, 다양성 및 속도를 강조하는 몇 가지 항목에 불과합니다.

6개의 거점 도시 (보스턴, 포트 로더데일, 로스앤젤레스, 뉴욕, 올랜도, 산후안)와 세계에서 가장 바쁜 영공 회랑인 뉴욕에 항공편이 집중되어 있는 JetBlue는 2023년, 다음과 같은 계획을 가지고 있습니다:

JetBlue의 데이터 및 AI 현황

데이터의 전략적 중요성 때문에 데이터 팀은 CTO 산하의 데이터 통합, 데이터 엔지니어링, 커머셜 데이터 사이언스, 운영 데이터 사이언스, AI 및 ML 엔지니어링, 비즈니스 인텔리전스 팀 등으로 구성되어 있습니다.

현재 JetBlue의 기술 스택은 주로 Azure에 집중되어 있습니다. 멀티클라우드 데이터 웨어하우스와 레이크하우스가 동시에 실행되어 다양한 용도로 사용됩니다. 내부 및 외부 데이터는 데이터브릭스 데이터 인텔리전스 플랫폼을 통해 일괄, 준실시간, 실시간 피드의 형태로 지속적으로 보강됩니다.

데이터 엔지니어와 데이터 사이언티스트는 델타 라이브 테이블을 활용하여 데이터를 추출, 로드, 변환 (ETL) 하며, 이를 통해 광범위한 지연 시간 SLA 요건을 충족시키고 동시에 다운스트림 애플리케이션, AI 및 ML 파이프라인, BI 대시보드, 분석가 요구사항에 데이터를 공급할 수 있습니다.

인사이트는 Tableau 대시보드를 활용하여 데이터브릭스 SQL 서버리스 컴퓨팅, 빠르게 제공되는 시맨틱 계층 및/또는 배포된 ML 서비스 API에 연결되는 REST API를 사용하여 제공됩니다.

새로운 ML 제품을 배포할 때는 강력한 변경 관리 프로세스가 필요한 경우가 많습니다. 특히 데이터의 민감성과 각 의사 결정이 연방 항공 규정 및 기타 법률에 엄격하게 적용되는 비즈니스 라인에서는 더욱 그렇습니다. 이전에는 변경 관리를 위해 워크숍, 교육, 제품 피드백과 같은 전문적인 방법과 역할별 KPI 및 대시보드를 사용하여 사용자가 제품과 상호 작용할 수 있도록 지원해왔습니다.

최근 생성형 AI의 발전으로 인해 기존의 변경 관리 및 머신러닝 제품 관리 방식에는 큰 변화가 일어나고 있습니다. 이제 사용자는 정교한 대규모 언어 모델(LLM) 기술을 활용하여 자연어로 도움말을 요청하고 역할별 KPI 및 정보에 액세스할 수 있습니다. 이를 통해 사용자들은 제품을 성공적으로 확장하기 위해 필요한 교육과 제품 피드백에 소요되는 시간을 크게 줄일 수 있습니다. 더욱 중요한 것은 클릭 수가 아닌 질문의 단어 수로 측정되는 정보에 쉽게 액세스할 수 있다는 점입니다. 이는 관련 인사이트를 요약하여 액세스할 수 있도록 단순화됩니다.

JetBlue의 AI 및 ML 엔지니어링 팀은 생성형 AI와 ML을 필요에 맞게 사용할 수 있도록 기업의 과제에 집중하고 있습니다.

JetBlue는 이 아키텍처를 사용하여 4개의 비즈니스 라인에 걸친 광범위한 사용 사례에서  AI 및 ML 배포를 가속화했으며, 각 비즈니스 라인은 자체 AI 및 ML 팀을 보유하고 있습니다. 다음은 각 비즈니스 라인의 기본 기능입니다:

• 커머셜 데이터 사이언스 (CDS) - 매출 성장
• 운영 데이터 사이언스 (ODS) - 비용 절감
• AI 및 ML 엔지니어링 - 시장 출시 제품 배포 최적화
• 비즈니스 인텔리전스 - 리포팅 엔터프라이즈 확장 및 지원

각 비즈니스 라인은 JetBlue의 경영진이 정기적으로 우선순위를 정하는 여러 전략 제품을 지원하여 효과적인 전략적 성과로 이어지는 KPI를 수립합니다.

멀티 클라우드 데이터 웨어하우스 아키텍처에서 이전해야 하는 이유

데이터와 AI 기술은 선제적인 실시간 의사결정에 매우 중요합니다만, 레거시 데이터 아키텍처 플랫폼을 사용하면 이를 제대로 이행하지 못해 비즈니스 성과에 영향을 줄 수 있습니다.

JetBlue의 데이터는 주로 멀티 클라우드 데이터 웨어하우스를 통해 제공됩니다. 그러나 이러한 아키텍처는 복잡한 설계, 지연 시간의 변경, 비용의 확장성에 대한 유연성이 부족합니다.

	높은 지연 시간 - 데이터 아키텍처의 지연 시간이 10분만 발생해도 조직이 연간 수백만 달러의 비용을 지출해야 합니다.
	복잡한 아키텍처 - 여러 플랫폼과 제품 간의 여러 단계의 데이터 이동을 필요로 합니다. 이는 복잡하고 비용이 많이 들기 때문에 실시간 스트리밍을 사용하기 어렵습니다.
	높은 플랫폼 TCO - 데이터 플랫폼을 관리하기 위해 다양한 공급업체의 데이터 플랫폼과 리소스가 필요하므로 운영 비용이 증가합니다.
	확장성 - 현재 데이터 아키텍처는 많은 항공편에서 생성되는 대량의 데이터를 쉽게 확장하여 처리하기 어렵습니다.

온라인 피처 스토어의 부족으로 인해 기존 아키텍처의 지연 시간이 높아져 데이터 사이언티스트들은 확장 가능한 ML 학습 및 추론 파이프라인을 구축할 수 없었습니다. 그러나 레이크하우스의 데이터 사이언티스트와 AI 및 ML 엔지니어들은 메달리온 아키텍처에 ML 모델을 연결할 수 있는 자유를 가지게 되면서 시장 출시 전략의 효율성을 크게 높일 수 있었습니다.

기존의 멀티클라우드 데이터 웨어하우스 아키텍처로는 동적 스키마 관리 및 상태 저장/상태 비저장 변환과 같은 복잡한 아키텍처를 구현하기 어려웠습니다. 그러나 이제 데이터 사이언티스트와 데이터 엔지니어는 진입 장벽 없이 확장 가능한 델타 라이브 테이블을 사용하여 변경 작업을 수행할 수 있게 되었습니다. 또한 SQL, Python, PySpark 을 이동할 수 있는 옵션이 있어 JetBlue 데이터 팀의 생산성이 크게 향상되었습니다.

파이프라인을 빠르게 확장하기 어려워 멀티클라우드 데이터 웨어하우스에서는 확장 가능한 오픈 소스 설계가 부족했습니다. 이로 인해 파이프라인 장애 발생 시 복잡한 근본 원인 분석(RCA)이 필요했고, 비효율적인 테스트/문제 해결, 그리고 궁극적으로 더 높은 비용 (TCO) 등이 야기되었습니다. 

데이터 팀은 MCDW와 데이터브릭스의 컴퓨팅 비용을 전환 기간 동안 면밀히 추적했는데, 실시간 및 대용량 데이터 피드가 더 많이 활성화되어 사용되면서 기존 멀티클라우드 데이터 웨어하우스의 ETL/ELT 비용에 비해 낮은 선형적인 비율로 증가했습니다.

데이터 거버넌스는 모든 조직에서 생성형 AI와 머신러닝을 배포하는 데 있어 가장 큰 장애물입니다. 규제가 엄격한 비즈니스 분야에서는 중요한 데이터와 인사이트에 대한 역할 기반 액세스가 면밀히 모니터링되기 때문에 효과적인 데이터 거버넌스 절차에 대한 자부심이 높습니다. 그러나 매개변수가 1000억 개 이상인 정교한 시스템인 OpenAI의 chatGPT와 같이 선별된 임베딩의 필요성은 조직의 데이터 거버넌스를 복잡하게 만듭니다. 효과적인 생성형 AI 거버넌스를 위해서는 OpenAI의 임베딩, 데이터브릭스의 Dolly 2.0을 통한 빠른 엔지니어링, 그리고 JetBlue의 오프라인/온라인 문서 리포지토리의 조합이 필요합니다.

기존의 멀티 클라우드 데이터 웨어하우스 아키텍처

레이크하우스 아키텍처의 영향 

모든 스트리밍 사용 사례의 중앙 허브 역할을 하는 데이터브릭스 데이터 인텔리전스 플랫폼을 통해 JetBlue는 수천 개의 속성을 실시간으로 처리하여 여러 머신러닝 및 분석 제품/인사이트를 효율적으로 제공합니다. 이러한 속성에는 항공편, 고객, 승무원, 항공 교통 및 유지보수 데이터가 포함됩니다.

레이크하우스는 델타 라이브 테이블을 통해 실시간 데이터를 제공하여 과거 훈련 및 실시간 추론 ML 파이프라인을 개발할 수 있도록 지원합니다. 이러한 파이프라인은 JetBlue 시스템 네트워크의 스냅샷을 지속적으로 업데이트하는 ML 서비스 API로 배포됩니다. 급변하는 날씨, 이상 징후가 있는 항공기 정비 이벤트, 법적 근무 한도에 근접한 승무원, 도착/출발에 대한 ATC 제한 등 다양한 제어 가능 및 제어 불가능한 변수로 인해 발생하는 모든 운영 영향은 네트워크를 통해 전파됩니다. 이를 통해 예측된 알림에 따라 선제적인 대응이 가능합니다. 

Current Lakehouse Architecture

실시간 날씨 스트림, 항공기 센서, FAA 데이터 피드, JetBlue 운항 정보 등은 BlueSky라는 운영 시스템에 사용되는데, BlueSky는 효율적이고 안전한 운항을 위해 디지털 트윈을 조율하는 세계 최초의 AI 및 ML 운영 체제입니다. JetBlue는 동적 가격 책정, 고객 추천 엔진, 공급망 최적화, 고객 감정 NLP 등 다양한 업종에 걸쳐 10개 이상의 ML 제품(각 제품별로 여러 모델)을 생산하고 있습니다.

BlueSky 운항 디지털 트윈은 현재 데이터 팀이 JetBlue에서 구현 중인 가장 복잡한 제품 중 하나이며, JetBlue의 항공 운항 예측 및 시뮬레이션 기능의 근간을 형성합니다.

현재 BlueSky는 점진적으로 도입되고 있으며, 선제적인 최적의 의사 결정을 통해 JetBlue의 운영 효율성을 향상시키고 있습니다. 이를 통해 고객 만족도, 승무원 만족도, 연료 효율성 및 항공사 비용 절감을 실현하고 있습니다.

또한, 이 팀은 Microsoft Azure OpenAI API와 데이터브릭스를 활용하여 BlueSky와 유사한 제품의 성장을 위한 강력한 솔루션을 개발하기 위해 최소한의 변경 관리와 효율적인 ML 제품 관리를 충족하는 생성형 AI 거버넌스를 이용하였습니다.   

Microsoft Azure OpenAI API 서비스는 벡터 데이터베이스 문서 저장소에 저장하기 위한 샌드박스가 적용된 임베딩 다운로드 기능을 제공합니다. 또한, 데이터브릭스의 Dolly 2.0은 벡터 데이터베이스 문서 스토어에 있는 문서에 유니티 카탈로그 역할 기반 액세스를 제공하여 빠른 엔지니어링을 위한 메커니즘을 제공합니다. 이를 통해 모든 JetBlue 사용자는 Azure AD SSO 프로토콜과 데이터브릭스 유니티 카탈로그 액세스 제어 목록(ACL)에 의해 보호되는 동일한 챗봇에 액세스할 수 있습니다. BlueSky의 모든 제품에는 임베디드 LLM이 포함되어 있으며, 이는 BlueSky의 실시간 디지털 트윈을 구성하는 요소입니다.

JetBlue는 레이크하우스의 데이터를 활용하여 데이터브릭스에 AI 및 ML 엔터프라이즈 제품을 배포함으로써 2년 만에 상대적으로 높은 투자 수익률(ROI) 배수를 달성했습니다. 또한, 데이터 사이언스 및 분석 팀은 데이터브릭스를 통해 레이크하우스, MLflow 및 데이터브릭스 SQL을 사용하여 데이터 파이프라인, 작업 및 ML 모델을 신속하게 프로토타이핑, 반복 및 출시할 수 있었습니다.

JetBlue의 팀은 앞으로의 미래에 대한 기대감을 가지며 데이터브릭스가 제공하는 최신 첨단 기능을 구현하기 위해 노력하고 있습니다. 이러한 진보된 기능을 활용하여 우리의 고객 경험을 새로운 차원으로 끌어올리고, 우리가 제공하는 전체적인 가치를 지속적으로 향상시키는 것이 목표입니다. 우리의 주요 목표 중 하나는 총소유비용(TCO)을 낮추어 고객들이 투자에 대한 최적의 수익을 얻을 수 있도록 하는 것입니다. 또한, 2023 데이터 + AI 서밋에 참여하여 기조연설에서 레이크하우스의 강점에 대해 논의하고, 흥미로운 실시간 AI 및 ML 디지털 트윈 여정에 대해 자세히 알아보고, 대규모 언어 모델의 복잡성을 어떻게 극복했는지에 대한 인사이트를 공유할 계획입니다.

여기에서 저희의 이야기를 담은 동영상을 시청하세요.