데이터브릭스 마켓플레이스에서 사전 구축된 산업 솔루션으로 AI 여정 시작하기

모든 조직은 데이터 마켓플레이스에서 얻은 내부 데이터든 외부에서 얻은 타사 데이터든 데이터에서 가치를 얻고자 합니다. 여러 산업 분야의 조직은 안전한 데이터 공유와 협업을 통해 고객 개인화부터 환자 의료 서비스 경험, 공급망 및 제조 최적화, 위험 관리에 이르기까지 다양한 산업 분야에서 새로운 인사이트를 창출하고 혁신을 실현할 수 있는 이점을 누릴 수 있습니다.

데이터브릭스 레이크하우스 플랫폼에서의 협업은 데이터, 분석, AI 전반에 걸친 데이터 공유를 위한 최초의 오픈 소스 접근 방식인 Delta Sharing을 기반으로 합니다. 최근 Delta Sharing의 정식 출시와 함께 Delta Sharing 기반으로 구축된 데이터브릭스 마켓플레이스의 정식 출시를 발표했습니다. 데이터브릭스 마켓플레이스는 데이터 세트와 노트북을 포함한 데이터 자산을 공유하고 교환할 수 있는 오픈 마켓플레이스입니다. 데이터브릭스의 오픈 마켓플레이스는 데이터 소비자와 데이터 공급자로 구성된 방대한 생태계를 한데 모아 클라우드, 지역, 플랫폼에 걸쳐 다양한 데이터 및 AI 제품과 협업할 수 있도록 지원합니다. 6월에 출시된 이후, 데이터브릭스 마켓플레이스는 80개 이상의 공급업체가 제공하는 500개 이상의 제품을 통해 고객이 단순한 데이터 이상의 것을 발견하고, 제품을 더 빠르게 평가하고, 조직의 데이터 및 AI 이니셔티브를 발전시킬 수 있는 혁신을 실현할 수 있도록 지원합니다.

오늘, 데이터브릭스 마켓플레이스에 무료로 즉시 액세스할 수 있는 산업별 솔루션 액셀러레이터가 추가된다는 기쁜 소식을 알려드립니다. 이러한 솔루션 액셀러레이터는 마켓플레이스에서 이미 제공되는 데이터 자산에 추가하여 금융 서비스, 의료 및 생명 과학, 통신, 미디어 및 엔터테인먼트, 소매 및 소비재, 제조 등 특정 산업에 맞게 미리 빌드된 코드, 샘플 데이터 및 기타 시간 절약형 도구를 제공합니다.

데이터브릭스 솔루션 액셀러레이터로 더 빠르게 혁신하기

비즈니스의 속도가 빨라지면서 조직은 더 빠른 속도로 데이터에서 추출한 가치를 극대화해야 합니다. 데이터 공유와 협업을 통해 조직은 모범 사례와 데이터 기반 권장 사항의 이점을 활용하여 반복적인 작업 없이 인사이트를 얻는 시간을 단축할 수 있습니다.

데이터브릭스 솔루션 액셀러레이터는 조직이 일반적인 미션 크리티컬 산업 사용 사례에서 신속한 결과를 도출하는 데 도움이 되는 모범 사례에 기반한 완전한 기능의 솔루션입니다. 이러한 솔루션 액셀러레이터에는 시작 방법에 대한 비즈니스 컨텍스트를 제공하는 단계별 지침과 함께 구현 및 사용법을 자세히 설명하는 사전 구축된 노트북 및 기타 기술 자산이 포함되어 있습니다. 솔루션 액셀러레이터를 사용하면 아이디어 발굴, 설계, 개발 및 테스트에 소요되는 시간을 절약할 수 있으며, 2주 만에 Proof of Concept를 수행할 수 있습니다.

전 세계 기업을 위해 데이터와 AI를 대중화한다는 사명의 일환으로, 데이터브릭스는 마켓플레이스에서 데이터 실무자를 위해 이 초기 솔루션 액셀러레이터 세트를 선별했습니다. 데이터브릭스 주도의 개발 외에도 ISV 및 SI 파트너로 구성된 개방형 커뮤니티가 솔루션 액셀러레이터 코드베이스에 기여하고 있으며, 각자의 도메인 깊이와 데이터브릭스 레이크하우스 플랫폼의 장점을 결합하여 데이터와 AI를 비즈니스 프로세스에 통합하고 있습니다.

아래에서 데이터브릭스 마켓플레이스의 솔루션 액셀러레이터에 대해 자세히 알아보고, 자체 데이터브릭스 작업 공간에서 사용을 시작할 수 있습니다:

커뮤니케이션, 미디어 및 엔터테인먼트 산업

커뮤니케이션, 미디어, 엔터테인먼트(CME) 기업들은 비디오, 이미지, 오디오 등 비정형 데이터의 가치를 최대한 추출하여 시청자 경험을 개인화하고, 광고 및 마케팅 비용을 최적화하며, 새로운 수익 창출 기회를 창출하고자 합니다.

이러한 여정에 있는 기업들을 위한 몇 가지 주요 솔루션 액셀러레이터를 소개합니다:

• 클린랩 스튜디오로 LLM 개선하기: 잘못된 데이터는 의도 인식, 엔티티 인식, 시퀀스 생성과 같은 작업에서 대규모 언어 모델(LLM)의 학습 및 평가를 방해합니다. 실제 데이터 세트에는 7~50%의 주석 오류가 포함되어 있는 것으로 밝혀졌습니다. Databricks와 클린랩 스튜디오의 공동 솔루션 액셀러레이터는 모델 아키텍처, 하이퍼파라미터 또는 학습 프로세스를 변경하지 않고도 데이터 중심 AI(DCAI)가 학습 데이터의 성능을 개선하여 LLM 성능을 37% 향상시킬 수 있는 방법을 보여 줍니다.
• 실시간 입찰(RTB) 최적화하기: RTB는 프로그래매틱 미디어 구매의 하위 카테고리입니다. RTB의 가치는 퍼블리셔(인벤토리 및 단가 관리 개선)와 광고주(조회 가능성이 높은 노출에만 입찰하여 광고 효과를 높일 수 있음) 모두에게 더 높은 투명성을 제공한다는 것입니다. 광고주는 조회 가능성을 예측할 수 있는 안정적이고 확장 가능하며 효율적인 파이프라인을 구축함으로써 마케팅 예산을 어디에 지출해야 하는지 보다 정확하게 파악하여 미디어 지출을 미세 조정하고 ROI를 개선하며 캠페인 효과를 높일 수 있습니다.
• 미디어 믹스 모델링(MMM): MMM은 기업이 여러 채널에 걸친 마케팅 캠페인의 영향을 파악하고 측정할 수 있도록 지원하는 데이터 기반 방법론입니다. MMM은 기업이 광고 및 마케팅 전략에 대해 더 나은 정보에 기반한 의사 결정을 내릴 수 있도록 도와줍니다. 특히 다양한 채널의 데이터를 통합하고, 참여와 매출 증대를 위한 마케팅 효과를 측정하고, 채널 시나리오를 시뮬레이션하여 캠페인 성과를 개선하고, 미디어 지출 할당을 최적화할 수 있습니다.
• 통신 고객 이탈 예측을 위한 그래프 분석: 그래프 분석은 고객 행동과 상호 작용에 대한 귀중한 인사이트를 제공하여 네트워크 고유의 관계와 연결을 활용하여 보다 정확한 고객 이탈 예측과 사전 예방적 고객 유지 전략을 가능하게 합니다. 대규모 통화 네트워크 그래프를 분석하고, 고객 이탈을 예측하는 모델을 만들고, 통신 회사가 고객을 유지하고 전반적인 고객 경험을 개선하기 위해 사전 예방적인 조치를 취할 수 있는 방법을 확인할 수 있습니다.

의료 및 생명 과학

의료 및 생명과학(HLS) 조직은 연구, 운영, 환자 데이터를 강력한 분석 및 AI 기능과 융합하고자 합니다. 이를 통해 HLS 조직은 최저의 비용으로 최대의 투자 보호와 함께 더 나은 환자 경험을 제공하고 더 나은 결과를 얻을 수 있습니다.

오늘날 솔루션 액셀러레이터는 이러한 조직이 핵심 사용 사례 전반에서 데이터의 가치 실현 시간을 단축할 수 있도록 지원합니다. 예를 들어, Providence Health는 사전 학습된 딥러닝 모델을 사용하여 7억 개의 환자 기록에 대한 비식별화 파이프라인을 구축하기 위해 Databricks 및 John Snow Labs와 협력했습니다. 특히 수억 개의 기록 데이터와 매일 증가하는 임상 전자의무기록(EMR) 데이터를 비식별 처리하고, 의료 연구와 새로운 치료법 개발을 지원하기 위해 보호 대상 건강 정보(PHI)를 자동으로 제거했습니다. (프로비던스 헬스와 함께하는 DAIS 2022 세션 보기).

다음은 연구 개발, 임상 개발 및 환자 분석 전반에 걸쳐 HLS 사용 사례를 지원하기 위해 데이터를 큐레이팅하고 분석하는 몇 가지 솔루션 액셀러레이터입니다:

• dbignite와의 FHIR 상호 운용성: 의료 서비스는 지점 간 HL7 인터페이스부터 FHIR(Fast Healthcare Inteorperable Resources)과 같은 API에 이르기까지 상호 운용 가능한 표준을 기반으로 실행됩니다. 이 솔루션 액셀러레이터를 통해 조직은 데이터브릭스 레이크하우스 플랫폼을 활용하여 EHR 데이터를 사용하여 환자 결과를 분석할 수 있습니다. 이 솔루션은 환자, 만남, 상태와 같은 FHIR 리소스를 추출하여 탐색적 데이터 분석에 사용할 수 있는 데이터 세트를 생성하는 데 도움을 줍니다.
• 자동화된 PHI 제거: 여러 조직에서 임상 연구를 공동으로 진행하려면 1996년 의료정보이동 및 책임에 관한 법률(HIPAA)에 따라 PHI와 매우 민감한 데이터 요소(예: 이름, 성, 생년월일 등)의 비식별처리가 필요할 수 있습니다. John Snow Labs와의 공동 솔루션 액셀러레이터는 의료용 자연어 처리(NLP) 모델을 사용하여 이미지 및 PDF와 같은 비정형 데이터에 포함된 민감한 PHI를 자동으로 탐지합니다. 추출된 데이터는 레이크하우스에 저장되며, 팀은 사전 학습된 모델을 사용하여 데이터를 쉽게 제거, 난독화 또는 마스킹하여 대규모의 다운스트림 협업 및 분석을 수행할 수 있습니다.
• 디지털 병리 이미지 분석: 종양 증식 속도 또는 성장은 환자 예후를 예측하는 데 중요한 바이오마커입니다. 이 솔루션 액셀러레이터에서는 데이터브릭스 레이크하우스 플랫폼을 사용하여 전체 슬라이드 이미지(WSI)에서 이미지 분할 및 전처리를 수행하는 방법에 대한 단계별 가이드와 WSI를 통해 전이 확률 맵을 생성하는 이진 분류기를 훈련하는 방법을 제공합니다.

사이버 보안

현대의 사이버 보안 팀은 온프레미스 및 멀티클라우드 공간을 모두 방어하기 위해 적응하고 범위를 확장해야 합니다. 하지만 사일로화된 도구를 함께 사용하는 데 따른 비용과 복잡성으로 인해 통합적이고 효과적인 위협 탐지 및 대응에 어려움을 겪을 수 있습니다.

다음은 사이버 보안 팀을 위한 솔루션 액셀러레이터로 체계화한 몇 가지 기술입니다:

• IOC 매칭: 멀티클라우드, 멀티지역 환경의 사이버 보안은 파편화된 보안 제어, 데이터 분산 및 규정 준수와 관련된 문제를 안고 있습니다. 이 솔루션 가속기는 레이크하우스가 여러 클라우드와 지역에 저장된 데이터에 대해 침해 지표(IOC) 탐지 규칙을 실행하여 보안 관리를 중앙 집중화할 수 있는 방법을 보여줍니다. 이를 통해 고객은 이그레스 비용을 제한하고, 균일한 액세스 제어를 배포하고, 분산된 보안 검색을 실행하고, 일관된 거버넌스 관행을 촉진할 수 있습니다.
• DNS를 통한 위협 탐지: 이 액셀러레이터를 사용하면 Delta, Spark 및 MLflow를 사용하여 DNS 트래픽 로그에 대한 ML 모델을 구축하여 스트리밍 위협 인텔리전스를 강화하고 고급 분석을 적용하여 DNS 이상을 탐지하고 악의적인 공격을 방지할 수 있습니다. 페타바이트 규모로 DNS 분석을 수행하면 탐지 및 대응 시간을 단축하고 악의적인 공격을 방지할 수 있습니다.
• Graphistry를 사용한 사고 조사: 이 솔루션 가속기에서는 SOC 분석가, 인시던트 대응자, 위협 헌터가 데이터브릭에서 그래프 분석을 사용하여 인시던트 또는 경보를 조사하고, 영향을 받은 호스트와 사용자를 파악하고, 해결 단계를 식별하는 방법을 보여드립니다. 분석가는 위협 헌팅 연습에서 얻은 단서를 조사하거나 위협 인텔리전스 또는 보도 자료를 통해 위협을 찾을 수 있습니다.

위에서 설명한 솔루션 액셀러레이터를 마켓플레이스에서 확인하여 데이터브릭스 작업 공간에 무료로 설치하세요.

이 데모를 시청하고 데이터브릭스 마켓플레이스에서 솔루션 액셀러레이터를 시작하는 방법을 알아보세요:

데이터브릭스 마켓플레이스에서 솔루션 액셀러레이터 시작하기

• 데이터브릭스 마켓플레이스의 데모를 보고 시작하는 방법을 알아보세요.
• DAIS 2023의 데이터브릭스 마켓플레이스 세션 시청하기: Going beyond data and applications.
• 데이터브릭스 마켓플레이스 문서에 대해 자세히 알아보세요.
• 성공적인 데이터 공유를 위한 전략과 모범 사례에 대한 업계 리더의 데이터 공유 웨비나를 시청하세요.
• 데이터 공유에 대한 새로운 접근 방식 (e북 다운로드하기) - 두 번째 버전을 다운로드하세요.