JUNE 27-30

JOIN NOW

용어집

트랜잭션이란 무엇입니까? 데이터베이스와 데이터 스토리지 시스템이라는 맥락에서 트랜잭션이란 한 단위의 작업으로 취급되는 모든 작업을 말합니다. 트랜잭션은 완전히 완료되기도 하고 전혀 완료되지 않을 수도 있으며, 스토리지 시스템을 한결같은 상태로 둡니다. 고전적인 예는 다음과 같습니다. {. . .}
경사하강법(Gradient descent)은 머신 러닝과 딥러닝 알고리즘에서 가장 보편적으로 쓰이는 최적화 방식입니다. 머신 러닝 모델을 교육하는 데 쓰입니다. 경사하강법의 유형 {. . .}
대체 데이터란 무엇입니까? 대체 데이터(Alternative data)는 남들이 사용하지 않는, 비일반적인 정보 출처를 가리키는 대안적(alternative) 데이터 소스를 사용해 수집한 정보입니다. 대체 데이터를 분석하면 업계의 평범한 데이터 소스가 제공할 수 있는 범위를 벗어난 인사이트를 {. . .}
이상치 탐지(Anomaly Detection)은 나머지 관측 결과와는 통계적으로 달라 의심을 유발할 수 있는 드문 이벤트나 관측 결과를 알아보는 기법입니다. 그러한 “변칙” 행동은 보통 신용카드 사기 행위, 시스템 오류나 사이버 공격 등 일종의 문제점으로 해석될 때가 많습니다. {. . .}
What is Apache Hive? Apache Hive is open-source data warehouse software designed to read, write, and manage large dat {. . .}
Apache Kudu란 무엇입니까? Apache Kudu는 Apache Hadoop용으로 개발한 무료, 오픈 소스 열 기반 스토리지 시스템입니다. 각각의 행에 낮은 레이턴시 {. . .} 구조적 데이터용 엔진입니다.
Apache Kylin이란 무엇입니까? Apache Kylin은 인터랙티브 분석 빅 데이터에 적합한 분산형 오픈 소스 온라인 분석 처리(Online Analytics Processing, OLAP) 엔진입니다. Apache Kylin은 Hadoop/Spark에서 SQL 인터페이스와 다차원 분석(OLAP)을 제공하기 위해 {. . .}
Apache Spark란 ? Apache Spark는 빅데이터 워크로드에 쓰이는 오픈 소스 분석 엔진입니다. 배치는 물론 실시간 분석과 데이터 처리 워크로드도 처리할 수 있습니다. Apache Spark는 2009년 캘리포니아 대학교 버클리 캠퍼스에서 연구 프로젝트로 시작되었습니다. {. . .}
Apache Spark as a Service란 무엇입니까? Apache Spark는 고속 실시간 대규모 데이터 처리를 위한 오픈 소스 클러스터 컴퓨팅 프레임워크입니다.Spark는 2009년 UC 버클리 AMPLab에서 탄생한 이래 큰 성장을 이루었습니다. 지금은 가장 큰 오픈 소스 커뮤니티로 평가되며 {. . .}
인공 신경망이란 무엇입니까? 인공 신경망(Artificial Neural Network, ANN)은 사람의 뇌 속 뉴런의 작용을 본떠 패턴을 구성한 컴퓨팅 시스템의 일종입니다. 인공 신경망은 어떻게 작동합니까? 인공 신경망은 가중치를 적용한 방향성 {. . .}
자동화 편향이란 무엇입니까? 자동화 편향(Automation bias)은 자동 보조 도구나 의사 결정 지원 시스템에 지나치게 의존하는 것을 말합니다. 자동 의사 결정 보조 도구가 널리 보급되면서 중환자실이나 항공기 조종석과 같이 중대한 의사 결정을 내려야 하는 상황에서 이런 도구를 이용하는 사례가 점점 흔해지고 {. . .}
베이지안 신경망이란 무엇입니까? 베이지안 신경망(Bayesian Neural Networks, BNN)은 과적합(overfitting)을 제어하기 위해 사후 추론을 사용해 표준 네트워크를 연장한 것을 가리킵니다. 넓은 의미에서 보면 베이지안 방식은 통계적인 방법론을 사용하므로 모든 것에 확률이 {. . .}
데이터와 빅데이터 분석의 차이 하둡이 발명되기 전에는 현대식 스토리지와 컴퓨팅 시스템의 기저를 이루는 기술이 비교적 기본적이어서 한계가 {. . .}
생물정보학(Bioinformatics)이란 생물학 데이터를 모은 대규모 컬렉션에서 연산을 통해 지식을 추출하는 학문 분야를 말합니다. {. . .}
Spark SQL의 핵심은 Catalyst Optimizer입니다. 이것은 지능형 프로그래밍 언어 기능(예: Scala의 패턴 매칭과 quasi quote 등)을 참신한 방식으로 활용해 확장할 수 있는 쿼리 최적화 프로그램을 구축합니다. Catalyst는 Scala로 쓴 기능성 프로그래밍 구조를 기반으로 하며 고안할 때 {. . .}
복합 이벤트 처리(CEP)란 무엇입니까? 복합 이벤트 처리(Complex event processing [CEP])는 다른 말로 이벤트, 스트림 또는 이벤트 스트림 처리라 하며 기술을 사용해 데이터를 쿼리한 다음 데이터베이스 내에 저장하거나, 경우에 따라서는 애초에 전혀 저장하지 않고 쿼리하는 것을 말합니다. 복합 이벤트 처리는 {. . .}
지속형 애플리케이션(Continuous Application)은 실시간으로 데이터에 반응하는 종단간(E2E) 애플리케이션입니다. 특히 개발자의 경우 별도의 시스템에서 현재 처리 중인 지속형 애플리케이션의 여러 측면(예를 들어 쿼리 제공, 배치 작업과의 상호작용 등)을 지원하기 위해 단 한 가지 프로그래밍 인터페이스를 사용하고자 합니다. {. . .}
딥러닝에서 컨볼루셔널 신경망(Convolutional Neural Network, CNN 또는 ConvNet)이란 심층 신경망의 한 등급으로, 보통 이미지 속에 존재하는 패턴을 인지하는 데 쓰이지만 이외에 공간 데이터 분석, 컴퓨터 비전, 자연어 처리, 신호 처리 및 여타 다양한 용도에도 쓰입니다. {. . .}
데이터 분석 플랫폼이란 무엇입니까? 데이터 분석 플랫폼은 용량이 크고 복잡한 동적 데이터를 대상으로 분석을 수행해야 하는 서비스와 기술로 구성된 에코시스템입니다. 이것을 통해 회사에 속한 다양한 출처로부터 얻은 데이터를 검색, 조합, 데이터와 상호작용을 주고받기도 하고 탐색, 표시할 수 있습니다. {. . .}
데이터 거버넌스란 무엇입니까? 데이터 거버넌스는 데이터가 가치를 창출하는지 확인하는 감독 행위이며, 비즈니스 전략을 지원하는 활동입니다. 데이터 거버넌스는 단순한 도구나 프로세스가 아닙니다. 사람, 프로세스, 기술, 데이터와 관련하여 비즈니스 목표와 목적을 지원하는 {. . .}
데이터 레이크하우스란 무엇입니까? 데이터 레이크하우스는 데이터 레이크의 유연성, 비용 효율성과 규모에 데이터 웨어하우스의 데이터 관리와 ACID 트랜잭션을 합한 새로운 오픈 데이터 관리 아키텍처로, {. . .}
데이터 마트란 무엇입니까? 데이터 마트는 하나의 데이터 팀, 커뮤니티 또는 사업부(예: 마케팅 또는 엔지니어링 부서)의 특정한 요구 사항을 충족하도록 설계뙨 테이블 세트가 포함된 큐레이션 데이터베이스입니다. 일반적으로 규모가 작은 편이고 데이터 웨어하우스보다 {. . .}
데이터 공유란 무엇입니까? Data sharing은 하나 또는 여러 명의 고객에게 같은 데이터를 제공할 수 있는 기능입니다. 요즘 들어서는 어느 회사에서나 지속적으로 늘어나는 방대한 데이터 자체가 전략적 자산이 되었습니다. 조직 안팎으로 데이터를 공유하는 것은 새로운 사업 기회를 발견할 수 있도록 {. . .}
데이터 볼트란 무엇입니까? 데이터 볼트는 엔터프라이즈 규모 분석을 위한 데이터 웨어하우스를 구축하는 데 사용하는 데이터 모델링 설계 패턴입니다. 데이터 볼트는 허브, 링크, 위성, 이렇게 세 가지 유형의 엔터티가 있습니다. 허브는 핵심 비즈니스 개념을 나타냅니다. {. . .}
데이터 웨어하우스란 무엇입니까? 데이터 웨어하우스는 여러 소스의 현재 및 과거 데이터를 비즈니스에서 쉽게 인사이트와 보고서를 얻을 수 있도록 저장하는 데이터 관리 시스템입니다. 일반적으로 데이터 웨어하우스는 비즈니스 인텔리전스(BI), 보고 및 {. . .}에 사용합니다.
Databricks Runtime은 Databricks에서 관리하는 머신 클러스터에서 실행되는 소프트웨어 아티팩트 세트입니다. 여기에는 Spark도 포함하지만 이외에도 여러 구성요소와 업데이트를 추가하여 빅데이터 분석의 사용성, 성능과 보안을 대폭 개선해줍니다. 주된 차별점은 {. . .}
DataFrame이란 무엇입니까? DataFrame이란 데이터를 행과 열로 구성된 2차원 표(스프레드시트와 비슷)로 정리하는 데이터 구조입니다. DataFrame은 최신 데이터 분석에서 가장 보편적으로 쓰이는 데이터 구조 중 하나입니다. 유연하고 직관적인 방식으로 {. . .}
Dataset는 Spark의 Java 및 Scala용 구조적 API의 type-safe 버전입니다. 이 API는 Python과 R에서는 이용할 수 없는데, 이 둘은 동적 타이핑(dynamically typed) 언어이기 때문입니다. 하지만 Scala와 Java에서 대형 애플리케이션을 쓰는 데에는 아주 강력한 툴입니다. 다시 상기해보자면, DataFrames는 분산형 {. . .}
딥러닝이란 무엇입니까? 딥러닝은 머신 러닝의 하위 집합으로, 특히 사람의 뇌 구조와 기능에서 영감을 얻은, 알고리즘을 포함한 대량의 데이터를 다룹니다. 그래서 딥러닝 모델을 종종 심층 신경망이라고 부르는 것입니다. 그래서 {. . .}
수요 예측이란 무엇인가요? 수요 예측은 소비자 수요(=미래의 수익)를 예측하는 과정입니다. 특히, 쇼핑객이 구매할 제품군을 정량적 데이터와 정성적 데이터를 사용하여 예측합니다. {. . .}
밀집 텐서는 인접한 순차적 메모리 블록에 값을 저장하는데, 이곳에 모든 값이 표시됩니다. 텐서, 즉 다차원 어레이는 매우 다양한 다차원 데이터 분석 애플리케이션에서 사용됩니다. 텐서 연산을 수행할 줄 아는 소프트웨어 제품은 많습니다. {. . .}
What is a Digital Twin? The classical definition of of digital twin is; ””A digital twin is a virtual model designed to accurately reflect a physical object.”” – IBM {. . .}
DNA 서열이란 무엇입니까? DNA 서열은 DNA(deoxyribonucleic acid, 디옥시리보 핵산)의 뉴클레오타이드(nucleotides)의 정확한 순서를 판별하는 과정입니다.  DNA 서열은 네 가지 화학적 기본 요소인 아데닌, 구아닌, 사이토신, 티아민 등 일명 '염기'의 순서를 정하는 것으로, 이는 {. . .}
유전체학(Genomics)은 유기체의 유전체(게놈) 서열, 분석과 관련된 유전학의 한 분야입니다. 이 학문의 주된 목적은 DNA의 전체 서열, DNA를 구성하는 원자의 구성이나 여러 DNA 원자 사이의 화학적 결합 형태를 알아내는 데 있습니다. 유전체학이라는 분야의 관심사는 {. . .}
What Is Hadoop? So what is meant by “Hadoop”? Or, more importantly, what does “Hadoop” stand for? Well, it stands for High Availability Distributed Object Oriented Platform. And that’s exactly what Hadoop technology offers developers - high availability via parallel distributi {. . .}
하둡 클러스터란 무엇입니까? Apache Hadoop은 오픈 소스, Java 기반 소프트웨어 프레임워크이자 병렬식 데이터 처리 엔진입니다. 이를 이용하면 빅데이터 분석 처리 작업을 알고리즘(예: MapReduce)을 사용해 병렬식으로 수행할 수 있는 {. . .}
HDFS HDFS (Hadoop Distributed File System) is the primary storage system used by Hadoop applications. This open source framework works by rapidly transferring data between nodes. It’s often used by companies who need to handle and store big data. HDFS is a key component of many Hadoop {. . .}
하둡 에코시스템이란 무엇입니까? Apache Hadoop 에코시스템이란 Apache Hadoop 소프트웨어 라이브러리를 이루는 다양한 구성 요소를 말합니다. 오픈 소스 프로젝트는 물론 광범위한 보조 툴이 많습니다. 하둡 에코시스템 중 가장 잘 알려진 {. . .}
컴퓨팅에서 해시 테이블 [해시 맵]은 키 [고유한 문자열이나 정수]를 기반으로 개체에 사실상 직접적인 액세스를 제공하는 데이터 구조를 말합니다. 해시 테이블은 해시 함수를 사용해 인덱스를 버킷이나 슬롯 어레이로 연산하는데, 여기에서 원하는 값을 찾을 수 있습니다. 여기에서 {. . .}
Hive 날짜 함수란 무엇입니까? Hive는 수많은 기본 내장 함수를 제공하여 데이터 처리와 쿼리에 도움이 됩니다. 이런 함수가 제공하는 기능 중에는 문자열 조작, 날짜 조작, 타입 변환, 조건 연산자, 수학적 함수 등이 있으며 {. . .}
Hosted Spark란 무엇입니까? Apache Spark는 속도, 사용 편이성과 고급 분석을 중심으로 구축된 빅데이터용 고속, 일반 클러스터 컴퓨팅 시스템입니다. 2009년에 UC 버클리에서 처음 구축되었습니다. Scala, Java, Python과 R에서 고수준 API를 제공하며 최적화된 엔진 {. . .}
Jupyter Notebook이란 무엇입니까? Jupyter 노트북은 오픈 소스 웹 애플리케이션으로, 데이터 사이언티스트가 라이브 코드, 식 등의 문서를 만들고 {. . .} 지원합니다.
Keras 모델이란 무엇입니까? Keras는 Theano와 Tensorflow 기반의 딥러닝용 고차원 라이브러리입니다. Python 언어로 쓰여 광범위한 딥러닝 모델을 깔끔하고 편리하게 제작할 수 있습니다.  {. . .}
리테일용 레이크하우스란 무엇인가요? 리테일용 레이크하우스는 Databricks에서 첫 번째로 출시한 업종별 레이크하우스입니다. 솔루션 액셀러레이터, 데이터 공유 기능과 파트너 에코시스템을 통해 소매업체가 빨리 운영을 정상화하도록 돕습니다. {. . .}
Lambda 아키텍처란 무엇입니까? Lambda 아키텍처는 엄청난 대량의 데이터(즉 “빅데이터”)를 처리하는 방식의 일종으로, 하이브리드 방식으로 일괄 처리나 스트림 처리 방식을 이용할 수 있게 해줍니다. Lambda 아키텍처는 임의 연산 문제를 해결하는 데 {. . .}
Apache Spark의 머신 러닝 라이브러리(Machine Learning Library, MLlib)는 단순성, 확장성, 다른 툴과의 통합을 염두에 두고 고안하였습니다. 데이터 사이언티스트는 Spark의 확장성, 언어 호환성과 속도를 활용하여 데이터 문제점과 모델에만 집중할 수 있습니다. 즉 복잡한 문제를 해결하는 것이 아니라 {. . .}
머신 러닝 모델이란 무엇입니까? 머신 러닝 모델이란 이전에 접한 적 없는 데이터 세트에서 패턴을 찾거나 이를 근거로 결정을 내릴 수 있는 프로그램입니다. 예를 들어 자연어 처리의 경우, 머신 러닝 모델은 파싱을 통해 이전에 접한 적 없는 {. . .}
Managed Spark란 무엇입니까? Managed Spark 서비스를 이용하면 일괄 처리, 쿼리, 스트리밍과 머신 러닝 등을 위한 오픈 소스 데이터 툴을 유리하게 활용할 수 있습니다. 이러한 자동화 기능을 이용하면 필요에 따라 신속하게 클러스터를 만들어 간편하게 관리하고, {. . .}
What is MapReduce? MapReduce is a Java-based, distributed execution framework within the Apache Hadoop Ecosystem.  It takes away the complexity of distributed programming by exposing two processing steps that developers implem {. . .}
Medallion 아키텍처란 무엇입니까? Medallion 아키텍처는 {. . .}을 목표로 레이크하우스에서 논리적으로 데이터를 정리하는 데 사용하는 데이터 설계 패턴입니다.
일반적으로 머신 러닝 알고리즘을 실행할 때는 전처리, 기능 추출, 적합한 모델 찾기(model fitting) 과 검증 단계로 구성된 시퀀스를 거쳐야 합니다. 예를 들어 텍스트 문서를 분류하는 경우, 텍스트 조각화와 정리, 특징 추출, 클래스 교육 {. . .}
MLOps란 무엇입니까? MLOps는 머신 러닝 작업(Machine Learning Operations)을 뜻합니다. MLOps는 머신 러닝 모델을 프로덕션으로 전환하는 프로세스를 간소화하고, 뒤이어 이를 유지관리하고 모니터링하는 데 주안점을 둔 머신 러닝 엔지니어링의 핵심 기능입니다. MLOps는 협업 기능이며, 주로 {. . .}
모델 리스크 관리란 잘못된 모델이나 잘못 사용된 모델을 근거로 한 의사 결정으로 인한 잠재적인 나쁜 결과에서 발생하는 리스크를 감독 관리하는 것을 말합니다. 모델 리스크 관리의 목표는 모델 리스크를 파악, 계측하여 완화할 기법과 관행을 동원하는 데 있습니다. 예를 들어 모델 오류나... {. . .}
신경망이란 무엇입니까? 신경망이란 뇌 속 뉴런의 망형 구조를 닮은 다층형 구조의 컴퓨팅 모델입니다. 여기에는 서로 연결된 처리 소자, 일명 '뉴런'이라는 것이 있으며 이들이 서로 협력하여 출력 함수를 도출합니다. 신경망을 이루는 {. . .}
오픈 뱅킹이란 무엇입니까? 오픈 뱅킹은 소비자의 금융 데이터에 대한 액세스 권한을 안전하게 제공하는 수단이며, 모든 것에 고객의 동의가 필요합니다.² 오픈 뱅킹은 규제, 기술, 경쟁 역학의 움직임 속에서 고객 데이터를 은행이 아닌 타사에 민주화해야 할 필요성이 {. . .}
오케스트레이션이란 무엇입니까? 오케스트레이션은 여러 개의 컴퓨터 시스템, 애플리케이션 및/또는 서비스를 조율하고 관리하는 것으로, 여러 개의 작업을 함께 연결하여 크기가 큰 워크플로나 프로세스를 실행하는 방식을 취합니다. 이러한 프로세스는 여러 개의 자동화된 작업으로 구성될 수 있습니다. {. . .}
What is Overall Equipment Effectiveness? Overall Equipment Effectiveness(OEE) is a measure of how well a manufacturing operation is utilized (facilities, time and material) compared to {. . .}
When it comes to data science, it’s no exaggeration to say that you can transform the way your business works by using it to its full potential with pandas DataFrame. To do that, you’ll need the right data stru {. . .}
Parquet란 무엇입니까? Apache Parquet는 효율적인 데이터 스토리지와 검색을 지원하도록 설계되었으며, 컬럼 중심의 오픈 소스 데이터 파일 형식입니다. 복잡한 데이터를 일괄적으로 처리하는 기능을 더욱 향상하여 효율적인 데이터 압축 및 인코딩 방식을 제공합니다. Apache Parquet는 배치 및 인터랙티브 워크로드에 {. . .}
맞춤형 금융이란 무엇입니까? 금융 상품과 서비스는 점점 더 상품화되고, 미디어와 리테일 산업에서 개인화된 경험을 제공하는 방향으로 나아감에 따라 소비자도 안목을 높여가고 있습니다. 은행이 경쟁력을 유지하기 위해서는 {. . .}
예측 분석이란 무엇입니까? 예측 분석(Predictive analytics)은 지능형 분석의 한 가지 형태입니다. 새로운 데이터와 과거 데이터를 둘 다 사용하여 패턴을 파악하고 향후 결과와 추세를 예측합니다. 예측 분석은 어떻게 작용합니까? 예측 분석은 여러 가지 기법을 사용해 {. . .}
What is predictive maintenance? Predictive Maintenance, in a nutshell, is all about figuring out when an asset should be maintained, and what specific maintenance activities need to be performed, based on an asset’s actual condition or state, rather than on a fixed schedule, so that y {. . .}
PyCharm은 컴퓨터 프로그래밍에 쓰이는 통합형 개발 환경(Integrated Development Environment, IDE)으로 Python 프로그래밍 언어에 맞게 제작되었습니다. Databricks에서 PyCharm을 사용하는 경우, PyCharm이 기본적으로 Python 가장 환경을 만들지만 사용자가 구성을 통해 Conda 환경을 만들도록 할 수도 있고 기존 환경을 사용해도 됩니다. {. . .}
PySpark란 무엇입니까? Apache Spark는 Scala 프로그래밍 언어로 작성되었습니다 PySpark는 Apache Spark와 Python의 공동 작업을 지원하기 위해 릴리스되었으며, 사실상 Spark용 Python API의 일종입니다. 또한 PySpark를 사용하면 RDD(Resilient Distributed Datasets)와 상호작용 {. . .}
소매업에서 실시간 데이터는 무엇인가요? 실시간 리테일(Real-time retail)이란 데이터에 실시간 액세스하는 것을 말합니다. 배치 중심 액세스, 분석, 컴퓨팅에서 벗어나면 데이터를 "언제든" 사용할 수 있어 정확하고 시기적절하게 의사결정을 내리고 비즈니스 인텔리전스를 얻을 수 있습니다. 실시간 {. . .}
RDD는 처음 생겼을 때부터 Spar의 기본 사용자 대상(user-facing) API였습니다. RDD는 본질적으로 변경 불가능하며 분산형입니다. {. . .}
스노우플레이크 스키마란 무엇입니까? 스노우플레이크 스키마는 스타 스키마를 확장한 다차원적 데이터 모델로, 차원 테이블을 하위 차원으로 나뉩니다. 스노우플레이크 스키마는 일반적으로 버스 {. . .}
Spark를 다루다 보면 다음과 같은 세 가지 API를 접하게 됩니다. DataFrames, Datasets와 RDD의 세 가지입니다. RDD란 무엇입니까? RDD, 즉 Resilient Distributed Datasets란 분산형 컴퓨팅을 포함한 레코드 컬렉션으로 본질적으로 내결함성이 있고 변경 불가능합니다. {. . .}
Spark 애플리케이션은 driver 프로세스 하나와 일련의 executor 프로세스로 구성됩니다. driver 프로세스는 main() 함수를 실행하고 클러스터 내 노드에 위치하며 세 가지 작업을 담당합니다. 하나는 Spark 애플리케이션 관련 정보를 유지하는 것, 사용자의 프로그램에 대응하는 것 또는 {. . .}
Spark Elasticsearch이란 무엇입니까? Spark Elasticsearch는 NoSQL, 분산형 데이터베이스의 일종으로 문서 중심적, 반구조적(semi-structured) 데이터를 저장, 검색하고 관리합니다. GitHub 오픈 소스이고, Apache Lucene 기반 RESTful 검색 엔진이기도 하며 Apache License 약관에 따라 릴리스된 제품이기도 합니다. {. . .}
대다수의 데이터 사이언티스트, 애널리스트, 일반 비즈니스 인텔리전스 사용자는 데이터를 탐색할 때 인터랙티브 SQL 쿼리에 의존합니다. Spark SQL은 구조적 데이터 처리를 위한 Spark 모듈입니다. 일명 DataFrames라는 프로그래밍 추상화를 제공하며 이외에 {. . .}
Apache Spark Streaming은 Apache Spark 스트리밍 엔진의 전 세대입니다. Spark Streaming은 더 이상 업데이트되지 않는 오래된 프로젝트입니다. Apache Spark에는 Structured Streaming이라는 새롭고 간편한 스트리밍 엔진이 있습니다. Spark Structured Streaming을 사용해서 {. . .}
Spark 성능 튜닝이란 무엇입니까? Spark 성능 튜닝은 시스템이 사용하는 메모리, 코어와 인스턴스를 대상으로 기록할 설정을 조정하는 프로세스를 가리킵니다. 이 프로세스를 거치면 Spark에서 흠잡을 데 없는 성능을 보장할 수 있으며, Spark에서 리소스 병목 현상을 예방하는 효과도 {. . .}
Sparklyr이란 무엇입니까? Sparklyr은 R과 Apache Spark 사이에서 인터페이스를 제공하는 오픈 소스 패키지입니다. 이제 Spark 기능을 최신 R 환경에서도 활용할 수 있습니다. Spark는 분산된 데이터와 상호작용할 수 있으면서도 레이턴시가 짧기 때문입니다. Sparklyr은 효과적인 {. . .}
SparkR은 Spark에서 R을 실행하는 데 쓰는 툴입니다. 이것도 Spark의 다른 모든 언어 바인딩과 마찬가지로 같은 원칙을 따릅니다. SparkR을 사용하려면 환경에 가져와 코드를 실행하기만 하면 됩니다. 전반적으로 Python API와 아주 비슷한데, Python이 아니라 R의 구문을 따른다는 점만 다릅니다. 대체로 {. . .}
Python은 일명 numpy라는 기본 내장 라이브러리를 제공하여 다차원 배열을 조작합니다. pytensor 라이브러리를 개발하려면 기본적으로 이 라이브러리부터 구성하고 사용해야 합니다. {. . .}
스타 스키마란 무엇입니까? 스타 스키마는 데이터베이스에서 데이터를 정리하는 데 사용하는 다차원적 데이터 모델로, 쉽게 이해하고 분석할 수 있습니다. 스타 스키마는 데이터 웨어하우스, 데이터베이스, 데이터 마트 등의 도구에 적용할 수 있습니다. 스타 스키마 설계의 최적화는 {. . .}
스트림 분석은 어떻게 작용합니까? 스트리밍 분석은 일명 이벤트 스트리밍 처리라고도 하며, 최신 데이터와 "동작 중"인 데이터로 구성된 거대한 데이터 풀을 분석합니다. 이때 사용하는 지속적인 쿼리를 이벤트 스트림이라고 합니다. 이러한 스트림은 구체적인 이벤트가 트리거하며, 이는 발생 {. . .}
Structured Streaming은 스트림 처리용 고차원 API의 일종으로, Spark 2.2에서는 바로 프로덕션에 적용할 수 있게 되었습니다. Structured Streaming을 사용하면 Spark의 구조적 API를 사용해 배치 모드로 수행하는 것과 같은 연산을 스트리밍 방식으로 실행할 수 있습니다. 이렇게 하면 레이턴시를 줄이고 {. . .}
In November of 2015, Google released its open-source framework for machine learning and named it TensorFlow. It supports deep-learning, neural networks, and general numerical computations on CPUs, GPUs, and clusters {. . .}
Tensorflow Estimator API란 무엇입니까? Estimator는 완전한 모델이지만 적은 사용자에게는 충분히 직관적으로 보이기도 합니다. Estimator API를 사용하면 모델을 교육할 방식, 모델의 정확도를 판단할 방식, 예측을 생성할 방식을 얻을 수 있습니다. {. . .}
변환이란 무엇입니까? Spark에서 코어 데이터 구조가 변경 불가능(immutable)하다는 것은 일단 생성하면 변경할 수 없다는 뜻입니다. 이것은 처음에는 조금 기이한 개념으로 여겨질 수 있습니다. 변경할 수 없다면 어떻게 사용합니까? DataFrame을 "변경"하려면 {. . .}
Tungsten Project란 무엇입니까? Tungsten은 Apache Spark의 실행 엔진에 변경 사항을 적용하여 메모리 및 CPU를 Spark 애플리케이션에 적합하게 효율성을 개선하는 데 중점을 두어 성능을 최신 하드웨어 한도에 더 가깝게 밀어붙이고자 추진한 엄브렐라 프로젝트의 코드명입니다.{. . .}
Unified Artificial Intelligence, 즉 UAI는 Facebook에서 올해 F8 중에 발표한 개념입니다. 이 개념은 Facebook이 제작하고 아웃소싱한 2가지 딥러닝 프레임워크를 합친 것입니다. 하나는 대규모 컴퓨팅 리소스에 액세스를 보유한 리서치 중점적 PyTorch이고, 다른 하나는 Caffe로 모델 배포에 주력합니다. {. . .}
Unified Data Analytics는 새로운 솔루션 카테고리입니다. 데이터 처리를 AI 기술과 통합하여 기업에서 AI를 한결 쉽게 완성할 수 있게 지원하여 각자의 AI 이니셔티브 진행 속도를 빠르게 해줍니다. Unified Data Analytics를 이용하면 기업에서 데이터 파이프라인을 구축할 때 {. . .}
Databricks의 Unified Data Analytics Platform을 이용하면 데이터 사이언스를 엔지니어링, 비즈니스와 통합하여 혁신의 속도를 높여줍니다. Databricks를 Unified Data Analytics Platform으로 활용하면 아무런 한계 없이 엄청난 규모로 데이터를 신속하게 준비하고 정리할 수 있습니다. 이 플랫폼은 {. . .}
Unified Data Warehouse란 무엇입니까? 기업의 통합 데이터베이스인 엔터프라이즈 데이터 웨어하우스에는 한 기업 조직의 각종 비즈니스 정보가 모두 보관되어 있어 회사 전체에서 액세스할 수 있게 해줍니다. 오늘날 대부분 기업에서는 데이터를 서로 격리된 사일로에서 관리하고, 여러 {. . .}