DNA 서열이란 무엇입니까? DNA 서열은 DNA(deoxyribonucleic acid, 디옥시리보 핵산)의 뉴클레오타이드(nucleotides)의 정확한 순서를 판별하는 과정입니다.  DNA 서열은 네 가지 화학적 기본 요소인 아데닌, 구아닌, 사이토신, 타이민 등 DNA 분자 내에서 발생하는 화학 물질의 순서를 말합니다. 이것을 '염기'라고도 합니다. DNA 서열을 정하는 첫 번째 방식은 1970년대 중반 Fred Sanger, {...}

Hive 날짜 함수란 무엇입니까? Hive는 수많은 기본 내장 함수를 제공하여 데이터 처리와 쿼리에 도움이 됩니다. 이런 함수가 제공하는 기능 중에는 문자열 조작, 날짜 조작, 타입 변환, 조건 연산자, 수학적 함수 등이 있으며 이외에도 여러 가지가 있습니다. HIVE 기본 내장 함수의 유형 날짜 함수 주로 날짜에 일수를 더하는 등 이와 비슷한 연산의 날짜 데이터 타입을 대상으로 한 연산을 수행하는 데 쓰입니다. 수학적 함수 이런 함수는 대체로{...}

Medallion 아키텍처란 무엇입니까? 메달리온 아키텍처는 레이크하우스에 논리적으로 데이터를 정리하는 데 사용하는 데이터 설계 패턴입니다. 이 아키텍처의 목표는 데이터가 아키텍처의 각 레이어를 통과하는 동안(브론즈 ⇒ 실버 ⇒ 골드 레이어 테이블) 데이터의 구조와 품질을 증분적, 점진적으로 개선하는 것입니다. 메달리온 아키텍처는 "멀티 홉" 아키텍처라고 부르기도 합니다.   레이크하우스 아키텍처의 장점 간단한 데이터 모델 쉽{...}

Unified Artificial Intelligence, 즉 UAI는 Facebook에서 올해 F8 중에 발표한 개념입니다. 이 개념은 Facebook이 제작하고 아웃소싱한 2가지 딥러닝 프레임워크를 합친 것입니다. 하나는 대규모 컴퓨팅 리소스에 액세스를 보유한 리서치 중점적 PyTorch이고, 다른 하나는 Android와 Raspberry Pi 디바이스에서의 모델 배포에 주력하는 Caffe입니다. Facebook의 Unified AI는 범위{...}

예측 분석이란 무엇입니까? 예측 분석(Predictive analytics)은 지능형 분석의 한 가지 형태입니다. 새로운 데이터와 과거 데이터를 둘 다 사용하여 패턴을 파악하고 향후 결과와 추세를 예측합니다. 예측 분석은 어떻게 동작합니까? 예측 분석은 통계 분석 기법, 분석 쿼리, 데이터 마이닝, 예측 모델링과 자동 머신 러닝 알고리즘과 같은 다양한 기법을 활용해 Dataset가 예측형 모델을 만들게 한 다음 특정 이벤트의 발생 가능성에 숫자{...}

인공 신경망이란 무엇입니까? 인공 신경망(Artificial Neural Network, ANN)은 사람의 뇌 속 뉴런의 작용을 본떠 패턴을 구성한 컴퓨팅 시스템의 일종입니다. 인공 신경망은 어떻게 작동합니까? 인공 신경망(ANN)은 가중치를 적용한 방향성 그래프라고 보면 가장 적당합니다. 이를 보통 여러 계층으로 구조화합니다. 이러한 계층에는 사람의 뇌 속에 있는 생물학적 뉴런을 모방한 수많은 노드가 있고, 이들이 서로 연결되어 있으며 활성화{...}

지속형 애플리케이션(Continuous Application)은 실시간으로 데이터에 반응하는 종단간(E2E) 애플리케이션입니다. 특히 개발자의 경우 별도의 시스템에서 현재 처리 중인 지속형 애플리케이션의 여러 측면(예를 들어 쿼리 제공, 배치 작업과의 상호작용 등)을 지원하기 위해 단 한 가지 프로그래밍 인터페이스를 사용하고자 합니다. 아래에 다음과 같은 사용 사례를 처리할 수 있는 지속형 애플리케이션의 예를 소개하였습니다. 실시간으로 제공될 {...}

컴퓨팅에서 해시 테이블 [해시 맵]은 키 [고유한 문자열이나 정수]를 기반으로 개체에 사실상 직접적인 액세스를 제공하는 데이터 구조를 말합니다. 해시 테이블은 해시 함수를 사용해 인덱스를 버킷이나 슬롯 어레이로 연산하는데, 여기에서 원하는 값을 찾을 수 있습니다. 여기에 사용되는 키의 주된 특징을 소개합니다. 사용되는 키는 SSN, 전화번호, 계좌 번호 등 무엇이든 가능 반드시 고유한 키가 있어야 함 각각의 키가 값과 연결됨(즉 값에 매핑됨) {...}

트랜잭션이란 무엇입니까? 데이터베이스와 데이터 스토리지 시스템이라는 맥락에서 트랜잭션이란 한 단위의 작업으로 취급되는 모든 작업을 말합니다. 트랜잭션은 완전히 완료되기도 하고 전혀 완료되지 않을 수도 있으며, 스토리지 시스템을 한결같은 상태로 둡니다. 트랜잭션의 전형적인 예는 은행 계좌에서 현금을 인출할 때 일어나는 일입니다. 현금이 계좌에서 인출되거나, 인출되지 않거나 둘 중의 하나일 뿐 그 중간 어딘가의 상태란 없습니다. {...}

용어집으로 돌아가기경사하강법(Gradient descent)은 머신 러닝과 딥러닝 알고리즘에서 가장 보편적으로 쓰이는 최적화 방식입니다. 머신 러닝 모델을 트레이닝하는 데 쓰입니다. 경사하강법의 유형 최신 머신 러닝 및 딥러닝 알고리즘에 쓰이는 경사하강법은 크게 세 가지 유형으로 나눌 수 있습니다. 배치 경사하강법 배치 경사하강법(Batch Gradient Descent)이 그중 가장 간단한 유형입니다. 이것은 트레이닝 데이터세트의 각 예제를 {...}

Artificial intelligence (AI) agents are a revolutionary way to leverage the power of AI. While traditional AI systems require continuous inputs from a user, AI agents are intelligent software systems that interact with their environment, gather relev{...}

Apache Hive란 무엇입니까? Apache Hive는 광범위한 Hadoop 에코시스템에 속하는 Apache Hadoop Distributed File System(HDFS)에서 추출한 대용량 데이터세트를 읽고, 쓰고, 관리하도록 설계된 오픈 소스 데이터 웨어하우스 소프트웨어입니다. Apache Hive는 광범위한 Apache Hive 문서 및 지속적 업데이트를 통해 쉽게 액세스할 수 있는 방식으로 계속해서 데이터 처리를 혁신합니다{...}

Apache Kylin이란 무엇입니까? Apache Kylin은 인터랙티브 분석 빅 데이터에 적합한 분산형 오픈 소스 온라인 분석 처리(Online Analytics Processing, OLAP) 엔진입니다. Apache Kylin은 하둡/Spark에서 SQL 인터페이스와 다차원 분석(OLAP)을 제공하기 위해 고안되었습니다. 또한 ODBC 드라이버, JDBC 드라이버 및 REST API를 사용해 BI 툴과 손쉽게 통합할 수도 있습니{...}

Apache Spark as a Service란 무엇입니까? Apache Spark는 고속 실시간 대규모 데이터 처리를 위한 오픈 소스 클러스터 컴퓨팅 프레임워크입니다.Spark는 2009년 UC 버클리 AMPLab에서 탄생한 이래 큰 성장을 이루었습니다. 지금은 빅데이터 부문에서 가장 큰 오픈 소스 커뮤니티로 평가되며 50여 개 조직과 단체에서 200여 명이 기여하고 있습니다. Databricks는 자사 Apache Spark 최적화 버전을 {...}

Spark SQL의 핵심은 Catalyst Optimizer입니다. 이것은 지능형 프로그래밍 언어 기능(예: Scala의 패턴 매칭과 quasi quote 등)을 참신한 방식으로 활용해 확장할 수 있는 쿼리 최적화 프로그램을 구축합니다. Catalyst는 Scala로 쓴 기능성 프로그래밍 구조를 기반으로 하며 다음과 같은 두 가지 용도를 염두에 두고 고안하였습니다. Spark SQL에 새로운 최적화 기법과 특징을 손쉽게 추가 최적화 프로그램 확{...}

데이터 변환이란? 데이터 변환은 데이터 소스에서 추출된 가공되지 않은 데이터를 사용 가능한 데이터세트로 변환하는 프로세스입니다. 데이터 파이프라인에는 여러 데이터 변환이 포함되는 경우가 많으며, 복잡한 정보를 정제되고 신뢰할 수 있는 고품질의 데이터로 변경하여 조직의 운영 요구 사항을 충족하고 실행 가능한 인사이트를 생성하는 데 사용할 수 있도록 합니다. 데이터 변환 프로세스는 데이터 엔지니어링의 핵심 프로세스입니다. {...}

Databricks Runtime은 Databricks에서 관리하는 머신 클러스터에서 실행되는 소프트웨어 아티팩트 세트입니다. 여기에는 Spark도 포함하지만 이외에도 여러 구성요소와 업데이트를 추가하여 빅데이터 분석의 사용성, 성능과 보안을 대폭 개선해줍니다. 주된 차별점은 다음과 같습니다. DBIO로 성능 개선: Databricks I/O 모듈, 즉 DBIO는 수직으로 통합된 스택을 활용해 클라우드 내 Spark의 성능을 대폭 개선{...}

DataFrame이란 무엇입니까? DataFrame이란 데이터를 행과 열로 구성된 2차원 표(스프레드시트와 비슷)로 정리하는 데이터 구조입니다. DataFrame은 최신 데이터 분석에서 가장 보편적으로 쓰이는 데이터 구조 중 하나입니다. 유연하고 직관적인 방식으로 데이터를 저장하고 작업이 가능하기 때문입니다. 각 DataFrame에는 스키마라고 하는 블루프린트가 있어서, 각 열의 이름과 데이터 유형을 정의합니다. Spark DataFr{...}

Understanding fine-tuning When training artificial intelligence (AI) and machine learning (ML) models for a specific purpose, data scientists and engineers have found it easier and less expensive to modify existing pretrained foundation large languag{...}

유전체학(Genomics)은 유기체의 유전체(게놈) 서열, 분석과 관련된 유전학의 한 분야입니다. 이 학문의 주된 목적은 DNA의 전체 서열, DNA를 구성하는 원자의 구성이나 여러 DNA 원자 사이의 화학적 결합 형태를 알아내는 데 있습니다. 유전체학은 유전체를 하나의 완전한 구조로 보는 학문입니다. 따라서 어떤 유기체의 전체적인 유전 형질을 연구하는 학문이라고 정의할 수 있겠습니다. DNA를 사상 최초로 분리한 것은 1869년의 일이지만, {...}

하둡 클러스터란 무엇입니까? Apache Hadoop은 오픈 소스, Java 기반 소프트웨어 프레임워크이자 병렬식 데이터 처리 엔진입니다. 하둡을 이용하면 빅데이터 분석 처리 작업을 작은 크기의 작업으로 분해하여 알고리즘(예를 들어 MapReduce 알고리즘 같은)을 사용하여 병렬식으로 수행할 수 있고, 그런 다음 하둡 클러스터에 배포하면 됩니다. 하둡 클러스터란 네트워크로 서로 연결된 일련의 컴퓨터('노드'라고 함){...}

HDFS HDFS(하둡 분산형 파일 시스템)는 하둡 애플리케이션에서 사용하는 기본 스토리지 시스템입니다. 이 오픈 소스 프레임워크는 노드 사이에 데이터를 고속으로 전송하며 주로 빅데이터를 처리하고 저장해야 하는 기업이 사용하는 경우가 많습니다. HDFS는 빅데이터를 관리하고 빅데이터 분석을 지원하는 수단을 제공하기 때문에 많은 하둡 시스템의 핵심 구성 요소입니다. 전세계 많은 기업들이 사용하고 있는 HDFS란 정확히 무엇이며 왜 필요할까요? H{...}

Hosted Spark란 무엇입니까? Apache Spark는 속도, 사용 편이성과 고급 분석을 중심으로 구축된 빅데이터용 고속, 일반 클러스터 컴퓨팅 시스템입니다. 2009년에 UC 버클리에서 처음 구축되었습니다. Scala, Java, Python과 R에서 고수준 API를 제공하며 데이터 분석에 적합한 범용 연산 그래프를 지원하는 최적화 엔진도 있습니다. 이외에도 SQL과 DataFrame용 Spark SQL, 머신 러닝용 MLlib, 그래{...}

Jupyter Notebook이란 무엇입니까? Jupyter Notebook은 오픈 소스 웹 애플리케이션으로, 데이터 사이언티스트가 라이브 코드, 식, 기타 멀티미디어 리소스를 포함하여 문서를 생성 및 공유하는 데 사용할 수 있습니다. 주피터 노트북은 어떤 용도로 사용하나요? 주피터 노트북은 탐색적 데이터 분석(EDA), 데이터 정리 및 변환, 데이터 시각화, 통계적 모델링, 머신 러닝, 딥 러닝 등의 각종 데이터 사이언스 작업에 사용합니다. {...}

Keras 모델이란 무엇입니까? Keras는 Theano와 Tensorflow 기반의 딥러닝용 고차원 라이브러리입니다. Python 언어로 쓰여 광범위한 딥러닝 모델을 깔끔하고 편리하게 제작할 수 있습니다. Keras는 신경망 개발, 테스트에 관한 한 가장 애용되는 고수준 신경망 API 중 하나로 자리 잡았습니다. Keras 고수준 API 덕분에 요즘은 신경망 계층을 생성하고 복잡한 아키텍처를 설정하는 것쯤은 간단한 {...}

LLMOps란 무엇인가요? LLMOps(Large Language Model Ops)는 프로덕션 환경에서 대규모 언어 모델의 운영 관리에 사용되는 사례, 기술 및 도구를 포괄합니다. OpenAI의 GPT, Google의 Bard 그리고 Databricks의 Dolly가 출시된 후로 강조되고 있는 최신 LLM 기술은 LLM을 구축하고 배포하는 기업의 성장에 상당한 영향을 미치고 있습니다. 따라서 이러한 모델을 운영하는 방법에 대한 모범 사례를 구{...}

Managed Spark란 무엇입니까? Managed Spark 서비스를 이용하면 일괄 처리, 쿼리, 스트리밍과 머신 러닝 등을 위한 오픈 소스 데이터 툴을 유리하게 활용할 수 있습니다. 이러한 자동화 기능을 이용하면 필요에 따라 신속하게 클러스터를 만들어 간편하게 관리하고, 작업이 완료되면 끌 수 있습니다. 또한 워크로드, 성능 요구사항에 따라서나 기존 리소스를 바탕으로 클러스터 크기를 조정할 수도 있습니다. 뿐만 아니라 완전한 Managed{...}

MapReduce의 역사 MapReduce는 2004년 Google 사내에서 개발되었습니다. 당시 Google에 근무하던 Jeffery Dean과 Sanjay Ghemawat가 개발의 주역입니다(Dean & Ghemawat, 2004). 두 사람이 저술한 글 "MapReduce: 대형 클러스터의 데이터 처리 간소화(MapReduce: Simplified Data Processing on Large Clusters)"에서 언급했듯이 함수 {...}

MLOps란 무엇입니까? MLOps는 머신 러닝 작업(Machine Learning Operations)을 뜻합니다. MLOps는 머신 러닝 모델을 프로덕션으로 전환하는 프로세스를 간소화하고, 뒤이어 이를 유지관리하고 모니터링하는 데 주안점을 둔 머신 러닝 엔지니어링의 핵심 기능입니다. MLOps는 협업 기능이며, 주로 데이터 사이언티스트, DevOps 엔지니어, IT로 구성됩니다. MLOps의 용도는 무엇입니까? MLOps는 머신 러닝과 AI{...}

데이터 사이언스 분야에서 pandas DataFrame으로 데이터 사이언스의 모든 잠재력을 이끌어 낸다면 기업의 업무 방식을 혁신할 수 있다는 말은 과장이 아닙니다. 이를 위해서는 적합한 데이터 구조가 필요하며 적합한 데이터 구조를 사용하면 데이터를 조작하고 분석하면서 효율성을 극대화할 수 있습니다. 이러한 목적을 위해 사용 가능한 가장 유용한 데이터 구조 중 하나가 pandas DataFrame입니다. pandas(판다스)는 Python(파{...}

Prompt engineering is an emerging field at the forefront of artificial intelligence (AI) development that focuses on the critical processes of crafting effective inputs for generative AI (GenAI) models. As AI systems become increasingly sophisticated{...}

PyCharm(파이참)은 Python(파이톤)프로그래밍 언어를 개발하기 위해 사용되는 통합 개발 환경(Intergrated Development Environment, IDE)입니다. JetBrains에서 개발한 파이참은 코드 작성, 디버깅, 테스트, 배포 등 Python 개발과 관련된 모든 과정을 효율적으로 처리할 수 있는 강력한 도구를 제공합니다. 파이참은 파이톤 기반의 애플리케이션, 라이브러리, 알고리즘 개발뿐 아니라 Jupyter Not{...}

PySpark란 무엇입니까? Apache Spark는 Scala 프로그래밍 언어로 작성되었습니다 PySpark는 Apache Spark와 Python의 공동 작업을 지원하기 위해 릴리스되었으며, 사실상 Spark용 Python API의 일종입니다. 또한 PySpark를 사용하면 Apache Spark와 Python 프로그래밍 언어로 RDD(Resilient Distributed Datasets)에 접속하는 데 도움이 됩니다. 이를 위해 Py4j{...}

RDD는 처음 생겼을 때부터 Spar의 기본 사용자 대상(user-facing) API였습니다. RDD는 본질적으로 데이터의 여러 요소를 모은 변경 불가능한(immutable) 분산형 컬렉션입니다. 클러스터 내 여러 노드에 걸쳐 분할된 형태로 변환이나 작업을 제공하는 저수준 API와 동시에 작업할 수 있습니다. RDD를 사용해야 할 때를 결정짓는 5가지 이유 Dataset에서 저수준 변환, 작업과 제어를 원하는 경우. 데이터가 비구조적인 경우{...}

Serverless computing is the latest evolution of the compute infrastructure. Organizations used to need physical servers to run web applications. Then the rise of cloud computing enabled them to create virtual servers — although they still had to take{...}

Spark Elasticsearch이란 무엇입니까? Spark Elasticsearch는 NoSQL 분산형 데이터베이스의 일종으로 문서 중심적 반정형 데이터를 저장하고 검색하고 관리합니다. 이 데이터베이스는 Apache Lucene 기반 GitHub 오픈 소스 RESTful 검색 엔진이며 Apache License 약관에 따라 릴리스되었습니다.Elasticsearch는 Java 기반이기 때문에 여러 가지 다양한 형식으로 문서 파일을 검색 및 인{...}

대다수의 데이터 사이언티스트, 애널리스트, 일반 비즈니스 인텔리전스 사용자는 데이터를 탐색할 때 인터랙티브 SQL 쿼리에 의존합니다. Spark SQL은 구조적 데이터 처리를 위한 Spark 모듈입니다. 이 모듈은 일명 DataFrames라는 프로그래밍 추상화를 제공하며 분산형 SQL 쿼리 엔진 역할도 할 수 있습니다. 이것을 이용하면 수정되지 않은 하둡 Hive 쿼리를 기존 배포와 데이터에서 최대 100배 {...}

Apache Spark Streaming은 Apache Spark 스트리밍 엔진의 이전 세대입니다. Spark Streaming은 더 이상 업데이트되지 않는 레거시 프로젝트입니다. Apache Spark에는 Structured Streaming이라는 새롭고 간편한 스트리밍 엔진이 있습니다. 애플리케이션과 파이프라인 스트리밍을 위해서는 Spark Structured Streaming을 사용해야 합니다. Structured Streaming을 참조{...}

Spark 애플리케이션은 driver 프로세스 하나와 일련의 executor 프로세스로 구성됩니다. driver 프로세스는 main() 함수를 실행하고 클러스터 내 노드에 위치하며 세 가지 작업을 담당합니다. 하나는 Spark 애플리케이션 관련 정보를 유지하는 것, 사용자의 프로그램이나 입력에 대응하는 것, 그리고 나머지 하나는 executor(잠시 후 정의함) 작업을 분석, 배포, 예약하는 것입니다. dri{...}

Sparklyr이란 무엇입니까? Sparklyr은 R과 Apache Spark 사이에서 인터페이스를 제공하는 오픈 소스 패키지입니다. 이제 Spark 기능을 최신 R 환경에서도 활용할 수 있습니다. Spark는 분산된 데이터와 상호작용할 수 있으면서도 레이턴시가 짧기 때문입니다. Sparklyr은 인터랙티브 환경에서 대규모 Dataset와 상호작용을 주고받는 데 효과적인 툴입니다. 이렇게 하면 R의 친숙한 툴을 이용해 Spark 데이터를 분석할{...}

SparkR은 Spark에서 R을 실행하는 데 쓰는 툴입니다. 이것도 Spark의 다른 모든 언어 바인딩과 마찬가지로 같은 원칙을 따릅니다. SparkR을 사용하려면 환경에 가져와 코드를 실행하기만 하면 됩니다. 전반적으로 Python API와 아주 비슷한데, Python이 아니라 R의 구문을 따른다는 점만 다릅니다. 대체로 Python에서 이용 가능한 것은 거의 모두 SparkR에서도 이용할 수 있다고 보면 됩니다. {...}

Python은 일명 numpy라는 기본 내장 라이브러리를 제공하여 다차원 배열을 조작합니다. pytensor 라이브러리를 개발하려면 기본적으로 이 라이브러리부터 구성하고 사용해야 합니다. Sptensor는 희소 텐서를 나타내는 클래스입니다. 희소 텐서란 대부분의 입력 항목이 0인 Dataset입니다. 대형 대각선 행렬(diagonal matrix)이 대표적인 예입니다. (값이 0인 원소가 많음). 이것은 텐서 개체의 전체 값을 저장하지{...}

스타 스키마란 무엇입니까? 스타 스키마는 데이터베이스에서 데이터를 정리하는 데 사용하는 다차원적 데이터 모델로, 쉽게 이해하고 분석할 수 있습니다. 스타 스키마는 데이터 웨어하우스, 데이터베이스, 데이터 마트 등의 툴에 적용할 수 있습니다. 스타 스키마는 대규모 데이터 세트에 대한 쿼리를 최적화하도록 설계되었습니다. Ralph Kimball이 1990년대에 도입한 스타 스키마는 반복적 비즈니스 정의의 복제를 줄여 데이터 웨어하우스에서 데이터를 {...}

Structured Streaming은 스트림 처리용 고차원 API의 일종으로, Spark 2.2에서는 바로 프로덕션에 적용할 수 있게 되었습니다. Structured Streaming을 사용하면 Spark의 구조적 API를 사용해 배치 모드로 수행하는 것과 같은 연산을 스트리밍 방식으로 실행할 수 있습니다. 이렇게 하면 레이턴시를 줄이고 증분식으로 처리할 수 있게 됩니다. Structured Streaming의 가장 좋은 점은 코드를 사실상 {...}

지난 2015년 11월, Google에서 머신 러닝용 오픈 소스 프레임워크를 출시하며 이를 TensorFlow라 명명했습니다. 이것은 딥러닝, 신경망을 물론 CPU, GPU와 GPU 클러스터의 일반적인 수리적 연산을 지원합니다. TensorFlow의 가장 큰 장점 중 하나는 개발자, 데이터 사이언티스트와 데이터 엔지니어로 구성된 오픈 소스 커뮤니티가 있어 리포지토리에 기여한다는 점입니다. TensorFlow의 최신 버전 및 릴리스 노트는 Gi{...}

Tensorflow Estimator API란 무엇입니까? Estimator는 완전한 모델이지만 적은 사용자에게는 충분히 직관적으로 보입니다. Estimator API를 사용하면 모델을 교육할 방식, 모델의 정확도를 판단할 방식, 예측을 생성할 방식을 얻을 수 있습니다. TensorFlow는 아래 이미지와 같이 여러 개의 API 계층으로 구성된 프로그래밍 스택을 제공합니다. estimator는 두 가지 유형이 있어 사전에 만든{...}

Tungsten Project란 무엇입니까? Tungsten은 Apache Spark의 실행 엔진에 변경 사항을 적용하여 메모리 및 CPU를 Spark 애플리케이션에 적합하게 효율성을 개선하는 데 중점을 두어 성능을 최신 하드웨어 한도에 더 가깝게 밀어붙이고자 추진한 엄브렐라 프로젝트의 코드명입니다. Tungsten Project의 이니셔티브: 메모리 관리와 이진수 처리: 애플리케이션 의미 체계를 활용하여 메모리를 명시적으로 관리하며 {...}

More than ever, organizations rely on a variety of complex datasets to drive their decision-making. It’s crucial that this data is reliable, accurate and relevant so that businesses can make effective, strategic decisions. This becomes even more impo{...}

Unified Data Analytics는 새로운 솔루션 카테고리입니다. 데이터 처리를 AI 기술과 통합하여 기업에서 AI를 한결 쉽게 완성할 수 있게 지원하여 각자의 AI 이니셔티브 진행 속도를 빠르게 해줍니다. Unified Data Analytics는 기업에서 다양한 사일로형 데이터 스토리지 시스템을 아우르는 데이터 파이프라인을 구축하는 데 도움이 되며 모델 구축을 위해 레이블이 지정된 Dataset를 준비하는 데 유익합니다. 이렇게 하면{...}

Databricks의 Unified Data Analytics Platform을 이용하면 데이터 사이언스를 엔지니어링, 비즈니스와 통합하여 혁신의 속도를 높여줍니다. Databricks를 Unified Data Analytics Platform으로 활용하면 아무런 한계 없이 엄청난 규모로 데이터를 신속하게 준비하고 정리할 수 있습니다. 또한 이 플랫폼을 이용하면 각종 인공지능 애플리케이션 전체에 ML 모델을 지속해서 교육하고 {...}

What is a vector database? A vector database is a specialized database designed to store and manage data as high-dimensional vectors. The term comes from vectors, which are mathematical representations of features or attributes contained in data. In {...}

거대 언어 모델(LLM)이란? 대규모 언어 모델(LLM)은 서술형 질의 응답부터 채팅, 콘텐츠 요약, 임의에 가까운 명령 실행, 번역, 콘텐츠 및 코드 생성에 이르기까지 다양한 작업에서 성능 및 역량 면에서 이전 모델을 크게 앞서는 새로운 차원의 자연어 처리(NLP) 모델입니다. LLM은 인간 언어의 패턴과 구조를 학습하기 위해 고급 머신 러닝 알고리즘을 사용하여 방대한 데이터 세트에서 학습됩니다. {...}

검색 증강 생성(Retrieval Augmented Generation, RAG)이란? 검색 증강 생성(Retrieval Augmented Generation, RAG)은 맞춤형 데이터를 활용하여 대규모 언어 모델(LLM) 애플리케이션의 효율성을 개선할 수 있는 아키텍처 접근 방식입니다. 이 작업은 질문이나 작업과 관련된 데이터/문서를 검색하고 이를 LLM의 컨텍스트로 제공하여 수행할 수 있습니다. RAG는 최신 정보를 유지 관리하거나 도메인별{...}

공급망 관리란? 공급망 관리는 제품과 서비스를 효율적이고 효과적으로 생산하여 최종 고객에게 제공하는 것을 목표로 공급망의 운영을 계획, 구현 및 제어하는 프로세스입니다. 공급망 관리는 제품 및 서비스의 소싱, 조달, 생산 및 제공과 관련된 모든 활동의 조정 및 최적화뿐만 아니라 정보 흐름 및 금융 거래 관리를 포함합니다. 공급망 관리의 핵심 요소는 공급업체 관리, 재고 관리, 생산 계획 및 일정, 물류 및 운송 관리, 고객 서비스입니다. 효과적{...}

Databricks Delta의 Delta 파이프라인/구체화 뷰 Intro Delta 파이프라인은 데이터 파이프라인 수명 주기를 관리할 수 있도록 일련의 API와 UI를 제공합니다. 이것은 오픈 소스 프레임워크로 데이터 엔지니어링 팀에서 ETL 개발을 간소화하고 데이터 안정성을 개선하며 운영을 확장하는 데 도움이 됩니다. 데이터 변환을 위해 코딩하고 작업을 예약하는 방식이 아니라, 선언적 파이프라인을 구축하여 여러분이 원하는 데이터의 {...}

대체 데이터란 무엇입니까? 대체 데이터(Alternative data)는 남들이 사용하지 않는, 비일반적인 정보 출처를 가리키는 대안적(alternative) 데이터 소스를 사용해 수집한 정보입니다. 대체 데이터를 분석하면 업계의 평범한 데이터 소스가 제공할 수 있는 범위를 벗어난 인사이트를 얻을 수 있습니다. 다만 정확히 무엇을 대체 데이터로 간주해야 하는지는 업종마다 다릅니다. 이 개념의 정의는 우리 회사나 경쟁사가 이미 사용 중인 기존 데{...}

데이터 거버넌스란 무엇인가요? 데이터 거버넌스는 데이터가 가치를 창출하는지 확인하는 감독 행위이며, 비즈니스 전략을 지원하는 활동입니다. 데이터 거버넌스는 단순한 도구나 프로세스가 아닙니다. 사람, 프로세스, 기술, 데이터와 관련하여 비즈니스 목표와 목적을 지원하는 문화에 초점을 맞추고, 프레임워크를 통해 비즈니스 전략에 데이터 관련 요구 사항을 일치시킵니다. 데이터 거버넌스는 비즈니스에 어떤 장점을 제공할까{...}

데이터 공유란 무엇인가요? Data sharing은 하나 또는 여러 명의 고객에게 같은 데이터를 제공할 수 있는 기능입니다. 요즘 들어서는 어느 회사에서나 지속적으로 늘어나는 방대한 데이터 자체가 전략적 자산이 되었습니다. 조직 안팎으로 데이터를 공유하는 것은 새로운 사업 기회를 발견할 수 있도록 도와주는 기술이기도 합니다. 외부 소스에서 데이터를 사용하는 것은 물론이고, 데이터를 공유하면 ​​파트너와 협업할 수 있으며, 새로운 파트너{...}

데이터 관리란 무엇입니까? 데이터 관리의 정의부터 살펴보겠습니다. 데이터 관리는 조직의 데이터를 수명 주기 전반에 걸쳐 구성, 처리, 저장, 보호, 분석하는 작업입니다. 효율적인 데이터 처리를 통해 모든 정보의 안전성과 신뢰성을 확보할 수 있습니다. 올바른 데이터 관리를 통해 효율성을 개선하고 비즈니스 성과에 대해 정확하게 파악함으로써 전략적 의사 결정을 내리고 법적 요건을 준수할 수 있습니다. 데이터 관리는 데이터 거버넌스 전략에 따라 데이터{...}

데이터 레이크하우스란 무엇입니까? 데이터 레이크하우스는 데이터 레이크가 가지고 있는 유연성, 비용 효율성, 그리고 대용량 지원 기능에 더해, 데이터 웨어하우스의 데이터 관리 기능과 ACID 트랜잭션을 통합한 새로운 형태의 오픈 데이터 관리 아키텍처로, 모든 데이터를 대상으로 비즈니스 인텔리전스(BI)와 머신 러닝(ML)을 지원합니다. 데이터 레이크하우스: 단순함, 유연함 그리고 저렴한 비용 데이터 레이크하우스는 새로운 오픈 시스템 디자{...}

비즈니스에서 데이터는 그 어느 때보다 중요해졌습니다. 데이터가 효과적으로 활용되도록 하려면 최상의 데이터 플랫폼을 사용하는 것이 중요하며, 이를 위해 데이터 마이그레이션이 필요할 수 있습니다. 데이터 마이그레이션과 성공적인 데이터 마이그레이션 방법에 대해 질문이 있으시다면, 저희가 답을 드리겠습니다. 데이터 마이그레이션이란 무엇인가요? 데이터 마이그레이션은 한 플랫폼에서 다른 플랫폼으로 디지털 정보를 이동하는 과정입니다. 그 대상에는 스토리지 {...}

데이터 마켓플레이스 또는 데이터 마켓이란? 데이터 마켓플레이스 또는 데이터 시장은 데이터 공유 및 협업을 지원하는 온라인 상점으로, 데이터 공급지와 데이터 소비자를 연결하여 참가자에게 안전한 환경에서 데이터 및 관련 서비스를 사고 팔 수 있는 기회를 제공하므로 일관성 있는 고품질의 데이터 자산을 제공할 수 있습니다. 기업은 마켓플레이스를 사용하여 데이터세트를 개선하거나, 데이터로 수익을 창출하거나, 데이터 제품 및 서비스를 제공할 수 있습니다.{...}

데이터 마트란 무엇입니까? 데이터 마트는 하나의 데이터 팀, 커뮤니티 또는 사업부(예: 마케팅 또는 엔지니어링 부서)에 따른 특정 요구 사항을 충족하도록 설계된 테이블 세트가 포함된 큐레이션 데이터베이스입니다. 빅 데이터 시대가 도래해 데이터 분석의 중요성이 점점 더 커져가고 있는 지금, 정보를 효율적으로 관리하고 활용하는 데 꼭 필요합니다. 보통, 데이터 웨어하우스보다 작고 집중적이며 일반적으로 조직의 대규모 엔터프라이즈 데이터 웨어하우스의 {...}

오늘날과 같이 고도로 연결된 세상에서 사이버 보안 위협과 내부자 위험은 꾸준히 제기되어 온 우려 사항입니다. 조직은 보유하고 있는 데이터 유형에 대한 가시성을 확보하고, 데이터의 무단 사용을 방지하고, 해당 데이터와 관련된 위험을 식별 및 완화해야 합니다. 다음 섹션에서는 데이터 보안이 필수적인 이유와 일반적인 데이터 보안 위험 그리고 무단 액세스, 도난, 손상, 포이즈닝 또는 실수로 인한 손실로부터 조직을 보호하는 데 도움이 되는 데이터 보안{...}

데이터 볼트란 무엇입니까? 데이터 볼트는 엔터프라이즈급 분석을 위한 데이터 웨어하우스를 구축하는 데 사용되는 데이터 모델링 설계 패턴입니다. 데이터 볼트는 허브, 링크, 위성, 이렇게 세 가지 유형의 엔터티가 있습니다. 허브는 핵심 비즈니스 개념을 대표하며, 링크는 허브 간의 관계를 대표하고, 위성은 허브와 허브 간 관계에 대한 정보를 저장합니다. 데이터 볼트는 레이크하우스 패러다임을 채택하고 있는 조직에게 매우 적합한 데이터 모델입니다. 데이{...}

데이터 분석 플랫폼이란 무엇입니까? 데이터 분석 플랫폼은 용량이 크고 복잡한 동적 데이터를 대상으로 분석을 수행해야 하는 서비스와 기술로 구성된 에코시스템입니다. 이것을 통해 회사에 속한 다양한 출처로부터 얻은 데이터를 검색, 조합, 데이터와 상호작용을 주고받기도 하고 탐색, 표시할 수 있습니다. 종합적인 데이터 분석 플랫폼에는 다양한 기능을 내장한 여러 가지 툴이 포함되어 있습니다. 예측 분석과 데이터 시각화부터 로케이션 인텔리전스(Locat{...}

데이터 웨어하우스란 무엇입니까? 데이터 웨어하우스는 여러 소스의 현재 및 과거 데이터를 비즈니스에서 쉽게 인사이트와 보고서를 얻을 수 있도록 저장하는 데이터 관리 시스템입니다. 일반적으로 데이터 웨어하우스는 비즈니스 인텔리전스(BI), 보고 및 데이터 분석에 사용합니다. 데이터 웨어하우스를 사용하면 운영 시스템(예: POS 시스템, 재고 관리 시스템, 마케팅/영업 데이터베이스)에서 업로드된 비즈니스 데이터를 빠르고 쉽게 분석할 수 있습니다. 데{...}

데이터 인텔리전스는 인공지능(AI) 시스템을 사용하여 조직의 데이터를 학습, 이해 및 추론하는 과정을 말하며, 이를 통해 맞춤형 AI 애플리케이션을 개발하고, 조직 전반에 걸쳐 데이터 접근을 더욱 용이하게 만들 수 있습니다. {...}

데이터의 양, 데이터 소스 및 데이터 유형이 증가함에 따라 조직에서는 해당 데이터를 변환하고 비즈니스 인사이트를 도출하는 데 도움이 되는 도구와 전략에 대한 필요성이 점점 더 커지고 있습니다. 이를 수행하기 전에 진행해야 한 중요한 단계는 정리되지 않은 원시 데이터를 고품질의 정제된 데이터로 처리하는 것입니다. 다음 섹션에서는 데이터 자동화와 사용 방법을 다루고 조직 내에서 데이터 자동화 사례를 구축하기 위한 모범 사례를 살펴봅니다. 데이터 자{...}

데이터와 상호 작용하는 역할을 수행하는 경우 인식하고 있든 아니든 데이터 파이프라인을 접하게 됩니다. 현대의 많은 조직은 다양한 클라우드 기반 플랫폼과 기술을 사용하여 비즈니스를 운영하며, 데이터 파이프라인은 이러한 플랫폼에서 정보에 액세스하는 데 중요한 역할을 합니다. 다양한 유형의 데이터 파이프라인과 사용 방법을 살펴보고 조직에 적합한 데이터 파이프라인을 구축하기 위한 모범 사례를 알아봅니다. 데이터 파이프라인이란 무엇인가요? 데이터 파이프{...}

데이터세트란? 데이터세트는 분석 또는 처리를 위해 함께 구성되고 저장된 데이터의 구조화된 모음입니다. 데이터세트의 데이터는 일반적으로 어떤 식으로든 관련되어 있으며 단일 소스에서 가져오거나 단일 프로젝트용으로 사용됩니다. 예를 들어, 데이터세트에는 비즈니스 데이터(매출 통계, 고객 연락처 정보, 거래 등) 모음이 포함될 수 있습니다. 데이터세트에는 숫자 값부터 텍스트, 이미지, 오디오 녹음에 이르기까지 다양한 유형의 데이터가 포함될 수 있습니다{...}

디지털 트윈이란 무엇입니까? 기존에는 디지털 트윈을 ""물리적 개체를 정확히 반영하도록 설계된 가상 모델""로 정의했습니다. – IBM[KVK4] 디지털 트윈은 분리 또는 지속적인 제조 프로세스를 위해 다양한 IoT 센서를 통해 시스템 및 프로세스 상태 데이터(운영 기술 데이터(OT))를 수집하고, 엔터프라이즈 데이터(정보 기술(IT))를 수집하여 가상 모델을 형성합니다. 이 가상 모델은 그 다음 시뮬레이션을 실행하고 성능 문제를 조사하여 가능{...}

딥러닝이란 무엇입니까? 딥러닝은 머신 러닝의 하위 집합으로, 특히 사람의 뇌 구조와 기능에서 영감을 얻은, 알고리즘을 포함한 대량의 데이터를 다룹니다. 그래서 딥러닝 모델을 종종 심층 신경망이라고 부르는 것입니다. 이는 일반적인 작업별 알고리즘이 아니라 학습 데이터 표현을 기반으로 한 넓은 의미의 머신 러닝 방식에 속합니다. 딥러닝의 작용 원리는 무엇입니까? 딥러닝에서는 컴퓨터 모델이 이미지, 텍스트나 소리에서 직접 분류 작업을 수행하는 법을 {...}

Lambda 아키텍처란 무엇입니까? Lambda 아키텍처는 엄청난 대량의 데이터(즉 “빅데이터”)를 처리하는 방식의 일종으로, 하이브리드 방식으로 일괄 처리나 스트림 처리 방식을 이용할 수 있게 해줍니다. Lambda 아키텍처는 임의 함수 연산 문제를 해결하는 데 쓰입니다. Lambda 아키텍처 자체는 3개의 계층으로 이루어져 있습니다. 배치 계층 새로운 데이터는 데이터 시스템에 일종의 피드 형태로 끊임없이 유입됩니다. 이것을 배치 계층과 속도{...}

리테일용 레이크하우스란 무엇인가요? 리테일용 레이크하우스은 Databricks에서 첫 번째로 출시한 업종별 레이크하우스입니다. 솔루션 액셀러레이터, 데이터 공유 기능과 파트너 에코시스템을 통해 소매업체가 빨리 운영을 정상화하도록 돕습니다. 리테일용 레이크하우스는 기술, 파트너, 도구, 산업 이니셔티브의 정점으로서 데이터 + AI를 중심으로 협업을 강화합니다. 리테일용 레이크하우스는 4가지로 구성됩니다. 통합 데이터 + AI 플랫폼:&n{...}

맞춤형 금융이란 무엇입니까? 금융 상품과 서비스는 점점 더 상품화되고, 미디어와 리테일 산업에서 개인화된 경험을 제공하는 방향으로 나아감에 따라 소비자도 안목을 높여가고 있습니다. 이러한 환경에서 은행이 경쟁력을 유지하려면 지리정보, 자연어 처리(NLP)와 같은 고급 분석을 기반으로 개인화된 인사이트, 추천, 재무 목표 설정, 보고 기능 등을 통해 기존 뱅킹을 뛰어넘는 몰입도 높은 뱅킹 경험을 제공해야 합니다. 오픈 파이낸스라고도 하는 맞춤형 {...}

Apache Spark의 머신 러닝 라이브러리(Machine Learning Library, MLlib)는 단순성, 확장성, 다른 툴과의 통합을 염두에 두고 고안하였습니다. 데이터 사이언티스트는 Spark의 확장성, 언어 호환성과 속도를 활용하여 데이터 문제점과 모델에만 집중할 수 있습니다. 즉 분산형 데이터를 둘러싼 복잡한 문제(인프라, 구성 등)를 해결하는 데 시간을 뺏기지 않아도 됩니다. MLlib은 Spark 기반으로 구축된 확장할 수 {...}

머신 러닝 모델이란 무엇입니까? 머신 러닝 모델이란 이전에 접한 적 없는 데이터 세트에서 패턴을 찾거나 이를 근거로 결정을 내릴 수 있는 프로그램입니다. 예를 들어 자연어 처리의 경우, 머신 러닝 모델은 파싱을 통해 이전에 접한 적 없는 문장이나 단어 조합의 배후 의도를 올바로 인식할 수 있습니다. 이미지 인식의 경우, 머신 러닝 모델이 자동차나 개 등 사물을 인식하도록 교육할 수 있습니다. 머신 러닝 모델은 대규모 데이터 세트로 '교육'하면 {...}

일반적으로 머신 러닝 알고리즘을 실행할 때는 전처리, 기능 추출, 적합한 모델 찾기(model fitting) 과 검증 단계로 구성된 시퀀스를 거쳐야 합니다. 예를 들어 텍스트 문서를 분류하는 경우, 텍스트 조각화와 정리, 특징 추출, 교차 검증을 통한 분류 모델 교육 등의 작업을 거치게 됩니다. 각 단계에 사용할 수 있는 라이브러리는 많지만, 단편적인 정보를 연결해 결론을 내기란 보기보다 어려울 수 있습니다. 특히 대규모 Dataset인 경우{...}

모델 리스크 관리란 잘못된 모델이나 잘못 사용된 모델을 근거로 한 의사 결정으로 인한 잠재적인 나쁜 결과에서 발생하는 리스크를 감독 관리하는 것을 말합니다. 모델 리스크 관리의 목표는 모델 리스크를 파악, 계측하여 완화할 기법과 관행을 동원하는 데 있습니다. 예를 들어 모델 오류나 잘못된 모델 사용 가능성을 알아내는 것입니다. 금융 서비스의 경우, 모델 리스크는 정확도가 충분하지 않은 모델을 사용해 의사 결정을 내려 발생하는 손실 위험입니다. {...}

밀집 텐서는 인접한 순차적 메모리 블록에 값을 저장하는데, 이곳에 모든 값이 표시됩니다. 텐서, 즉 다차원 어레이는 매우 다양한 다차원 데이터 분석 애플리케이션에서 사용됩니다. 텐서 연산을 수행할 줄 아는 소프트웨어 제품은 많습니다. 예를 들어 MATLAB 스위트의 경우, 다양한 오픈 소스 타사 툴박스로 보강되기까지 했습니다. MATLAB 단독으로 다양한 요소 관련 이진수 밀집 텐서 연산을 지원할 수 있습니다. dense 계층은 완전히 연결된 {...}

베이지안 신경망이란 무엇입니까? 베이지안 신경망(Bayesian Neural Networks, BNN)은 과적합(overfitting)을 제어하기 위해 사후 추론을 사용해 표준 네트워크를 연장한 것을 가리킵니다. 넓은 의미에서 보면 베이지안 방식은 통계적인 방법론을 사용해 모델 매개변수(신경망의 가중치와 편향)를 비롯한 모든 것에 확률 분포가 수반된다고 볼 수 있습니다. 프로그래밍 언어에서 특정 값을 취할 수 있는 변수는 해당 변수에 액세스할 {...}

복합 AI 시스템이란 무엇인가요? Berkeley AI 연구(BAIR) 블로그의 정의에 따르면, 복합 AI 시스템이란 상호 작용하는 여러 구성 요소를 결합하여 AI 작업을 처리하는 시스템입니다. 이러한 구성 요소에는 모델, 검색 또는 외부 도구에 대한 다중 호출이 포함될 수 있습니다. 예를 들어, 검색 증강 생성(RAG) 애플리케이션은 모델과 데이터 검색 시스템을 결합하므로 복합 AI 시스템에 해당합니다. 복합 AI 시스템은 다양한 AI 모델,{...}

복합 이벤트 처리(CEP)란 무엇입니까? 복합 이벤트 처리(Complex event processing [CEP])는 다른 말로 이벤트, 스트림 또는 이벤트 스트림 처리라 하며 기술을 사용해 데이터를 쿼리한 다음 데이터베이스 내에 저장하거나, 경우에 따라서는 애초에 전혀 저장하지 않고 쿼리하는 것을 말합니다. 복합 이벤트 처리는 구성 툴의 일종으로, 대량의 서로 다른 정보를 집계하며 실시간으로 여러 이벤트 사이의 인과 관계를 식별 및 분석해줍니{...}

데이터 분석과 빅데이터 분석의 차이 하둡이 발명되기 전에는 현대식 스토리지와 컴퓨팅 시스템의 기저를 이루는 기술이 비교적 기본적이어서, 기업에서는 대부분 "스몰 데이터" 분석만 가능한 한계가 있었습니다. 다만 이렇게 비교적 기본적인 형태의 분석도 어려울 수 있습니다. 특히 새로운 데이터 소스를 통합하는 경우 분석이 쉽지 않습니다. 기존 데이터 분석의 경우, 주로 관계형 데이터베이스(예: SQL 데이터베이스)를 사용하고 구조적 데이터 테이블로 구{...}

생물정보학(Bioinformatics)이란 생물학 데이터를 모은 대규모 컬렉션에서 연산을 통해 지식을 추출하는 학문 분야를 말합니다. 생물정보학은 생물학적 데이터를 저장, 검색, 구성하고 분석하는 데 생물공학 IT를 사용하는 분야를 일컫습니다. 유전체 서열(genome sequencing) 프로젝트나 여타 연구에서 엄청난 양의 데이터가 생성되었는데, 이 데이터 웨이브의 결과 생물학 분야의 난제는 대부분 컴퓨팅 쪽 문제로 바뀌게 되었습니다. 생물{...}

생성형 AI는 인간의 창작, 작업, 커뮤니케이션 방식을 변화시키고 있습니다. Databricks는 생성형 AI의 작동 원리와 향후 방향에 대해 설명합니다. {...}

설비 종합 효율이란 무엇입니까? 설비 종합 효율(Overall Equipment Effectiveness, OEE)은 제조 작업장이 운영되도록 예약된 기간 동안 최대 잠재력 대비 얼마나 활용되는지(시설, 시간 및 자재)를 측정한 것입니다. OEE는 실제 생산적인 제조 시간의 백분율을 파악합니다. OEE는 분리되거나 연속적인 프로세스의 전체 성과를 보여 주는 대시보드입니다. OEE의 최대값은 100%이며, 100%의 OEE는 최대 속도(100%의{...}

수요 예측이란 무엇인가요? 수요 예측은 소비자 수요(=미래의 수익)를 예측하는 과정입니다. 특히, 쇼핑객이 구매할 제품군을 정량적 데이터와 정성적 데이터를 사용하여 예측합니다. 소매업체는 소비자가 원하는 시점에 제품을 제공하지 못해 1조 달러 규모에 이르는 수익을 놓치고 있습니다. 수요 예측에 실패한 기업은 매장에 잘못된 제품을 공급하거나 심지어는 재고가 동이 나기도 합니다. 리테일용 레이크하우스는 수요 예측을 어떻게 지원하나요? 리테일용 레이{...}

스노우플레이크 스키마란 무엇입니까? 스노우플레이크 스키마는 스타 스키마를 확장한 다차원적 데이터 모델로, 차원 테이블을 하위 차원으로 나눕니다. 스노우플레이크 스키마는 OLAP 웨어하우스에 대한 비즈니스 인텔리전스 및 보고, 데이터 마트, 관계형 데이터베이스에 흔히 사용됩니다. 스노우플레이크 스키마에서 엔지니어는 개별 차원 테이블을 논리적 하위 차원으로 나눕니다. 이렇게 하면 데이터 모델이 더 복잡해지만, 애널리스트가 작업하기는 더 쉬우며 특히{...}

스트림 분석은 어떻게 동작합니까? 스트리밍 분석은 이벤트 스트리밍 처리라고도 알려져 있으며, 최신 데이터와 "움직이는" 데이터로 구성된 거대한 데이터 풀을 분석합니다. 이때 사용하는 연속적인 쿼리를 이벤트 스트림이라고 합니다. 이러한 스트림은 한 가지 작업이나 여러 작업의 직접적인 결과로 발생하는 특정 이벤트로 트리거됩니다. 예를 들면, 금융 트랜잭션, 장비 고장, 소셜 포스팅이나 웹사이트 클릭 등 이외에도 측정 가능한 활동 등이 있습니다. {...}

스파크 API는 아파치 스파크 빅데이터 처리 엔진에서 데이터 처리와 분석을 수행하기 위한 프로그래밍 인터페이스(API)입니다. Spark를 다루다 보면 다음과 같은 세 가지 API를 접하게 됩니다. DataFrame, Dataset 그리고 RDD의 세 가지입니다. RDD란 무엇입니까? RDD, 즉 Resilient Distributed Datasets란 분산형 컴퓨팅을 포함한 레코드 컬렉션으로 본질적으로 내결함성이 있고 변경 불가능합니다. 저수{...}

Spark 성능 튜닝이란 무엇입니까? Spark 성능 튜닝은 시스템이 사용하는 메모리, 코어와 인스턴스를 대상으로 기록할 설정을 조정하는 프로세스를 가리킵니다. 이 프로세스를 거치면 Spark에서 흠잡을 데 없는 성능을 보장할 수 있으며, Spark에서 리소스 병목 현상을 예방하는 효과도 있습니다. 데이터 직렬화란 무엇입니까? 메모리 사용량을 줄이기 위해 Spark RDD를 직렬화 형식으로 저장해야 할 수도 있습니다. 데이터 직렬화는 또한 네트{...}

신경망이란 무엇입니까? 신경망이란 뇌 속 뉴런의 망형 구조를 닮은 다층형 구조의 컴퓨팅 모델입니다. 여기에는 서로 연결된 처리 소자, 일명 '뉴런'이라는 것이 있으며 이들이 서로 협력하여 출력 함수를 도출합니다. 신경망은 입력 및 출력 계층/차원으로 구성되며 대부분은 숨겨진 계층도 있습니다. 숨겨진 계층은 입력을 출력 계층에서 사용할 수 있는 무언가로 변환해주는 단위로 구성됩니다. 신경망 아키텍처의 유형: 신경망, 다른 말로 인공 신경망(Art{...}

소매업에서 실시간 데이터는 무엇인가요? 실시간 리테일(Real-time retail)이란 데이터에 실시간 액세스하는 것을 말합니다. 배치 중심 액세스, 분석, 컴퓨팅에서 벗어나면 데이터를 "언제든" 사용할 수 있어 정확하고 시기적절하게 의사결정을 내리고 비즈니스 인텔리전스를 얻을 수 있습니다. 수요 예측, 개인화, 진열 상품 가용성, 도착 시간 예측, 주문 수령과 통합 등의 실시간 사용 사례는 공급망 민첩성을 개선하고 서비스 비용을 낮{...}

실시간 분석이란 무엇인가요? 실시간 분석은 데이터 생성 후 분석까지의 레이턴시를 최소화하면서 생성되는 스트리밍 데이터를 수집하고 분석하는 방법을 의미합니다. 실시간 분석은 개인 맞춤형 광고 또는 제품/서비스, 스마트 가격 책정, 예측적 유지관리와 같이 데이터의 적시성이 중요한 분야에서 사용되는 경우가 많습니다. 실시간 분석은 데이터 스트리밍의 기본 기능을 기반으로 합니다. 데이터 스트리밍이란 무엇인가요? 데이터 처리에는 배치 처리와 스트리밍 처{...}

Apache Spark란 ? Apache Spark는 빅데이터 워크로드에 쓰이는 오픈 소스 분석 엔진입니다. 배치는 물론 실시간 분석과 데이터 처리 워크로드도 처리할 수 있습니다. Apache Spark는 2009년 캘리포니아 대학교 버클리 캠퍼스에서 연구 프로젝트로 시작되었습니다. 연구진은 하둡 시스템에서 처리 작업의 속도를 높일 방법을 강구하고 있었습니다. 이 엔진은 하둡 MapReduce 기반이{...}

Apache Kudu란 무엇입니까? 아파치 쿠두는 아파치 하둡용으로 개발한 무료, 오픈 소스 컬럼 기반 스토리지 시스템입니다. 각각의 행에 낮은 레이턴시(low-latency) 랜덤 액세스, 밀리초 급의 액세스를 지원하며 우수한 분석 액세스 패턴을 제공하는 구조적 데이터용 엔진이며, 널리 보급된 Hadoop Distributed File System [HDFS] 및 HBase NoSQL Database를 연결하기 위해 만든 빅데이터 엔{...}

예측적 유지관리란 무엇입니까? 요컨대, 예측적 유지 관리는 가동 시간과 생산성을 극대화하기 위해 고정된 일정을 따르는 대신 자산의 실제 상태를 기반으로 자산의 유지 관리가 필요한 시기와 수행해야 하는 특정 유지 관리 활동을 알아내는 것입니다. 이는 많은 비용을 초래하는 장비 다운타임을 줄이기 위해 장애를 예측 및 예방하고 적절한 유지 관리 루틴을 수행하는 것입니다. 장비로부터 IoT 및 센서 데이터가 스트리밍되므로 예측적 유지 관리를 통해 제조{...}

오케스트레이션이란 무엇입니까? 오케스트레이션은 여러 개의 컴퓨터 시스템, 애플리케이션 및/또는 서비스를 조율하고 관리하는 것으로, 여러 개의 작업을 함께 연결하여 크기가 큰 워크플로나 프로세스를 실행하는 방식을 취합니다. 이러한 프로세스는 여러 개의 자동화된 작업으로 구성될 수 있으며 관련되는 시스템도 여러 개일 수 있습니다. 오케스트레이션의 목표는 빈도가 높고 반복할 수 있는 프로세스의 실행을 간소화 및 최적화하여 데이터 팀이 복잡한 작업과 {...}

오픈 뱅킹이란 무엇입니까? 오픈 뱅킹은 소비자의 금융 데이터에 대한 액세스 권한을 안전하게 제공하는 수단이며, 모든 것에 고객의 동의가 필요합니다.² 규제, 기술 및 동적 경쟁 환경이라는 요인 때문에 오픈 뱅킹은 은행이 아닌 타사, 소비자 등에 고객 데이터를 민주화할 것을 요구합니다. 혁신은 관련성이 매우 높은 플랫폼 기반 배포를 목표로 산업을 진화시키면서 은행에는 에코시스템과 신규 시장 진출 범위를 확장할 수 있는 다양한 기회를 제공합니다. {...}

이상치 탐지(Anomaly Detection)은 나머지 관측 결과와는 통계적으로 달라 의심을 유발할 수 있는 드문 이벤트나 관측 결과를 알아보는 기법입니다. 그러한 “변칙” 행동은 보통 신용카드 사기 행위, 시스템 오류나 사이버 공격 등 일종의 문제점으로 해석될 때가 많습니다. 금융계의 경우, 감시해야 할 트랜잭션이 수천 건에서 수백만 건에 달하므로 변칙 검색을 이용하면 오류가 발생하는 위치를 짚어내어 근본 원인 분석을 강화하고, 문제에 신속히{...}

자동화 편향이란 무엇입니까? 자동화 편향(Automation bias)은 자동 보조 도구나 의사 결정 지원 시스템에 지나치게 의존하는 것을 말합니다. 자동 의사 결정 보조 도구가 널리 보급되면서 중환자실이나 항공기 조종석과 같이 중대한 의사 결정을 내려야 하는 상황에서 이런 도구를 이용하는 사례가 점점 흔해지고 있습니다. 사람은 인지적인 노력이 가장 적게 필요한 길을 택하여 "자동화 편향"으로 기우는 경향이 있습니다. 같은 개념을 AI와 자동화{...}

Delta Live 테이블 Delta Live Table(DLT)을 사용하면 Delta Lake에서 고품질 데이터를 제공하는 안정적인 데이터 파이프라인을 손쉽게 구축하고 관리할 수 있습니다.   Databricks의 ETL 자세히 알아보기   ETL이란 무엇입니까? 기업에서 다루는 데이터, 데이터 소스와 데이터 유형의 양이 늘어나면서 분석, 데이터 사이언스와 머신 러닝 이니셔티브에 그러한 데이터를 활용하여 비즈니스 인사이트 {...}

딥러닝에서 컨볼루셔널 신경망(Convolutional Neural Network, CNN 또는 ConvNet)이란 심층 신경망의 한 등급으로, 보통 이미지 속에 존재하는 패턴을 인지하는 데 쓰이지만 이외에 공간 데이터 분석, 컴퓨터 비전, 자연어 처리, 신호 처리 및 여타 다양한 용도에도 쓰입니다. 컨볼루셔널 신경망의 구조는 사람의 뇌 속 뉴런의 연결 패턴과 닮은 형태를 취하며 시각 피질(Visual Cortex) 조직에서 영감을 얻었습니다. {...}

Unified Data Warehouse란 무엇입니까? 기업의 통합 데이터베이스인 엔터프라이즈 데이터 웨어하우스에는 한 기업 조직의 각종 비즈니스 정보가 모두 보관되어 있어 회사 전체에서 액세스할 수 있게 해줍니다. 오늘날 대부분 기업에서는 데이터를 서로 격리된 사일로에서 관리하고, 동시에 같은 조직에 소속된 여러 팀에서도 다양한 데이터 관리 툴을 사용해 여러 가지 유형의 데이터를 관리합니다. 예를 들어 데이터 품질, 데이터 통합, 데이터 거버{...}

파케이란 무엇입니까? 아파치 파케이는 효율적인 데이터 스토리지와 검색을 지원하도록 설계되었으며, 컬럼 중심의 오픈 소스 데이터 파일 형식입니다. 복잡한 데이터를 일괄적으로 처리하는 기능을 더욱 향상하여 효율적인 데이터 압축 및 인코딩 방식을 제공합니다. 아파치 파케이는 배치 및 인터랙티브 워크로드에 공통적인 상호 교환 형식을 제공하도록 설계되었습니다. 하둡에서 제공하는 다른 컬럼형 스토리지 파일 형식(즉, RCFile 및 ORC)과 유{...}

머신 러닝을 위한 피처 엔지니어링(Feature engineering) 데이터 처리라고도 불리는 피처 엔지니어링은 가공되지 않은 데이터를 머신 러닝 모델 개발 사용할 수 있는 기능으로 전환하는 프로세스입니다. 이 항목에서는 피처 엔지니어링의 주요 개념과 피처 엔지니어링이 ML 수명 주기 관리에서 수행하는 역할을 설명합니다. 머신 러닝에서 특성은 모델 트레이닝에 사용되는 입력 데이터입니다. 특성은 모델이 학습할 어떤 엔터티의 속성입니다. 가공되지{...}

하둡 에코시스템이란 무엇입니까? Apache Hadoop 에코시스템이란 Apache Hadoop 소프트웨어 라이브러리를 이루는 다양한 구성 요소를 말합니다. 오픈 소스 프로젝트는 물론 광범위한 보조 툴이 많습니다. 하둡 에코시스템 중에서 가장 잘 알려진 툴을 몇 가지만 예로 들면 HDFS, Hive, Pig, YARN, MapReduce, Spark, HBase , Oozie, Sqoop, Zookeeper {...}

아파치 하둡(Apache Hadoop)은 오픈 소스, Java 기반 소프트웨어 플랫폼으로 빅데이터 애플리케이션용 데이터 처리와 스토리지를 관리하는 역할을 합니다. Hadoop 플랫폼은 컴퓨팅 클러스터 내 여러 노드에 걸쳐 Hadoop 빅데이터와 분석 작업을 분배하며, 그 과정에서 작업을 동시에 실행 가능한 작은 크기의 워크로드로 분해합니다. Hadoop의 주요 장점은 확장성, 복원력, 유연성입니다. HDFS(Hadoop Distributed F{...}