メインコンテンツへジャンプ

データの取り込み

Delta Lake へのデータの容易なロード

data-ingestion-hero-video-img

Databricks により、何百ものデータソースからデータを段階的かつ効率的に Delta Lake に取り込むことができます。これにより、レイクハウスに格納された完全で最新のデータをデータサイエンス、機械学習、ビジネス分析に利用できます。

データの取り込みを簡素化

secondary icon

オートローダー

オートローダーを使用して、データレイクにインジェストできるあらゆるファイルを Delta Lake にインジェストします。オートローダーを Amazon S3、Azure Data Lake Storage、Google Compute Storage のようなクラウドストレージサービス上のディレクトリに向けると、オートローダーは新しいファイルを正確に一度のセマンティクスでインクリメンタルに処理します。

graphic

追跡と監視

オートローダーは、どのファイルが処理されたかを追跡し、到着が遅れたデータを発見し、データスキーマを推測し、スキーマの変更を経時的に監視し、データ品質に問題のあるデータを救出します。オートローダーは、数秒以内に連続的にデータを取り込むことも、1 時間に 1 回、1 日に 1 回、1 か月に 1 回など、予想されるデータ到着率に合わせて実行するようスケジュールすることもできます。

Icon Graphic

Copy into

SQL コマンド COPY INTO により、Delta Lake へのバッチファイル取り込みを行うことができます。COPY INTO は正確に一度だけファイルを取り込むコマンドで、入力ディレクトリに数千ファイル以下が含まれ、ユーザーが SQL を好む場合に最適です。COPY INTO は JDBC 上で使用して、都合の良い時にデータを Delta Lake にプッシュすることができます。

Data ingestion Delta Lake
Data ingestion - Data processing

効率的なデータ処理

Databricks を使用すると、Apache Kafka、Azure Event Hubs、AWS Kinesis などの一般的なメッセージキューから低レイテンシでデータを取り込むことができます。これらのソースからデータを Delta Lake に取り込むことで、保持ポリシーによってこれらのサービス内のデータが失われることを心配する必要がなくなります。また、機械学習やビジネス分析アプリケーションを強化するために、より長いデータの履歴を保持することができます。

他のエンタープライズアプリケーションからデータを統合

Azure Data Factory、Fivetran、Qlik、Infoworks、StreamSets、Syncsort などのパートナーによる膨大なデータ取り込みネットワークを活用し、使いやすいコネクタギャラリーからアプリケーション、データストア、メインフレーム、ファイルなどのデータを、使いやすいコネクタギャラリーから Delta Lake に簡単に取り込むことができます。パートナーのエコシステムを活用し、ビッグデータとクラウドベースのアプリケーション、データベース、メインフレーム、ファイルシステムからのデータの組み合わせの可能性を最大限に引き出します。

Data ingestion network of partners

アプリケーションデータベースから変更データキャプチャを Delta Lake に取り込む

ビジネスはアプリケーションデータベースに依存しています。データ分析ユースケースでデータベースを直接利用すると、データベースへの負荷が高すぎるため、ビジネスアプリケーションの中断を引き起こす可能性があります。これらのデータセットをレイクハウスに複製することで、アナリティクスのユースケースで貴重な情報を活用する際に、ビジネスアプリケーションが支障なく動作できるようになります。Azure Data Factory、AWS DMS、Auto Loader などのサービスや、Fivetran などのパートナーを活用することで、これらのデータストアからデータを取り込むことができます。

導入事例

関連リソース

Web セミナー

2022-01-WB-Hassle-Free-Data-Ingestion-Webinar-Series-OG-1200x628-1

eBook

2021-08-EB-Data-Management-101-on-Databricks-OG-1200x628-1

eBook

2022-02-EB-All-Roads-Lead-to-the-Lakehouse-OG-1200x628-1