Data Engineering with Databricks - Japanese

これは、Databricksを用いたデータエンジニアリングを学ぶための適切な入門コースです。

以下に、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

1. Lakeflow Connectによるデータ取り込み

このコースでは、多様なデータソースからDatabricksへデータを取り込むためのスケーラブルかつ簡素化されたソリューションとして、Lakeflow Connectの包括的な導入を提供します。まずLakeflow Connect内の各種コネクタ（標準コネクタとマネージドコネクタ）について学び、バッチ処理、増分バッチ処理、ストリーミング処理といった様々なデータ取り込み手法を理解します。その後、Deltaテーブルとメダリオンアーキテクチャの主な利点について確認します。

そこから、Lakeflow Connect スタンダード・コネクタを使用してクラウド・オブジェクト・ストレージからデータを効率的に取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS (CTAS)、COPY INTO、Auto loaderなどの手法と、各アプローチの利点および考慮事項について学びます。次に、Databricks data intelligence platformへの取り込み時に、ブロンズレベルテーブルにメタデータ列を追加する方法を学びます。続いて、ブロンズテーブルのスキーマに一致しないレコードを扱う「レスキューデータ列」の操作について、このレスキューデータの管理戦略を含めて学習します。

本コースでは、半構造化JSONデータの取り込みと平坦化技術に加え、Lakeflow Connectマネージドコネクタを用いたエンタープライズグレードのデータ取り込み手法についても紹介します。

最後に、学習者は代替データ取り込み戦略（MERGE INTO操作やDatabricks Marketplaceの活用を含む）を探求し、現代的なデータエンジニアリングの取り込みを支える基礎知識を身につけます。 

2. Lakeflowジョブによるワークロードのデプロイ

Lakeflow ジョブを駆使したワークロードのデプロイコースでは、Lakeflow ジョブを用いたデータ、アナリティクス、AI ワークフローのオーケストレーションと自動化手法を学びます。柔軟なスケジューリング、高度なオーケストレーション、信頼性と効率性を高めるベストプラクティスを駆使し、Databricks Data intelligence Platformにネイティブ統合された堅牢で本番環境対応のパイプライン構築技術を習得します。Databricks、Python、SQL の事前知識が推奨されます。

3. Lakeflow Declarative Pipelinesでデータパイプラインを構築する

このコースでは、DatabricksのLakeflow Declarative Pipelinesを使用して、増分バッチまたはストリーミングの取り込みと処理を複数のストリーミングテーブルおよびマテリアライズドビューを通じて行うためのデータパイプライン構築に必要な基本概念とスキルを紹介します。Lakeflow Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントについて包括的な概要を提供し、それぞれの具体的な目的と違いを強調します。

取り上げるトピックには以下が含まれます：

⇾ Lakeflowのマルチファイルエディターを使用したSQLによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

⇾ Lakeflow Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

⇾ パイプラインのコンピューティングリソース、データ資産、トリガーモード、その他の高度なオプションの設定

次に、本コースではLakeflowにおけるデータ品質の期待値を紹介し、パイプラインに期待値を統合してデータ整合性を検証・強制するプロセスをユーザーにガイドします。学習者はその後、パイプラインを本番環境に展開する方法を探求します。これには、スケジューリングオプション、本番モード、パイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化が含まれます。

最後に、本コースでは、Lakeflow Declarative Pipelines内でAPPLY CHANGES INTO構文を使用してチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法について解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

4. データエンジニアリングのためのDevOps要点

このコースでは、Databricks を使用するデータエンジニア向けに特別に設計された、ソフトウェアエンジニアリングのベストプラクティスと DevOps の原則について説明します。 参加者は、コード品質、バージョン管理、ドキュメンテーション、テストなどの主要なトピックで強力な基盤を構築します。 このコースではDevOpsに重点を置き、コアコンポーネント、利点、およびデータエンジニアリングワークフローの最適化における継続的インテグレーションと継続的デリバリー(CI/CD)の役割について説明します

PySpark でモジュール性の原則を適用して、再利用可能なコンポーネントを作成し、コードを効率的に構造化する方法を学習します。 実践的な経験には、pytest フレームワークを使用した PySpark 関数の単体テストの設計と実装、その後の DLT と Workflows を使用した Databricks データパイプラインの統合テストが含まれ、信頼性を確保します

このコースでは、Databricks Git フォルダーを使用した継続的インテグレーションのプラクティスの統合など、Databricks 内の基本的な Git 操作についても説明します。 最後に、REST API、CLI、SDK、Databricks アセットバンドル (DAB) など、Databricks アセットのさまざまなデプロイ方法の概要を説明し、パイプラインをデプロイして管理する手法に関する知識を身に付けます

このコースを修了すると、ソフトウェアエンジニアリングとDevOpsのベストプラクティスに習熟し、スケーラブルで保守可能、かつ効率的なデータエンジニアリングソリューションを構築できるようになります。

Languages Available: English | 日本語 | Português BR | 한국어 | Español