Data Analysis with Databricks - Japanese

これは、Databricksを用いたデータエンジニアリングを学ぶための適切な入門コースです。

以下に、本コースに含まれる4つの4時間モジュールについてそれぞれ説明します。

1. Lakeflow Connectによるデータ取り込み

このコースでは、多様なデータソースからDatabricksへデータを取り込むためのスケーラブルかつ簡素化されたソリューションとして、Lakeflow Connectの包括的な導入を提供します。まずLakeflow Connect内の各種コネクタ（標準コネクタとマネージドコネクタ）について学び、バッチ処理、増分バッチ処理、ストリーミング処理といった様々なデータ取り込み手法を理解します。その後、Deltaテーブルとメダリオンアーキテクチャの主な利点について確認します。

そこから、Lakeflow Connect スタンダード・コネクタを使用してクラウド・オブジェクト・ストレージからデータを効率的に取り込む実践的なスキルを習得します。具体的には、CREATE TABLE AS (CTAS)、COPY INTO、Auto loaderなどの手法と、各アプローチの利点および考慮事項について学びます。次に、Databricks data intelligence platformへの取り込み時に、ブロンズレベルテーブルにメタデータ列を追加する方法を学びます。続いて、ブロンズテーブルのスキーマに一致しないレコードを扱う「レスキューデータ列」の操作について、このレスキューデータの管理戦略を含めて学習します。

本コースでは、半構造化JSONデータの取り込みと平坦化技術に加え、Lakeflow Connectマネージドコネクタを用いたエンタープライズグレードのデータ取り込み手法についても紹介します。

最後に、学習者は代替データ取り込み戦略（MERGE INTO操作やDatabricks Marketplaceの活用を含む）を探求し、現代的なデータエンジニアリングの取り込みを支える基礎知識を身につけます。 

2. Lakeflowジョブによるワークロードのデプロイ

Lakeflow ジョブを駆使したワークロードのデプロイコースでは、Lakeflow ジョブを用いたデータ、アナリティクス、AI ワークフローのオーケストレーションと自動化手法を学びます。柔軟なスケジューリング、高度なオーケストレーション、信頼性と効率性を高めるベストプラクティスを駆使し、Databricks Data intelligence Platformにネイティブ統合された堅牢で本番環境対応のパイプライン構築技術を習得します。Databricks、Python、SQL の事前知識が推奨されます。

3. Lakeflow Declarative Pipelinesでデータパイプラインを構築する

このコースでは、DatabricksのLakeflow Declarative Pipelinesを使用して、増分バッチまたはストリーミングの取り込みと処理を複数のストリーミングテーブルおよびマテリアライズドビューを通じて行うためのデータパイプライン構築に必要な基本概念とスキルを紹介します。Lakeflow Declarative Pipelinesを初めて使用するデータエンジニア向けに設計されており、増分データ処理、ストリーミングテーブル、マテリアライズドビュー、一時ビューなどのコアコンポーネントについて包括的な概要を提供し、それぞれの具体的な目的と違いを強調します。

取り上げるトピックには以下が含まれます：

⇾ Lakeflowのマルチファイルエディターを使用したSQLによるETLパイプラインの開発とデバッグ（Pythonコード例付き）

⇾ Lakeflow Declarative Pipelinesがパイプライングラフを通じてパイプライン内のデータ依存関係を追跡する方法

⇾ パイプラインのコンピューティングリソース、データ資産、トリガーモード、その他の高度なオプションの設定

次に、本コースではLakeflowにおけるデータ品質の期待値を紹介し、パイプラインに期待値を統合してデータ整合性を検証・強制するプロセスをユーザーにガイドします。学習者はその後、パイプラインを本番環境に展開する方法を探求します。これには、スケジューリングオプション、本番モード、パイプラインのパフォーマンスと健全性を監視するためのイベントログ記録の有効化が含まれます。

最後に、本コースでは、Lakeflow Declarative Pipelines内でAPPLY CHANGES INTO構文を使用してチェンジデータキャプチャ（CDC）を実装し、slowly changing dimensions（SCDタイプ1およびタイプ2）を管理する方法について解説します。これにより、ユーザーはCDCを自身のパイプラインに統合する準備が整います。

4. Unity Catalogによるデータ管理とガバナンス

このコースでは、Databricks Unity Catalogを使用したデータ管理とガバナンスについて学びます。データガバナンスの基礎概念、データレイク管理の複雑性、Unity Catalogのアーキテクチャ、セキュリティ、管理、および詳細なアクセス制御、データ分離、権限管理などの高度なトピックを網羅します。

* 本コースは、アソシエイトデータエンジニア認定試験の合格を目指す学生の準備を支援し、Databricks を使用した上級データエンジニアリングコースを受講するために必要な知識を提供します。

Languages Available: English | 日本語 | Português BR | 한국어

このコースでは、機械学習のためのデータを Databricks を使って準備するための基礎に焦点を当てます。受講者は、従来の機械学習アプリケーション向けに調整されたデータの探索、クリーニング、および整理に必要なスキルを学びます。主なトピックには、データの視覚化、特徴量エンジニアリング、最適な特徴量ストレージ戦略などがあります。受講者は、実践的な演習を通じて、Databricks 内で機械学習用のデータセットを効率よく準備するための実地体験を積むことができます。このコースは、アソシエイトレベルのデータサイエンティストおよび機械学習の担当者向けに設計されており、さらに、データ準備に関する自らの習熟度を高め、機械学習モデルのデプロイメントのための強固な基盤を確立したいと考えている個人にも適しています。

Languages Available: English | 日本語 | Português BR | 한국어

このコースでは、Databricks が提供する機能を使用してビジネスインテリジェンスのニーズに対応する方法を学習します。 AI/BI ダッシュボードと AI/BI Genie。 Databricks データアナリストは、プラットフォーム内に AI/BI ダッシュボードと AI/BI Genie Spaces を作成し、関係者や必要な関係者によるこれらの資産へのアクセスを管理し、これらの資産が編集、更新、または廃止されたときに、そのライフサイクル全体にわたって維持する任務を負います。 このコースでは、ビジネスインサイトのためのダッシュボードを設計し、それをコラボレーターや利害関係者と共有し、それらの資産をプラットフォーム内で維持する方法を参加者に指示することを目的としています。 また、Databricks Data Intelligence Engineを活用した環境の構築と保守を通じて、AI/BI Genie Spacesを活用してセルフサービスアナリティクスをサポートする方法も学びます。

Languages Available: English | 日本語 | Português BR | 한국어 | Español | française