フルデルタライブテーブルパイプライン - ローン

このデモは、データエンジニアリングをすべての人に利用可能にするETLフレームワーク、Delta Live Tablesの紹介です。あなたの変換をSQLまたはPythonで単純に宣言し、DLTがあなたのためにデータエンジニアリングの複雑さを処理します：

• ETL開発の加速：シンプルなパイプラインの開発とメンテナンスにより、アナリストとデータエンジニアが迅速に革新を進めることができます
• 運用の複雑さを排除する：複雑な管理タスクを自動化し、パイプライン操作への広範な視野を得ることにより
• ビルトインの品質管理と品質モニタリングにより、正確で有用な BI、データサイエンス、ML を実現します。
• バッチとストリーミングの簡素化：バッチまたはストリーミング処理のための自己最適化と自動スケーリングデータパイプライン

このデモでは、お客様のローンと過去の取引に関する情報を含む生のデータセットを入力として使用します。私たちの目標は、ほぼリアルタイムでこのデータを取り込み、アナリストチームのためのテーブルを作成しながら、データ品質を確保することです。

 

デモをインストールするには、無料のDatabricksワークスペースを取得し、Pythonノートブックで以下の2つのコマンドを実行してください。

Dbdemosは、ワークスペースに完全なDatabricksデモをインストールするPythonライブラリです。Dbdemosはノートブック、Delta Live Tablesパイプライン、クラスター、Databricks SQLダッシュボード、ウェアハウスモデルをロードして開始します... dbdemosの使い方をご覧ください

 

DbdemosはGitHubプロジェクトとして配布されています。

詳細については、GitHubのREADME.mdファイルをご覧いただき、ドキュメンテーションに従ってください。
Dbdemosはそのまま提供されています。詳細については、ライセンスと通知をご覧ください。
Databricksは、dbdemosおよび関連資産に対して公式のサポートを提供していません。
問題が発生した場合は、チケットを開いてデモチームに報告してください。ベストエフォートで対応します。