Databricks アセットバンドル の一般提供開始のお知らせ
Databricks Asset Bundles(DABs)のGA(General Availability )を発表できることを嬉しく思います。 DABsを利用することで、ジョブ、パイプライン、ノートブックなどのリソースを簡単にまとめて、プロジェクトを一つの単位としてバージョン管理、テスト、デプロイ、共同作業ができます。DABsはDatabricksプラットフォームでのデータとAIプロジェクトにおけるソフトウェアエンジニアリングのベストプラクティスを取り入れるための強力なサポートを提供します。また、すべてのデータ資産をコードとして扱い、ソースコントロール、コードレビュー、テスト、継続的インテグレーションおよびデリバリー(CI/CD)をスムーズに行えるよう支援します。すでに数百の顧客が本番環境でDABsを使用している今、この機能をすべての顧客に提供できることを楽しみにしています。 コラボレーションと自動化の強化 :プロジェクト向けDABsの活用 DABsは、データとAIプロジェクトを記述するシンプルで宣言的な形式
Databricksアセットバンドルのパブリックプレビューを発表:簡単にソフトウェア開発のベストプラクティスを適用可能に!
翻訳:Saki Kitaoka. - Original Blog Link Databricksアセットバンドル( Databricks Asset Bundles )が現在パブリックプレビューで利用可能になりました! 略して「バンドル」と呼ばれるこれらは、ソースコントロール、コードレビュー、テスト、継続的インテグレーションおよびデリバリー(CI/CD)を含む、ソフトウェアエンジニアリングのベストプラクティスの採用を容易にします。バンドルによって、データエンジニア、データサイエンティスト、およびMLエンジニアは、データ、分析、およびAIプロジェクトをソースファイルとして表現することができます。これらのソースファイルは、プロジェクトのエンドツーエンドの定義を提供し、Lakehouseにどのようにテストおよびデプロイされるべきかを含みます。この定義は、簡単に編集、テスト、およびデプロイすることができます。 テストとデプロイを自動化する CI/CDは、現代のソフトウェア開発において本質的であり、テストとデプロイを自動化
Databricks Workflows によるレイクハウスの本番 dbt プロジェクトのオーケストレーション
信頼性の高いレイクハウスのオーケストレーターである Databricks Workflows が、パブリックプレビューで dbt プロジェクトのオーケストレーションをサポートするようになったことをお知らせします。このプレビューでは、データチームがノートブックから ML モデルまで、レイクハウスの全ての機能とともに dbt プロジェクトを調整することができます。この機能により、オープンソース dbt のユーザーは、SQL を使ったデータ変換や、レイクハウス全体のデータおよび ML パイプラインの監視と保守を簡単に行うことができます。 ジョブが実行されると、dbt プロジェクトが Git リポジトリ から取得され、単一ノードのクラスタが構築され、そこに dbt-core とプロジェクトの依存関係がインストールされます。dbt で生成された...