Databricks Unityカタログのシステムテーブルを使用したLakehouseセキュリティ監視の改善
翻訳：Junichi Maruyama. - Original Blog Link データフォワード組織にとってレイクハウスがますますミッションクリティカルに なるにつれて、予期せぬイベント、停止、セキュリティインシデントが新たな予期せぬ方法で業務を頓挫させるリスクも高まっています。Databricks は いくつかの重要な観測可能性機能 を提供し、顧客がこの新しい脅威のセットを先取りし、かつてないほどレイクハウスを可視化できるように支援します。 セキュリティの観点から、組織が現代社会に適応する方法の 1 つは、 ゼロ トラスト アーキテクチャ (ZTA) モデルに従うことによって、「信頼せず、常に検証する」という原則に頼ることです。このブログでは、 Databricks Lakehouse Platform 上でZTAを始める方法を紹介し、一連のSQLクエリとアラートを自動生成するDatabricks Notebookを共有します。もしあなたが普段このようなことにTerraformを使っているのであれば、...
Terraform Databricksのモジュールを発表
Original: Announcing Terraform Databricks modules 翻訳: junichi.maruyama Databricks Terraformプロバイダー は1,000万インストールを突破し、 一般提供開始 後1年未満で大幅に採用が増えました。 この重要なマイルストーンはTerraformとDatabricksプロバイダーが、Lakehouse Platformのインフラ展開と管理を自動化するために、多くのお客様に広く利用されていることを示すものです。 インフラの維持、管理、拡張を容易にするために、DevOpsチームはTerraform モジュール と呼ばれるモジュール化された再利用可能なコンポーネントを使用してインフラを構築します。Terraformモジュールによって、複数のユースケースや環境にわたって同じコンポーネントを簡単に再利用することができます。また、組織全体でリソースを定義し、ベストプラクティスを採用するという標準的なアプローチを強制することができます。一貫性に
ソフトウェア開発およびDevOpsのベストプラクティスをDelta Live Tableパイプラインに適用
Original Blog : Applying software development & DevOps best practices to Delta Live Table pipelines 翻訳： junichi.maruyama Databricks Delta Live Tables（DLT）は、データエンジニアが記述・維持する必要のあるコード量を減らすことで、堅牢なデータ処理パイプラインの開発を根本的に簡素化します。また、環境間でコードとパイプラインの構成をシームレスに推進できるようにしながら、データのメンテナンスとインフラ運用の必要性を低減します。しかし、パイプラインに含まれるコードのテストを行う必要があり、それを効率的に行う方法についてよく質問を受けます。 このブログでは、複数のお客様との共同作業の経験に基づき、以下の項目を取り上げます： DevOpsのベストプラクティスをDelta...