Databricks on Google Cloudの新しいプラットフォームセキュリティ制御でワークスペースを保護する

Databricks on Google Cloudのいくつかの主要なセキュリティ機能の一般提供（GA）を発表できることを嬉しく思います：

• プライベート・サービス・コネクト（PSC）によるプライベート接続
• 顧客が管理する暗号化キー
• アカウント・コンソールおよびAPIアクセス用のIPアクセス・リスト

Databricks では、データはお客様の最も貴重な資産であると認識しています。 これらの重要なセキュリティ機能のGAを使用することで、Databricks Lakehouse Platform上で静止状態のデータを保護し、データを非公開に保ち、データ流出のリスクを軽減することができます。

このブログでは、よくあるセキュリティの質問を取り上げ、Google Cloudで利用できるようになった新しいセキュリティ機能と機能を説明します。

プライベート・サービス・コネクトによるエンド・ツー・エンドのプライベート・ワークスペース

ほとんどの企業顧客は、ユーザーとワークロードがプライベートで隔離された環境でセキュリティデータを処理できるようにしたいと考えています。 Databricksを使用すれば、ネットワークの境界を保護し、顧客管理の仮想プライベートクラウド（VPC）とプライベートサービスコネクト（PSC）を使用してエンドツーエンドのプライベート接続を構成できます。 これには以下が含まれています：

1. クライアントから Databricks ウェブアプリケーションおよび API にプライベート接続する機能。 Databricksは、ワークスペースへのアクセスを許可されたVPCエンドポイントとパブリックIPアドレスのみに制限する機能。
2. 顧客が管理するVPC内のDatabricksコンピュートリソース（データプレーン）とDatabricksワークスペースコアサービス（コントロールプレーン）をプライベート接続する機能。

Private Service Connectは、GAレベルの機能を備えた限定公開版として、Google Cloudのお客様がDatabricksワークスペースで利用できるようになりました。 PSC対応のプライベート・ワークスペースは、漏洩した認証情報を使用した不正なネットワークからのアクセスや、インターネット上でのデータの暴露など、いくつかのデータ流出リスクを軽減するのに役立ちます。

最近のDatabricks on Google Cloud Security Best Practices ブログでは、顧客管理 VPC、Private Service Connect、IP ACL などの機能を使用して Databricks 環境を分離し、データを保護する方法について説明しています。

顧客管理キーで静止データを保護

Databricks では、マネージドサービス内でデフォルトですべてのデータを暗号化します。 コントロールと可視性を追加するために、いくつかの企業顧客はCloud KMSで自社が管理する暗号化キーでデータを保護する機能も必要としています。

Databricks のカスタマー・マネージド・キーによる暗号化機能は、Databricks のマネージド・サービスおよびワークスペース・ストレージに保存されているデータを保護するために、独自の暗号化キーを持ち込むことができます：

• マネージド・サービス用の顧客管理鍵：Databricksのコントロールプレーンにあるマネージドサービスのデータは、静止時に暗号化されます。 マネージド・サービス用の顧客管理キーを追加することで、以下のタイプの暗号化データへのアクセスを保護および制御することができます：
  • コントロールプレーンに保存されるノートブックのソースファイル
  • コントロールプレーンに保存されているノートブックの結果
  • シークレットマネージャーAPIによって保存されたシークレット
  • DatabricksのSQLクエリとクエリ履歴
  • Git と Databricks Repos との統合を設定するために使用される個人アクセストークンまたはその他の認証情報
• ワークスペース・ストレージ用の顧客管理キー：Databricksは、ワークスペース・ストレージ用の顧客管理キーの設定もサポートしており、データの保護とアクセス制御を支援します。 ワークスペースの作成時に指定したGoogle Cloudプロジェクトに関連付けられたGCSバケット上のデータを暗号化するために、独自のキーを設定することができます。 同じキーは、クラスタのGCE永続ディスクの暗号化にも使用されます。

IPアクセスリストでネットワーク境界を保護

IP アクセスリスト (IP ACL) を使用すると、インターネット経由で Databricks リソースへのアクセスを許可されたネットワークを制御することができます。 IP ACLは、盗まれた認証情報を使用した不正アクセスのリスクを低減し、コンプライアンス要件を満たすのに役立ちます。 例えば、特定の業界や規制の枠組みは、地理的な場所や特定のIPに基づいて、データやアプリケーションへのアクセスを制限することを組織に要求します。

現在Google Cloudで一般的に利用できるDatabricksのIP ACLには2種類あります：

• ワークスペースの IP アクセスリストを使用すると、ユーザやクライアントが承認された企業ネットワークまたは承認された IP アドレスのセットからのみサービスに接続できるように Databricks ワークスペースを設定できます。
• アカウントコンソールのIPアクセスリストにより、アカウント所有者とアカウント管理者は、安全な境界と承認されたIPアドレスのセットを持つ既存の企業ネットワークを通じてのみ、アカウントコンソールUIとアカウントAPIなどのアカウントレベルのREST APIに接続することができます。 アカウント所有者と管理者は、アカウントコンソールUIまたはREST APIを使用して、許可およびブロックされたIPアドレスとサブネットを設定できます。

Google Cloud上のDatabricksでPrivate Service Connect、CMK、IP ACLを使い始める

Google CloudのPremium Tierでは、Private Service Connect、顧客管理キー、IP ACLを利用できます。 Databricks ワークスペースにこれらの機能を設定するためのステップバイステップの手順については、ドキュメント(Private Service Connect|CMK|IP ACLs) を参照してください。 Private Service Connect (PSC) を使用した Databricks のプライベート接続のサポートは、GA レベルの機能で限定的な提供となっています。 Databricksの担当者までご連絡ください。

Databricksのセキュリティ対策とお客様向け機能の詳細については、セキュリティ＆トラストセンターをご覧ください。