Azure Databricks

Azure Databricks にサインインするには、Azure Active Directory（Azure AD）を使用したシングルサインオンが最適です。Azure Databricks は、Azure AD を利用する自動ユーザープロビジョニングをサポートしており、新規ユーザーの作成、適切なアクセス権限の付与、ユーザーの削除に伴うアクセスのプロビジョニング解除が可能です。

Azure Databricks の ADLS へのネイティブコネクタは、データレイクへの複数のアクセス方法をサポートしています。Azure Active Directory の認証情報パススルーにより、Azure Databricks へのアクセスと同一の Azure AD 認証が使用できるため、データアクセスのセキュリティ管理がシンプルになります。また、データアクセスは、事前に設定した ADLS のロールとアクセス制御リストによって管理されます。

Azure Data Factory（ADF）を使用して Azure Databricks のジョブをシームレスに実行し、90 以上のビルトインデータソースコネクタを活用して、全てのデータソースを単一のデータレイクに取り込みます。ADF は、ビルトインおワークフロー制御、データ変換、パイプラインのスケジューリング、データ統合など多くの機能を提供し、信頼性の高いデータパイプラインの作成を支援します。

Azure Databricks は、MLflow を介して Microsoft の Azure Machine Learning （AML）と統合して ML 実験を一元追跡し、Azure コンテナにモデルを展開してオンデマンド推論を実行します。また、Azure Databricks では、AML SDK を介した AML の自動機械学習機能の使用が可能です。

Azure Databricks は、Azure の各種サービスとの統合により、Microsoft の Web／モバイルアプリケーションにおける分析、BI、データサイエンスの展開を可能にします。また、Azure Databricks と Azure Synapse 間の高性能コネクタが、ストリーミングデータを含むサービス間のデータ転送を高速化します。

レイクハウス戦略に求められる主要な機能の 1 つは、データレイクのデータを BI ツールで直接、効率的かつセキュアに活用できることです。データレイクからデータウェアハウスにデータをコピーする従来のフローが不要になるため、余分なレイテンシ、コンピューティング、ストレージコストを回避できます。また、Power BI の Azure Databricks コネクタによって、データレイクに保存されているデータの、セキュアかつインタラクティブな視覚化が可能になります。

Azure Databricks は Azure DevOps と連携し、継続的インテグレーションと継続的デリバリー（CI/CD）の実施を支援します。また、Azure DevOps を Git プロバイダとして構成することで、バージョン管理機能を利用できます。

Azure Databricks の展開は、デフォルトでは、仮想ネットワーク（VNet）を含む Azure 上のフルマネージドサービスとなります。Azure Databricks は、ネットワークセキュリティルールの完全な制御を可能にする独自の仮想ネットワーク内での展開（VNet インジェクションとも呼ばれる）もサポートしています。

リアルタイムデータインジェストサービスの Azure Event Hubs を Azure Databricks に接続し、メッセージを受信した時点で処理することで、ライブストリーミングデータを分析できます。Event Hubs と Azure Databricksre の統合により、あらゆる IoT デバイスや Web サイトのクリックストリームのログからの毎秒数百万件のイベントのストリーミングおよびリアルタイム処理が可能になります。

Azure Key Vault との統合により、キーやパスワードなどの機密情報を管理します。デフォルトでは、全ての Azure Databricks のノートブックとその結果は保存時に別の暗号化キーで暗号化されます。暗号化キーを自分で管理する Bring Your Own Key (BYOK) 機能も利用できます。