サーバーレスおよびモデルサービングワークロード向けエグレス制御機能が利用可能に
DatabricksのサーバーレスおよびMosaic AI Model Servingワークロード向けの エグレス制御 が、AWSおよびAzureでパブリックプレビューとして提供開始されたことをお知らせします！ これにより、複数の製品やワークスペースにわたるサーバーレスワークロードからのアウトバウンドアクセスを一元的に制御するポリシーを設定できるようになりました。 サーバーレスイグレス制御を使用することで、Databricksのサーバーレス機能の柔軟性とコスト効率を活かしながら、データの不正転送先への流出から保護することができます。 今回のリリースにより、Model Serving、ノートブック、ワークフロー、Delta Live Tables（DLT）パイプライン、Lakehouseモニタリング、Databricks SQL、Databricks Appsでサーバーレスエグレス制御が利用可能になります。 Databricksサーバーレスエグレス制御のメリット データセキュリティを強化する サーバーレスのエグレス
VulnWatch：AIによる脆弱性の優先順位付け
多くの組織は、自社で使用するサードパーティライブラリに影響を与える新たな脆弱性の優先順位を正しく付けることに課題を抱えています。日々発表される脆弱性の数が膨大で、手動で監視するのは現実的ではなく、リソースを大量に消費します。 Databricksでは、企業の目標の一つとして、データイン テリジェンスプラットフォームのセキュリティを強化することがあります。弊社のエンジニアリングチームは、脆弱性が公開されると同時に、その深刻度、潜在的影響、およびDatabricksのインフラに対する関連性に基づいて、脆弱性を積極的に検出、分類、優先順位付けするAIベースのシステムを設計しました。このアプローチにより、重大な脆弱性が見逃されるリスクを効果的に軽減できます。弊社のシステムは、業務にとって重要な脆弱性を約85％の精度で識別できます。優先順位付けアルゴリズムを活用することで、セキュリティチームは手動作業を95％以上削減し、数百件の問題を確認するのではなく、即時対応が必要な脆弱性の5％に集中できるようになりました。 次のステップ
マネージドAzureリソースへのアウトバウンドアクセスを包括的にカバーするAzure Private Linkの提供開始を発表！
Azure Private LinkがDatabricksサーバーレスおよびMosaic AIモデル提供ワークロード向けに一般提供（GA）となったことをお知らせします！ これにより、Databricks SQL、Jobs、Notebooks、Delta Live Tables、Mosaic AIモデル提供のCPU/GPUエンドポ イントから、Azure Data Lake Storage（ADLS）やマネージドAzureリソースへのプライベート接続が可能になります。また、本日、Azure OpenAIやAzure SQLなど、 60以上のAzureファーストパーティリソース への新たなサポートも導入しました。今年初めに発表した DBSQLウェアハウスからAzure Storageへのプライベートリンクサポート に加え、さらに強化された内容となっています。 Azure Private Link は、クラウドストレージ、シークレット、SQLデータベース、AIモデルなどの顧客リソースへのアウトバウンドアクセスにおいて、パ
未来を守る：生成型AIの時代におけるAIエージェントシステムを保護するAIゲートウェイの役割
未来：ルールエンジンから指示に従うAIエージェントシステムへ 銀行や保険などのセクターでは、ルールエンジンは長い間、意思決定において重要な役割を果たしてきました。銀行口座の開設資格を決定したり、保険請求を承認したりするかどうか、これらのエンジンは事前に定義されたルールを適用してデータを処理し、自動的な決定を下します。これらのシステムが失敗すると、人間 の主題専門家（SMEs）が例外処理を行います。 しかし、指示に従うGenAIモデルの出現は、ゲームを変えることになるでしょう。静的なルールエンジンに頼るのではなく、これらのモデルは特定のルールデータセットで訓練され、複雑な決定を動的に行うことができます。例えば、指示に従うモデルは、リアルタイムで顧客の金融履歴を評価し、ローン申請を承認または拒否することができます。ハードコーディングされたルールは必要ありません。データに基づいて決定を下す訓練されたモデルだけです。 この変化は、より大きな柔軟性と効率性をもたらしますが、重要な問いを提起します： 伝統的なルールエンジンを置
Databricksのオープンソースセキュリティ強化！
Databricksの製品セキュリティチームは、その製品のセキュリティと完全性を確保することに深く取り組んでいます。これらの製品は、さまざまなオープンソースプロジェクトの上に構築され、それらと統合されています。これらのオープンソースの基盤の重要性を認識し、チームはこれらのプロジェクトのセキュリティに積極的に貢献し、その結果、Databricks製品とオープンソースエコシス テム全体のセキュリティ姿勢を向上させています。このコミットメントは、脆弱性の特定と報告、パッチの提供、オープンソースプロジェクトのセキュリティレビューと監査への参加など、いくつかの主要な活動を通じて具体化されています。これにより、Databricksは自社の製品を保護するだけでなく、依存しているオープンソースプロジェクトのレジリエンスとセキュリティを支援します。 このブログでは、チームが発見したいくつかの脆弱性の技術的詳細を概説します。 CVE-2022-26612 : Hadoop FileUtil unTarUsingTarシェルコマンドイン
Databricks Data Intelligence Platformのためのセキュリティベストプラクティス
Databricksでは、データが最も価値のある資産の一つであることを理解しています。当社の製品とセキュリティチームは協力して、セキュリティリスクに対抗し、コンプライアンスの義務を満たすことができるエンタープライズグレードの データインテリジェンスプラットフォーム を提供します。過去1年間で、 Azure Private Link for Databricks SQL Serverless によるデータアクセスの保護、 Azure firewall support for Workspace storage によるデータのプライバシー保護、 Azure confidential computing による使用中のデータ保護、 FedRAMP...
Lakehouse Monitoring 一般提供開始：インテリジェントなデータ品質のプロファイリング、診断、実施
Data and AI Summitで、我々は Databricks Lakehouse Monitoring の一般提供開始を発表しました。データとAIの監視に対する統一的なアプローチにより、 Databricks Data Intelligence Platform 内で直接プロファイルを作成し、診断し、品質を強制することが容易になります。これは直接 Unity Catalog 上に構築されており、Lakehouse Monitoring ( AWS | Azure )は追加のツールや複雑さを必要としません。ダウンストリームプロセスが影響を受ける前に品質問題を発見することで、組織はデータへのアクセスを民主化し、データへの信頼を回復することができます。 なぜデータとモデルの品質が重要なのか...
Databricks が AWS GovCloud 上で FedRAMP High agency ATO を取得、現在パブリックプレビュー中
私たちは、Databricks on AWS GovCloudが現在 パブリックプレビュー 中であること、そして最近、最初の FedRAMP® High Agency ATO を獲得したことを発表できることを嬉しく思います！ 国際武器取引規制（ITAR）およびHIPAAのユースケースをサポートする準備が整いました。間もなく国防総省影響レベル 5 (IL5) の暫定認可が得られる予定です。 本日の発表は、Databricks にとってエキサイティングな コンプライアンスマイルストーン の最新版です。 これは、FedRAMP Highのスポンサー機関とプレビューのお客様の功績を称えるものであり、 米国市民権移民サービス 、メディケアおよびメディケイドサービスセンター、米国食品医薬品局のような公共部門のお客様が、市民サービスの向上とミッションの成功を達成するためのデータインテリジェンスの約束を実現するための支援に重点を置いていることを反映しています。...
DatabricksデータインテリジェンスプラットフォームとHiddenLayerモデルスキャナによるサードパーティ製モデルの安全なデプロイ
イントロダクション 組織が機械学習、AI、および大規模言語モデル（LLM）を導入する能力は、「 モデル動物園 」の普及のおかげで近年加速しています。これは、画像認識、自然言語処理、社内チャットボット、アシスタ ントなどに関する最先端の能力を備えた事前トレーニング済みのモデル/LLM が含まれる Hugging Face や TensorFlow Hub などのパブリックリポジトリを指します。 サードパーティモデルのサイバーセキュリティリスク モデル動物園は便利ですが、悪意のある行為者が悪意のある利益のためにパブリックリポジトリのオープンな性質を悪用する可能性があります。 例えば、私たちのパートナーである HiddenLayer 社による最近の研究では、 公開されている機械学習モデルがランサムウェアによって武器化される可能 性や、攻撃者が HuggingFaceのサービス を乗っ取り、プラットフォームに提出されたモデルをハイジャックする可能性を特定しました。 これらのシナリオは、トロイの木馬によるモデルと、モデルのサ
Databricks AIセキュリティフレームワーク（DASF）の紹介
Databricks AI Security Framework（DASF）バージョン1.0 のホワイトペーパーを発表できることを嬉しく思います！ このフレームワークは、ビジネス、IT、デ ータ、AI、セキュリティの各グループのチームワークを向上させるように設計されています。 本書は、実際の攻撃観察に基づくAIセキュリティリスクの知識ベースをカタログ化することで、AIとMLの概念を簡素化し、AIセキュリティに対する徹底的な防御アプローチを提供するとともに、すぐに適用できる実践的なアドバイスを提供します。 機械学習（ML）と生成AI（GenAI）は、イノベーション、競争力、従業員の生産性を高めることで、仕事の未来を変革します。 しかし、企業は人工知能（AI）技術を活用してビジネスチャンスを得ると同時に、データ漏洩や法規制の不遵守など、潜在的なセキュリティおよびプライバシーリスクを管理するという二重の課題に取り組んでいます。 このブログでは、DASFの概要、組織のAIイニシアチブを保護するためにDASFを活用する方法、