Databricks アセットバンドル の一般提供開始のお知らせ
Databricks Asset Bundles（DABs）のGA（General Availability ）を発表できることを嬉しく思います。 DABsを利用することで、ジョブ、パイプライン、ノートブックなどのリソースを簡単にまとめて、プロジェクトを一つの単位としてバージョン管理、テスト、デプロイ、共同作業ができます。DABsはDatabricksプラットフォームでのデータとAIプロジェクトにおけるソフトウェアエンジニアリングのベストプラクティスを取り入れるための強力なサポートを提供します。また、すべてのデータ資産をコードとして扱い、ソースコントロール、コードレビュー、テスト、継続的インテグレーションおよびデリバリー（CI/CD）をスムーズに行えるよう支援します。すでに数百の顧客が本番環境でDABsを使用している今、この機能をすべての顧客に提供できることを楽しみにしています。 コラボレーションと自動化の強化 ：プロジェクト向けDABsの活用 DABsは、データとAIプロジェクトを記述するシンプルで宣言的な形式
Databricksが2024 Google Cloud Partner of the Year Awardを受賞
Databricksが、データ - 人工知能と機械学習部門で2024年のGoogle Cloud テクノロジー パートナー オブ ザ イヤーを受賞したことを発表できることを嬉しく思います。この賞は、Google Cloudを活用して効率性を高め、コストを削減し、イノベーションを推進しているトップパートナーを表彰するものです。 この成果は、Google Cloudとシームレスに統合された統合データ インテリジェンス プラットフォームを提供するという当社のパートナーシップの強さと取り組みを強調しています。 この承認は、共通の顧客にGoogle Cloud上でシームレスで最先端のデータとAIエクスペリエンスを提供するというDatabricksの献身的な姿勢を強調しています。 Databricksの使命は、Google Cloudを利用するすべてのお客様にデータインテリジェンスを提供することで、企業が独自のAIシステムを構築するために独自のデータを理解し、利用できるようにすることです。 このミッションは、Databric
DatabricksデータインテリジェンスプラットフォームとHiddenLayerモデルスキャナによるサードパーティ製モデルの安全なデプロイ
イントロダクション 組織が機械学習、AI、および大規模言語モデル（LLM）を導入する能力は、「 モデル動物園 」の普及のおかげで近年加速しています。これは、画像認識、自然言語処理、社内チャットボット、アシスタントなどに関する最先端の能力を備えた事前トレーニング済みのモデル/LLM が含まれる Hugging Face や TensorFlow Hub などのパブリックリポジトリを指します。 サードパーティモデルのサイバーセキュリティリスク モデル動物園は便利ですが、悪意のある行為者が悪意のある利益のためにパブリックリポジトリのオープンな性質を悪用する可能性があります。 例えば、私たちのパートナーである HiddenLayer 社による最近の研究では、 公開されている機械学習モデルがランサムウ ェアによって武器化される可能 性や、攻撃者が HuggingFaceのサービス を乗っ取り、プラットフォームに提出されたモデルをハイジャックする可能性を特定しました。 これらのシナリオは、トロイの木馬によるモデルと、モデルのサ
Unity Catalog ガバナンスの実際の動作：モニタリング、レポーティング、リネージ
Databricks Unity Catalog（UC）は、クラウドやデータプラットフォームにわたる企業のすべてのデータとAI資産に対して、単一の統合ガバナンスソリューションを提供します。 このブログでは、 Unity Catalog Governance Value Levers（ガバナンス ・バリュー・レバー ）をより深く掘り下げ、包括的なデータとAIのモニタリング、レポーティング、リネージを通じて、具体的にどのようにポジティブなビジネス成果を実現しているかを紹介します。 従来の非統合ガバナンスに伴う全体的な課題 Unity Catalog Governance Value Levers ブログでは、情報セキュリティ、アクセス制御、利用監視、ガードレールの制定、データ資産からの「唯一の信頼できる情報源」の洞察の取得など、ガバナンスの組織的重要性の「理由」について議論しました。 Databricks UCがなければ、従来のガバナンスソリューションではもはやニーズに対応できません。 議論された主な課題には、複数のベ
次世代の消費者体験を提供：DatabricksとAdobeが戦略的パートナーシップを発表
Steve Sobel - グローバルインダストリーリーダー、コミュニケーション、メディア & エンターテインメントによる記事 本日、DatabricksとAdobeは戦略的パートナーシップを発表し、両社の顧客がデータの価値をより良く引き出し、よりスマートな消費者体験をスケールアップして提供できるよう支援することを発表します。 お客様は、DatabricksデータインテリジェンスプラットフォームとAdobe Experience Platformおよびそのアプリケーションの間でデータをシームレスにマージし、DatabricksとAdobeの間に独自のモデルを持ち込むことができます。 DatabricksのデータインテリジェンスプラットフォームとAdobeの革新的なデジタルエクスペリエンスソリューションの融合は、あらゆる規模、あらゆる業種の企業にとって、大きな可能性を解き放つことを約束します。 この技術的な話の基礎となるのは、 レイクハウスのパラダイム を構築することです。 Adobe Experience
Deloitte Data as a Service for Banking: 銀行と資本市場機関のための最新のデータソリューション
顧客の期待の高まりとともに新たな生成AI機能が登場し続ける中、データの近代化とクラウドへの移行は、金融サービス企業にとって重要な成功要因となっています。 結局のところ、生成AIを最大限に活用するには、最適化されたデータが必要です。 銀行組織は、完全な顧客プロフィールに基づく商品のアップセルや、不正行為のリアルタイムなフラグ付けと防止など、データから価値を引き出すことができます。 しかし、多くの金融機関のデータはサイロ化されたシステムに滞留しており、その可能性を実現できていません。 データの調達、整理、管理には幅広いアプローチが必要です。 データのモダナイズが不可欠に 顧客調査や市場調査によると、データのモダナイズは不可欠であり、銀行は新たな課題を克服するために最新のバンキング・データ・ソリューションを必要としています。 今後数年間で、データ・イニシアティブに50億ドル以上が費やされ、その60%は重要なデータのモダナイズの取り組みに費やされます。 残念ながら、レガシーシステムと新しいデータソリューションの接続には時
Databricks AIセキュリティフレームワーク（DASF）の紹介
Databricks AI Security Framework（DASF）バージョン1.0 のホワイトペーパーを発表できることを嬉しく思います！ このフレームワークは、ビジネス、IT、データ、AI、セキュリティの各グループのチームワークを向上させるように設計されています。 本書は、実際の攻撃観察に基づくAIセキュリティリスクの知識ベースをカタログ化することで、AIとMLの概念を簡素化し、AIセキュリティに対する徹底的な防御アプローチを提供するとともに、すぐに適用できる実践的なアドバイスを提供します。 機械学習（ML）と生成AI（GenAI）は、イノベーション、競争力、従業員の生産性を高めることで、仕事の未来を変革します。 しかし、企業は人工知能（AI）技術を活用してビジネスチャンスを得ると同時に、データ漏洩や法規制の不遵守など、潜在的なセキュリティおよびプライバシーリスクを管理するという二重の課題に取り組んでいます。 このブログでは、DASFの概要、組織のAIイニシアチブを保護するためにDASFを活用する方法、
Azure Databricksによるデータ漏洩対策
前回のブログ では、 仮想ネットワークサービスエンドポイント または Private Link を使用して、Azure DatabricksからAzureデータサービスに安全にアクセスする方法について説明しました。 この記事では、これらのベストプラクティスのベースラインを前提として、データの流出を防止するために、ネットワークセキュリティの観点からAzure Databricksのデプロイを強化する方法について、詳細な手順をウォークスルーします。 Wikipedia によると データ漏洩は、マルウェアや悪意のある行為者がコンピュータから不正なデータ転送を行うことで発生します。一般に、データ漏洩またはデータエクスポートとも呼ばれます。データ漏洩は、データ窃盗の一形態とも考えられています。2000年以降、多くのデータ漏洩が発生し、世界中の企業の消費者信頼、企業評価、知的財産、政府の国家安全保障に深刻な損害を 与えました。 この問題は、企業が機密データ（PII、PHI、戦略的機密情報）をパブリッククラウドサービスで保管・
Databricks、Brickbuilderプログラムを拡張してUnity Catalog Acceleratorsを追加
本日、Brickbuilder Unity Catalog Acceleratorsを発表いたします。 この プログラム は、システムインテグレーターやコンサルティングパートナーの専門知識と、実績のあるフレームワークや構築済みのコードを組み合わせて、企業が特定の方法論や Databricksデータインテリジェンスプラットフォーム の機能を迅速に実装できるように支援するものです。 パートナーソリューションとアクセラレータで構成されるBrickbuilderプログラムは、 業界と 移行ソリューションに 焦点を当てて始まり、あらゆる規模の顧客が数ヶ月ではなく数週間でDatabricksデータインテリジェンスプラットフォームを使用してレイクハウスアーキテクチャーをセットアップし、充実させることを支援するアクセラレーターを含むように急速に拡大しました。 今日、Databricksは、生産性を向上させ、価値を最適化するために、顧客のあらゆる段階に適合するアクセラレーターを開発するために、トップパートナーとの協力と投資を続けて
StreamNativeとDatabricks、Pulsar-Sparkコネクターでリアルタイムデータ処理を強化
Apache Pulsarベースのリアルタイムデータプラットフォームソリューションのリーディングプロバイダーである StreamNative と、データインテリジェンスプラットフォームである Databricks は、強化された Pulsar-Sparkコネクター を発表します。 リアルタイムデータ処理 がビジネスにとって益々重要になっている今、このコラボレーションは、Apache Pulsar™ と Apache Spark ™ という2つの強力なオープンソース技術の強みを組み合わせたものになります。 Apache Pulsar™ Apache Pulsar™ はオープンソース、分散型メッセージングおよびイベントストリーミングプラットフォームであり、高い耐久性、スケーラビリティ、低レイテンシのメッセージングを提供します。 リアルタイムのデータストリーミングを処理するように設計されており、単純なpub/subメッセージングから複雑なイベント駆動型のマイクロサービスアーキテクチャまで、さまざまなアプリケーションに使