サーバーレスコンピューティングの予算ポリシーのパブリックプレビューを発表することを嬉しく思います。管理者は、予算ポリシーを使用してサーバーレスリソースに自動的にタグを適用し、カスタマイズされたコストレポートとチャージバックを行うことができます。

イノベーションのための外部データと AI の急激な増加に後押しされ、あらゆる業界の組織が、プライバシーを守りながらパートナーと連携する効果的な方法を模索しています。 一部の組織ではコラボレーション ソリューションが限られており、データがどのように使用されるかについての可視性がほとんどまたはまったくない状態で、機密データの共有方法に関する制御を放棄する必要があることがよくあります。 これにより、データの誤用やデータプライバシーの侵害の可能性が高まる大きなリスクが生じます。 組織は、オープンで柔軟でありながらプライバシーが保護された方法でデータに共同作業を行い、AI を実行する必要があります。Databricks Clean Rooms は、これらの重要なニーズを満たします。 今年の Data + AI Summit で最近発表した ように、Clean Rooms は AWS と Azure...

高品質な機械学習モデルの訓練には、慎重なデータと特徴量の準備が必要です。Databricksにテーブルとして保存された生データをフルに活用するためには、ETLパイプラインの実行や特徴量エンジニアリングが必要となり、生データを有用な特徴量テーブルに変換することが求められます。テーブルが大きい場合、このステップは非常に時間がかかることがあります。今回、Databricks Machine Learning RuntimeでPhoton Engineを有効にできることを発表できることを嬉しく思います。 これにより、Sparkジョブや特徴量エンジニアリングのワークロードを2倍以上高速化することが可能になります。 「Photonを有効にし、新しいPITジョインを使用することで、私たちのフィーチャーストアを使用してトレーニングデータセットを生成するための時間が20倍以上短縮されました。」 - Sem Sinchenko, Advanced Analytics Expert Data Engineer, Raiffeisen

本日、Unity CatalogのLakehouse FederationがAWS、Azure、GCPで一般提供 (GA) されたことをお知らせします。Lakehouse Federationを使用すると、すべてのデータを一か所で発見、クエリ、管理することができます。このGAリリースにより、連携ワークロードに対する安定性、セキュリティ、エンタープライズ対応が強化されます。 このブログ投稿では、Lakehouse FederationのGA機能について説明し、世界をリードする企業でのアジャイルな分析をどのように支えているかを探求し、次に何が来るのかを議論します。 Lakehouse Federation入門 世界中の組織は、規模や業界に関係なく、データとAIを活用して革新を推進しています。しかし、歴史的、組織的、技術的な理由から、データはしばしば複数の運用および分析システムに分散して残っています。この断片化はいくつかの課題を引き起こします： すべてのデータを発見し、アクセスするのが難しい エンジニアリングのボトルネ

SQL Server、Salesforce、Workday用の LakeFlow Connect のパブリックプレビューを発表することを楽しみにしています。これらの取り込みコネクタは、データベースやエンタープライズアプリからのシンプルで効率的な取り込みを可能にします。これは、インクリメンタルなデータ処理とスマートな最適化によって支えられています。LakeFlow Connectはデータインテリジェンスプラットフォームのネイティブ機能であるため、サーバーレスコンピューティングとUnity Catalogガバナンスの両方を提供します。つまり、組織がデータの移動に費やす時間を減らし、それから価値を得るための時間を増やすことができるということを意味します。 より広範に言えば、これはData + AI Summitで発表した取り込み、変換、オーケストレーションの統一ソリューションである LakeFlow を用いて、Databricks上のデータエンジニアリングの未来を実現するための重要なステップです。LakeFlow Co

お客様がSalesforce CRMとData Cloudのデータからシームレスに洞察を得ることができる新たな統合を発表することを楽しみにしています。 昨年、私たちは Salesforceとの戦略的パートナーシップを発表 しました 。それ以来、私たちはさまざまな面での統合を構築するために努力を続けてきました。2024年3月には、Salesforceは、 Salesforce Bring Your Own Model (BYOM) with Databricks （Databricks Mosaic Model Servingを基盤とする）と Databricks SQLウェアハウスとのZero Copy Data...

Translation Reviewed by Hiroyuki Nakazato ノートブック、ジョブ、Delta Live Tables（DLT）のサーバーレスコンピューティングが AWS および Azure で一般提供開始となりましたので、お知らせいたします。お客様は Databricks SQL および Databricks モデル サービング 用の高速でシンプル、かつ信頼性の高いサーバーレス コンピューティングをすでに利用しています。 同じ機能が、Apache Spark や...

データエンジニアリングとデータストリーミングの分野でDatabricksを評価する2つの新しいアナリストレポートを発表できることを誇りに思います： IDC MarketScape: Worldwide Analytic Stream Processing Software, 2024 (リーダー) Forrester Wave™: Cloud Data Pipelines, Q4 2023 (リーダー) IDCレポートは こちら から、Forresterレポートは こちら からダウンロードできます。...

Translation Review by saki.kitaoka 本日、私たちはDatabricks LakeFlowを発表します。これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。 さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプ