AIをよりアクセシブルに：Databricks上のMeta Llama 3.3で最大80％のコスト削減！
企業が高品質なAIアプリを提供するエージェントシステムを構築するにつれて、私たちはお客様に最高のコスト効率を提供するための最適化を続けています。Meta Llama 3.3モデルが Databricks Data Intelligence Platform で利用可能になったことを発表することを嬉しく思います。また、Mosaic AIの Model Serving の価格と効率性に大幅な更新が加えられました。これらの更新により、推論コストが最大80％削減され、AIエージェントを構築したり、バッチLLM処理を行っている企業にとって、以前よりも大幅にコスト効率が向上します。 コスト削減80%： 新しいLlama 3.3モデルと価格の引き下げにより、大幅なコスト削減を実現します。 推論速度の向上： レスポンスが40%速くなり、バッチ処理時間が短縮されることで、より良い顧客体験と迅速な洞察を実現します。 新しいMeta Llama 3.3モデルへのアクセス： Metaの最新技術を活用して、品質とパフォーマンスを向上させま
Unity Catalogに新機能！Hive MetastoreとAWS Glue Federationのパブリックプレビュー開始！
Hive Metastore（HMS）とAWS Glue Federationのパブリックプレビュー開始をお知らせします！ この新機能により、Unity CatalogはDatabricks内外に存在するHive MetastoreやAWS Glueに保存されたテーブルにシームレスにアクセスし、統一的なガバナンスを提供できるようになります。これは、Unity Catalogを通じてデータベース、データウェアハウス、カタログといった外部データソースを統一ガバナンスフレームワークの下にまとめる Lakehouse Federation ビジョンの重要な一歩となります。 形式や場所を問わず、すべてのデータを単一のプラットフォームから簡単に発見、ガバナンス、クエリ可能になり、組織全体のオープンなアクセスとコラボレーションを促進します。また、データインテリジェンスをすべてのデータソースに拡張することが可能になります。 このブログでは、HMSとAWS Glue Federationのメリット、仕組み、導入方法について解説しま
正式リリース！Unity CatalogからMicrosoft Power BIサービスへの直接公開が可能に！
「Unity Catalog から Microsoft Power BI Service へのデータ公開」機能が正式に利用可能となりました！この新機能により、 Unity Catalog のデータから数クリックで Power BI Web レポートを作成できるようになり、シームレスなカタログ統合とデータモデル同期が実現しました。Databricks の UI を離れることなく、Power BI Service に直接データセットを公開することが可能です。 Unity Catalog...
バジェットポリシーを使用して、サーバーレスのコストを部門やユーザーに割り当てます
サーバーレスコンピューティングの予算ポリシーのパブリックプレビュ ーを発表することを嬉しく思います。管理者は、予算ポリシーを使用してサーバーレスリソースに自動的にタグを適用し、カスタマイズされたコストレポートとチャージバックを行うことができます。
プライバシー保護されたコラボレーションを実現する Databricks Clean Rooms がパブリック プレビューに登場
イノベーションのための外部データと AI の急激な増加に後押しされ、あらゆる業界の組織が、プライバシーを守りながらパートナーと連携する効果的な方法を模索しています。 一部の組織ではコラボレーション ソリューションが限られており、データがどのように使用されるかについての可視性がほとんどまたはまったくない状態で、機密データの共有方法に関する制御を放棄する必要があることがよくあります。 これにより、データの誤用やデータプライバシーの侵害の可能性が高まる大きなリスクが生じます。 組織は、オープンで柔軟でありながらプライバシーが保護された方法でデータに共同作業を行い、AI を実行する必要があります。Databricks Clean Rooms は、これらの重要なニーズを満たします。 今年の Data + AI Summit で最近発表した ように、Clean Rooms は AWS と Azure...
「Photon」で特徴量エンジニアリ ングを加速せよ！
高品質な機械学習モデルの訓練には、慎重なデータと特徴量の準備が必要です。Databricksにテーブルとして保存された生データをフルに活用するためには、ETLパイプラインの実行や特徴量エンジニアリングが必要となり、生データを有用な特徴量テーブルに変換することが求められます。テーブルが大きい場合、このステップは非常に時間がかかることがあります。今回、Databricks Machine Learning RuntimeでPhoton Engineを有効にできることを発表できることを嬉しく思います。 これにより、Sparkジョブや特徴量エンジニアリングのワークロードを2倍以上高速化することが可能になります。 「Photonを有効にし、新しいPITジョインを使用することで、私たちのフィーチャーストアを使用してトレーニングデータセットを生成するための時間が20倍以上短縮されました。」 - Sem Sinchenko, Advanced Analytics Expert Data Engineer, Raiffeisen
Lakehouse Federationの一般提供を開始
本日、Unity CatalogのLakehouse FederationがAWS、Azure、GCPで一般提供 (GA) されたことをお知らせします。Lakehouse Federationを使用すると、すべてのデータを一か所で発見、クエリ、管理することができます。このGAリリースにより、連携ワークロードに対する安定性、セキュリティ、エンタープライズ対応が強化されます。 このブログ投稿では、Lakehouse FederationのGA機能について説明し、世界をリードする企業でのアジャイルな分析をどのように支えているかを探求し、次に何が来るのかを議論します。 Lakehouse Federation入門 世界中の組織は、規模や業界に関係なく、データとAIを活用して革新を推進しています。しかし、歴史的、組織的、技術的な理由から、データはしばしば複数の運用および分析システムに分散して残っています。この断片化はいくつかの課題を引き起こします： すべてのデータを発見し、アクセスするのが難しい エンジニアリングのボトルネ
LakeFlow Connectで実現：SQL Server、Salesforce、Workdayからのデータ取り込み
SQL Server、Salesforce、Workday用の LakeFlow Connect のパブリックプレビューを発表することを楽しみにしています。これらの取り込みコネクタは、データベースやエンタープライズアプリからのシンプルで効率的な取り込みを可能にします。これは、インクリメンタルなデータ処理とスマートな最適化によって支えられています。LakeFlow Connectはデータインテリジェンスプラットフォームのネイティブ機能であるため、サーバーレスコンピューティングとUnity Catalogガバナンスの両方を提供します。つまり、組織がデータの移動に費やす時間を減らし、それから価値を得るための時間を増やすことができるということを意味します。 より広範に言えば、これはData + AI Summitで発表した取り込み、変換、オーケストレーションの統一ソリューションである LakeFlow を用いて、Databricks上のデータエンジニアリングの未来を実現するための重要なステップです。LakeFlow Co
Lakehouse FederationとLakeFlow ConnectのためのSalesforceコネクタの紹介
お客様がSalesforce CRMとData Cloudのデータからシームレスに洞察を得ることができる新たな統合を発表することを楽しみにしています。 昨年、私たちは Salesforceとの戦略的パートナーシップを発表 しました 。それ以来、私たちはさまざまな面での統合を構築するために努力を続けてきました。2024年3月には、Salesforceは、 Salesforce Bring Your Own Model (BYOM) with Databricks （Databricks Mosaic Model Servingを基盤とする）と Databricks SQLウェアハウスとのZero Copy Data...
ノートブック、ワークフロー、Delta Live Tables 用のサーバーレス コンピューティングの一般提供開始のお知らせ
Translation Reviewed by Hiroyuki Nakazato ノートブック、ジョブ、Delta Live Tables（DLT）のサーバーレスコンピューティングが AWS および Azure で一般提供開始となりましたので、お知らせいたします。お客様は Databricks SQL および Databricks モデル サービング 用の高速でシンプル、かつ信頼性の高いサーバーレス コンピューティングをすでに利用しています。 同じ機能が、Apache Spark や...