DatabricksのサーバーレスおよびMosaic AI Model Servingワークロード向けの エグレス制御 が、AWSおよびAzureでパブリックプレビューとして提供開始されたことをお知らせします！ これにより、複数の製品やワークスペースにわたるサーバーレスワークロードからのアウトバウンドアクセスを一元的に制御するポリシーを設定できるようになりました。 サーバーレスイグレス制御を使用することで、Databricksのサーバーレス機能の柔軟性とコスト効率を活かしながら、データの不正転送先への流出から保護することができます。 今回のリリースにより、Model Serving、ノートブック、ワークフロー、Delta Live Tables（DLT）パイプライン、Lakehouseモニタリング、Databricks SQL、Databricks Appsでサーバーレスエグレス制御が利用可能になります。 Databricksサーバーレスエグレス制御のメリット データセキュリティを強化する サーバーレスのエグレス

Unity CatalogのオープンAPI向けの資格情報の発行（クレデンシャルベンディング）のパブリックプレビューを発表できることを嬉しく思います。これにより、外部クライアントがオープンソースのUnity REST APIを通じてUnity Catalogの外部およびマネージドテーブルに安全にアクセスし、Iceberg REST Catalog APIを通じてUniForm対応テーブルにアクセスできるようになります。この機能は、Apache Spark™、DuckDB、Daft、PuppyGraph、StarRocks、Spice AI、Microsoft Fabric、Salesforce Data Cloud、Iceberg RESTカタログエンジンのようなTrinoやDremioなど、幅広いエンジンやツールとのシームレスな相互運用性を実現します。 データとAI資産のための業界唯一の統一されたオープンガバナンスソリューションとして、 Unity Catalog は、現代のデータとAIスタック全体での相互運用性

企業が高品質なAIアプリを提供するエージェントシステムを構築するにつれて、私たちはお客様に最高のコスト効率を提供するための最適化を続けています。Meta Llama 3.3モデルが Databricks Data Intelligence Platform で利用可能になったことを発表することを嬉しく思います。また、Mosaic AIの Model Serving の価格と効率性に大幅な更新が加えられました。これらの更新により、推論コストが最大80％削減され、AIエージェントを構築したり、バッチLLM処理を行っている企業にとって、以前よりも大幅にコスト効率が向上します。 コスト削減80%： 新しいLlama 3.3モデルと価格の引き下げにより、大幅なコスト削減を実現します。 推論速度の向上： レスポンスが40%速くなり、バッチ処理時間が短縮されることで、より良い顧客体験と迅速な洞察を実現します。 新しいMeta Llama 3.3モデルへのアクセス： Metaの最新技術を活用して、品質とパフォーマンスを向上させま

Hive Metastore（HMS）とAWS Glue Federationのパブリックプレビュー開始をお知らせします！ この新機能により、Unity CatalogはDatabricks内外に存在するHive MetastoreやAWS Glueに保存されたテーブルにシームレスにアクセスし、統一的なガバナンスを提供できるようになります。これは、Unity Catalogを通じてデータベース、データウェアハウス、カタログといった外部データソースを統一ガバナンスフレームワークの下にまとめる Lakehouse Federation ビジョンの重要な一歩となります。 形式や場所を問わず、すべてのデータを単一のプラットフォームから簡単に発見、ガバナンス、クエリ可能になり、組織全体のオープンなアクセスとコラボレーションを促進します。また、データインテリジェンスをすべてのデータソースに拡張することが可能になります。 このブログでは、HMSとAWS Glue Federationのメリット、仕組み、導入方法について解説しま

序章 本番環境向け、スケーラブルでフォールトトレラントな生成型AIソリューションを構築するには、信頼性の高いLLMの利用可能性が必要です。あなたのLLMエンドポイントは、専用の計算をあなたのワークロードのために持つことで需要を満たす準備ができている必要があります。必要に応じて容量をスケーリングし、一貫したレイテンシを持ち、すべてのインタラクションをログに記録する能力、そして予測可能な価格設定を持つことが求められます。このニーズを満たすために、Databricksは プロビジョニングされたスループットエンドポイント を、各種の高性能基盤モデル（全ての主要なラマモデル、DBRX、ミストラルなど）で提供しています。しかし、最新で最も性能の高い微調整されたLlama 3.1と3.2のバリアントを提供することはどうでしょうか？NVIDIAの Nemotron 70Bモデル は、Llama 3.1の微調整されたバリアントで、多様なベンチマークで競争力のあるパフォーマンスを示しています。Databricksの最近の革新により、

現代の製造業者にとって、効率化され自動化されたワークフローは、手動データ管理や設備のダウンタイムなどの課題を克服するために不可欠です。自動化されたワークフローを活用し、予測保守を可能にすることで、製造業者は非効率性と廃棄物を減らすリアルタイムの生産洞察を得ることができます。データのサイロ化の排除と分析のスケーリング能力は、より良い意思決定を可能にし、増大する運用データの量をサポートします。データ駆動の風景では、自動化されたワークフローはビジネス成功のために不可欠となり、データ実践者が反応的な問題解決から積極的なイノベーションへとシフトすることを可能にします。 Databricks Workflows は、データ、分析、AIの統一されたオーケストレーションツールで、ETL、分析、機械学習パイプラインの自動化ワークフローを簡単に定義、管理、監視することで、データチームの増大する要求に対応するのに役立ちます。データインテリジェンスプラットフォームと完全に統合されたWorkflowsは、シンプルなワークフロー定義体験、高

Azure Private LinkがDatabricksサーバーレスおよびMosaic AIモデル提供ワークロード向けに一般提供（GA）となったことをお知らせします！ これにより、Databricks SQL、Jobs、Notebooks、Delta Live Tables、Mosaic AIモデル提供のCPU/GPUエンドポイントから、Azure Data Lake Storage（ADLS）やマネージドAzureリソースへのプライベート接続が可能になります。また、本日、Azure OpenAIやAzure SQLなど、 60以上のAzureファーストパーティリソース への新たなサポートも導入しました。今年初めに発表した DBSQLウェアハウスからAzure Storageへのプライベートリンクサポート に加え、さらに強化された内容となっています。 Azure Private Link は、クラウドストレージ、シークレット、SQLデータベース、AIモデルなどの顧客リソースへのアウトバウンドアクセスにおいて、パ

私たちは、 Databricks Notebooks と AI/BI ダッシュボード間の新しい統合を発表することを嬉しく思います。これにより、ノートブックからの洞察を労力をかけずに共有可能な洗練されたダッシュボードに変換することができます。この機能は、Databricksプラットフォーム全体での作業に美しい、ローコードのダッシュボーディングを統合するための私たちの継続的な努力を反映しています。この統合により、ノートブックの分析をプロフェッショナルでインタラクティブなダッシュボードに表示し、 ビジネスユーザーやステークホルダーと簡単に共有する ことができます。これは組織全体で可能です。 この統合はどのように機能しますか？ この新機能により、クエリ、パラメータ、ビジュアライゼーションを完備したSQLノートブックセルをAI/BIダッシュボードに統合できます。ノートブックでデータ分析を開始する柔軟性と、AI/BIダッシュボードを通じて洞察を提示し、共有する簡便さを、実践者に提供します。 データアナリストとして、ノートブッ

統計の予測最適化のゲーテッドパブリックプレビューを発表できることを嬉しく思います。Data + AI Summitで発表された 予測最適化 （ Predictive Optimization ） は、最適化プロセスを効率化するためのAI駆動のアプローチとして一般提供されています。予測最適化は現在、 重要なデータ レイアウトとクリーンアップ タスクをサポートしており、ユーザーからの早期フィードバックでは、日常的なデータ メンテナンスを大幅に簡素化する効果が高く評価されています。 自動統計管理の追加により、予測最適化は次のような進歩を通じて顧客に価値を提供し、操作を簡素化します。 データスキップ統計のインテリジェントな選択により、列順序管理の必要性が排除されます クエリ最適化統計の自動収集により、データロード後にANALYZEを実行する必要がなくなります 収集された統計情報はクエリ実行戦略に役立ち、平均してパフォーマンスの向上とコストの削減につながります 統計の影響 最新の統計情報を利用することで、パフォーマンスと総