メインコンテンツへジャンプ

私たちは最近、ノートブック、ジョブ、パイプラインのためのサーバーレスコンピューティングの一般提供開始を発表しました。サーバーレスコンピューティングは、ワークロードの迅速な起動、自動的なインフラストラクチャのスケーリング、およびDatabricksランタイムのシームレスなバージョンアップグレードを提供します。私たちはサーバーレスの提供における革新を続け、あなたのワークロードのための価格/パフォーマンスを継続的に改善することに専念しています。今日は、サーバーレスのコスト体験を改善するためのいくつかの発表を行うことを楽しみにしています:

  1. ほとんどの顧客、特に短期間のワークロードを持つ顧客にとって、コストを25%以上削減する効率改善。
  2. 強化されたコストの可視性は、個々のノートブック、ジョブ、パイプラインレベルでの支出を追跡し監視するのに役立ちます。
  3. ジョブとパイプラインに対して、パフォーマンスよりもコストを最適化するという選択を示すことができるシンプルなコントロール(将来利用可能)。
  4. 新しいサーバーレスコンピューティングの提供に対する50%の導入割引がジョブとパイプラインに対して継続的に利用可能で、ノートブックに対しては30%です。

効率改善

顧客のワークロードを実行することから得られた洞察に基づき、ほとんどの顧客がサーバーレスコンピューティングの支出を25%以上削減できるように、効率改善を実施しました。これらの改善は主に短いワークロードのコストを削減します。これらの変更は、今後数週間にわたって自動的に展開され、ノートブック、ジョブ、パイプラインがこれらの更新を行うことなく利益を得られるようにします。

コスト観測性の強化

コスト管理をより透明にするために、私たちはコスト追跡機能を改善しました。サーバーレスに関連するすべてのコンピューティングコストは、個々のノートブック、ジョブ、またはパイプラインの実行まで完全に追跡可能になります。これは、特定のワークロードに帰属しない共有サーバーレス計算コストをもう見ることがないということを意味します。この詳細な属性付けにより、各ワークロードの全コストが見える化され、経費の監視と管理が容易になります。また、ジョブ名、ノートブックのパス、パイプラインのユーザーIDなど、請求可能な使用システムテーブルに新しいフィールドを追加し、コスト報告を簡素化しました。ワークスペースのコストトレンドを視覚化するのが簡単なダッシュボードテンプレートを作成しました。詳細を学び、テンプレートをここからダウンロードできます。

コスト観測性の強化

将来的には、コスト最適化の優先度を示すことができるコントロールが提供されます

データプラットフォームの各ワークロードについて、パフォーマンスとコストの間で適切なバランスを決定する必要があります。サーバーレスコンピューティングを使用すると、特定のワークロードの価格/パフォーマンス目標をどのように達成するかを簡素化することに取り組んでいます。現在、私たちのサーバーレスの提供はパフォーマンスに焦点を当てています - インフラを最適化し、コンピューティングフリートを管理することで、あなたのワークロードは高速な起動と短いランタイムを体験します。これは、低レイテンシーのニーズがあるワークロードや、インスタンスプールを管理したり費用を支払いたくない場合に最適です。

しかし、特定のジョブとパイプラインに対してよりコスト効率の良いオプションが必要というフィードバックも聞いています。一部のワークロードでは、コストを抑えるために起動時間や実行速度をいくらか犠牲にすることを選択します。その結果、パフォーマンスよりもコスト節約を優先することができるシンプルで直感的なコントロールを導入することを嬉しく思います。この新しい柔軟性により、ワークロードの特定の価格とパフォーマンス要件をよりよく満たすための計算戦略をカスタマイズすることができます。この興奮する開発に関するさらなる更新情報を数ヶ月以内にお待ちください、そしてプレビュー待ちについてここからサインアップしてください。

スケジュールとトリガー

サーバーレスコンピューティングの50%割引 – 期間限定の導入オファー!

導入割引を利用してください:ジョブパイプラインのサーバーレスコンピューティングが50%オフ、ノートブックが30%オフ、2024年10月31日まで利用可能です。この期間限定のオファーは、サーバーレスコンピューティングを割引価格で試す絶好の機会です—お見逃しなく!

今日からサーバーレスコンピューティングを利用し始めましょう:

  • あなたのアカウントでAWSまたはAzureのサーバーレスコンピューティングを有効にします
  • ワークスペースがUnity Catalogを使用するために有効化されており、AWSまたはAzureのサポート対象地域にあることを確認してください。
  • 既存のPySparkワークロードについては、共有アクセスモードおよびDBR 14.3+と互換性があることを確認してください。
  • サーバーレスコンピューティングにノートブックジョブパイプラインを接続するための具体的な指示に従ってください。
  • Databricks Connectを使用して、任意のサードパーティシステムからサーバーレスコンピューティングを活用します。あなたのIDEからローカルで開発するか、PythonでDatabricksとあなたのアプリケーションをシームレスに統合し、スムーズで効率的なワークフローを実現します。
Databricks 無料トライアル

関連記事

ノートブック、ワークフロー、Delta Live Tables 用のサーバーレス コンピューティングの一般提供開始のお知らせ

Translation Reviewed by Hiroyuki Nakazato ノートブック、ジョブ、Delta Live Tables(DLT)のサーバーレスコンピューティングが AWS および Azure で一般提供開始となりましたので、お知らせいたします。お客様は Databricks SQL および Databricks モデル サービング 用の高速でシンプル、かつ信頼性の高いサーバーレス コンピューティングをすでに利用しています。 同じ機能が、Apache Spark や...

Delta Live Tablesパイプラインのためのコスト効率的で増分的なETLとサーバーレスコンピューティング

私たちは最近、ノートブック、ワークフロー、Delta Live Tables(DLT)パイプラインのサーバーレスコンピューティングの一般提供開始を 発表しました 。今日、DLTパイプラインで構築されたETLパイプラインが、サーバーレスコンピュートからどのように利益を得られるかを説明したいと思います。 DLTパイプライン は、シンプルで宣言的なフレームワークを使用して、コスト効率の良いストリーミングとバッチETLワークフローを簡単に構築できます。データの変換を定義し、DLTパイプラインはタスクのオーケストレーション、スケーリング、監視、データ品質、エラーハンドリングを自動的に管理します。 DLTパイプラインのサーバーレスコンピュートは、データ取り込みについては最大5倍のコストパフォーマンスを提供し、複雑な変換については最大98%のコスト節約を提供します。また、DLTクラシックコンピュートに比べて信頼性も向上します。この組み合わせにより、Databricks上で高速かつ信頼性の高いETLを大規模に実現します。このブロ

スーパーノヴァ!ブラックホール!ストリーミングデータ!

Translation Reviewed by Akihiro.Kuwano 概要 このブログ投稿は、Data + AI Summit 2024でのセッション スーパーノヴァからLLMsへ のフォローアップで、ここでは誰でもApache Kafkaから公開されているNASAの衛星データを消費し、処理する方法を示しました。 多くのKafkaのデモとは異なり、再現性が低いか、シミュレートされたデータに依存しているのではなく、私はNASAの公開されている ガンマ線座標ネットワーク (GCN)からのライブデータストリームの分析方法を示します。これは、さまざまな衛星から来るスーパーノヴァとブラックホールのデータを統合しています。 オープンソースの Apache Spark™ と Apache Kafka だけを使ってソリューションを作ることも可能ですが、このタスクには...
プラットフォームブログ一覧へ