ノートブック、ジョブ、パイプラインのサーバーレスコンピューティングにおけるコスト削減
私たちは最近、ノートブック、ジョブ、パイプラインのための サーバーレスコンピューティングの一般提供開始 を発表しました。サーバーレスコンピューティングは、ワークロードの迅速な起動、自動的なインフラストラクチャのスケーリング、およびDatabricksランタイムのシームレスなバージョンアップグレードを提供します。私たちはサーバーレスの提供における革新を続け、あなたのワークロードのための価格/パフォーマンスを継続的に改善することに専念しています。今日は、サーバーレスのコスト体験を改善するためのいくつかの発表を行うことを楽しみにしています： ほとんどの顧客、特に短期間のワークロードを持つ顧客にとって、 コストを25%以上削減 する効率改善。 強化されたコストの可視性 は、個々のノートブック、ジョブ、パイプラインレベルでの支出を 追跡し監視するのに役立ちます。 ジョブとパイプラインに対して、 パフォーマンスよりもコストを最適化するという選択を示すことができる シンプルなコントロール（将来利用可能）。 新しいサーバーレスコン
ノートブック、ワークフロー、Delta Live Tables 用のサーバーレス コンピューティングの一般提供開始のお知らせ
Translation Reviewed by Hiroyuki Nakazato ノートブック、ジョブ、Delta Live Tables（DLT）のサーバーレスコンピューティングが AWS および Azure で一般提供開始とな りましたので、お知らせいたします。お客様は Databricks SQL および Databricks モデル サービング 用の高速でシンプル、かつ信頼性の高いサーバーレス コンピューティングをすでに利用しています。 同じ機能が、Apache Spark や...
Databricks LakeFlowの登場: データエンジニアリングのための統一されたインテリジェントソリューション
Translation Review by saki.kitaoka 本日、私たちはDatabricks LakeFlowを発表します。これは、プロダクションデータパイプラインを構築および運用するために必要なすべてを含む新しいソリューションです。MySQL、Postgres、SQL Server、Oracleなどのデータベースや、Salesforce、Microsoft Dynamics、NetSuite、Workday、ServiceNow、Google Analyticsなどの企業アプリケーション向けの新しいネイティブで高スケーラビリティのコネクタが含まれています。ユーザーは標準SQLおよびPythonを使用して、バッチおよびストリーミングでデータを変換できます。 さらに、Apache Spark向けのリアルタイムモードを発表し、従来のマイクロバッチよりもはるかに高速なレイテンシでストリーム処理が可能になります。最後に、CI/CDを使用してワークフローをオーケストレーションおよびモニタリングし、本番環境にデプ
dbtとDatabricksを用いてコスパの良いリアルタイムデータ処理を行う
ビジネスが成長するにつれ、データ量はGBからTB（またはそれ以上）に拡大し、レイテンシー要求は数時間から数分（またはそれ以下）になり、ビジネスに新鮮な洞察を提供するためのコストはますます高くなります。これまでPythonやScalaのデータエンジニアは、このような需要に応えるためにストリーミングを利用し、新しいデータをリアルタイムで効率的に処理してきましたが、SQLベースのdbtパイプラインを拡張する必要があるアナリティクスエンジニアには、このような選択肢はありませんでした。 しかし今は違います！このブログでは、Databricks の新しいストリーミングテーブルとマテリアライズドビューを使用して、SQL と dbt のシンプルさで新鮮なリアルタイムのインサイトをビジネスに提供する方法を説明します。 背景 2023 Data + AI Summitでは、 Databricks SQLにストリーミングテーブルとマテリアライズドビューを導入 しました。この素晴らしい機能により、Databricks SQL ユーザーは
Databricks + Arcion： Lakehouseへのリアルタイムエンタープライズデータレプリケーション
我々は、リアルタイム・データ・レプリケーション・テクノロジーのリーディング・プロバイダーである Arcion社の買収を完了 したことを発表できることを嬉しく思う。 Arcionの機能により、DatabricksはさまざまなデータベースやSaaSアプリケーションからデータを複製して取り込むネイティブソリューションを提供できるようになり、顧客はデータから価値とAI主導の洞察を生み出すという実際の作業に集中できるようになる。 Arcionのチームとは、Databricksのパートナーとしてだけでなく、 Databricks Venturesの 投資先企業としても、長年にわたって緊密に協力してきました。 この発表により、我々は正式にチームをDatabricksファミリーに迎え入れることになります。 リアルタイムのデータ取り込みとデータベースの複製 Databricksの使命は、あらゆる組織のためにデータとAIを民主化することです。 Databricks Lakehouse Platformは、データ、アナリティクス、AI
Databricksのワークフローを利用したLakehouseのオーケストレーション
Original: Lakehouse Orchestration with Databricks Workflows 翻訳: junichi.maruyama 業界を問わず、組織はレイクハウス・アーキテクチャを採用し、すべてのデータ、アナリティクス、AIのワークロードに統一プラットフォームを使用しています。ワークロードを本番環境に移行する際、組織はワークロードのオーケストレーションの方法が、データとAIソリューションから引き出すことのできる価値にとって重要であることに気づいています。オーケストレーションが正しく行われれば、データチームの生産性を向上させ、イノベーションを加速させることができ、より良いインサイトと観測性を提供でき、最後にパイプラインの信頼性とリソース利用を改善することができる。 Databricks Lakehouse Platformの活用を選択したお客様にとって、オーケストレーションがもたらすこれらの潜在的なメリットはすべて手の届くところにありますが、Lakehouseとうまく統合されたオーケ
Databricks、dbt Labs、Fivetranと一緒にレイクハウスでモダンデータスタックを構築する5つの理由
Original : Five Reasons to Build your Modern Data Stack on the Lakehouse with Databricks, dbt Labs and Fivetran translate by junichi.maruyama 数年前、クラウドベースのモダンデータ・プラットフォームによって、アナリティクスとそれを支えるツールが実務者の手に渡るようになり、モダンデータ・スタック（MDS）が登場しました。オンプレミスで慎重にサイズを調整したHadoopクラスタの時代は終わり、瞬時に拡張でき、標準SQLを使用して新世代のETLおよびBIツールに接続できるデータウェアハウスに取って代わられました。レイクハウスパターンは、ここ数年で登場した最新の、そしておそらく最も強力なパターンです。データウェアハウスのシンプルさと拡張性、データレイクのオープン性とコスト面の優位性を一体化させたものです。重要なのは、レイクハウスパターンは厳密に加算型であることです。データ 実務家として
Visual Studio CodeからDatabricks上でSQLクエリを実行する
Original Blog : Run SQL Queries on Databricks From Visual Studio Code 翻訳： junichi.maruyama 本日、人気のSQLTools拡張機能の プレビュードライバ を使用して、Visual Studio CodeからDatabricks上のSQLクエリを実行できるようになったことをお知らせします。このプレビュー・リリースは、先日公開された VS CodeのDatabricks拡張機能 を補完するもので、これによりユーザーはDatabricksが管理するコンピュート上でローカルに開発したコードを同期して実行することができます。 Databricks...
Databricks Workflows によるレイクハウスの本番 dbt プロジェクトのオーケストレーション
信頼性の高いレイクハウスのオーケストレーターである Databricks Workflows が、パブリックプレビューで dbt プロジェクトのオーケストレーションをサポートするようになったことをお知らせします。このプレビューでは、データチームがノートブックから ML モデルまで、レイクハウスの全ての機能とともに dbt プロジェクトを調整すること ができます。この機能により、オープンソース dbt のユーザーは、SQL を使ったデータ変換や、レイクハウス全体のデータおよび ML パイプラインの監視と保守を簡単に行うことができます。 ジョブが実行されると、dbt プロジェクトが Git リポジトリ から取得され、単一ノードのクラスタが構築され、そこに dbt-core とプロジェクトの依存関係がインストールされます。dbt で生成された...
Databricks SQL の新機能「クエリプロファイル」でクエリを理解する
Databricks SQL は、 Databricks のレイクハウスプラットフォーム における SQL のデータウェア ハウス機能とファーストクラスのサポートを提供します。これにより、アナリストは従来のクラウドデータウェアハウスよりもわずかなコストで新たな知見を迅速に発見し、共有できるようになります。 このブログは、Databricks SQL に関するコンテンツシリーズの一部です。Databricks SQL の性能、使いやすさ、ガバナンスにおける重要な機能について解説します。以前の ブログ では、Databricks SQL の強化された最新のユーザーエクスペリエンスについてご紹介しました。今回は、ユーザーがクエリとクエリの性能を理解するのに役立つ改善点について解説します。 実行時のボトルネックを特定してクエリを高速化 Databricks SQL は、自動的なクエリの高速化に優れています。事実、2021年11月に 世界記録 を更新しました。しかし、こういった技術革新にもかかわらず、クエリが予期せず遅いとい