Original: Announcing the General Availability of Databricks SQL Serverless ! 翻訳: saki.kitaoka 本日、AWSおよびAzureの一部地域でDatabricks SQLのサーバーレスコンピューティングが一般利用可能になったことを発表することを大変嬉しく思います！ Databricks SQL (DB SQL) サーバーレスは、インスタントでエラスティックなコンピューティングによる最高のパフォーマンスを提供し、コストを削減し、インフラの管理ではなくビジネスへの最大の価値提供に注力できるようにします。GA（一般提供）により、Databricksからの最高レベルの安定性、サポート、エンタープライズ対応を、Databricks Lakehouse Platform上のミッションクリティカルなワークロードに対して期待することができます。 このブログ記事では、DB SQL...

Original : How Databricks improved query performance by up to 2.2x by automatically optimizing file sizes 翻訳：saki.kitaoka テーブルファイルサイズの最適化は、長い間データエンジニアにとって必要だが複雑なタスクでした。テーブルの適切なファイルサイズに到達すると、大幅なパフォーマンス向上が実現しますが、これは伝統的に深い専門知識と大量の時間投資を必要としていました。 最近、Databricks SQLのためのPredictive I/O( Predictive I/O...

Original: New debugging features for Databricks Notebooks with Variable Explorer 翻訳: saki.kitaoka 今日、Databricks NotebookのPython向けにVariable Explorer（変数エクスプローラ）の一般利用可能を発表することを非常に嬉しく思います。Variable Explorerを使用すると、Databricksのユーザーはノートブック内で定義されたすべての変数を一目で確認したり、ワンクリックでDataFramesを調査・探索したり、pdbを用いてPythonコードをインタラクティブにデバッグすることが可能になります。 ノートブックの変数を確認する Variable Explorerは、ノートブックセッションで利用可能なすべての変数を表示します。すべてのシンプルな変数タイプについて、名前、タイプ、値が表示されます。 Variable Explorerは、SparkとPandasのDataFra

Original : Fleet optimization with CARTO & Databricks 翻訳： junichi.maruyama 近年、効率的な配送は企業にとってますます重要になってきており、特に物流企業や独自の流通網を持つ消費財（CPG）業界の企業にとって重要な課題となっています。 これらの企業にとって大きな課題は、輸送ルートを最適化し、コストを最小化しながらタイムリーな配送を実現することです。そのためには、距離、交通量、道路状況、使用する輸送手段の種類（トラック、鉄道、航空など）などの要素を考慮する必要があります。さらに、CPGやロジスティクス企業は、輸送手段の選択による環境への影響を考慮し、カーボンフットプリントの削減を目指さなければなりません。燃料価格の上昇と競争の激化により、これらの企業にとって、より持続可能性を高め、輸送の問題に対処し、全体的な配送コストを削減するための明確な計画を策定することが極めて重要となっています。 ルーティングソフトは、企業がこれらの課題に取り組む上

Original : Introducing Databricks Fleet Clusters for AWS 翻訳： junichi.maruyama この度、Databricks FleetクラスタのAWSでの一般提供開始を発表します。 フリートクラスタとは？ Databricks Fleet Clusters は、Databricksがインテリジェントに最適化し、プロセスを自動化することで、手動でインスタンスを選択する手間をかけずにSpot価格の潜在能力を引き出します。Databricksの1クラスタ内の複数のインスタンスにまたがるフレックス機能により、可用性を確保しながら、AWS Spotインスタンスを可能な限り低コストで利用することが可能です。クラウドインフラの複雑な管理を回避し、本当に重要なこと、つまりデータドリブンなインサイトに時間を費やすことができます。 Databricksのフリートクラスタは、AWSのお客様向けに新しいフリートインスタンスファミリーのセットを導入します：m-fleet、md-

Original : Using Structured Streaming with Delta Sharing in Unity Catalog 翻訳： junichi.maruyama この度、Azure、AWS、GCPにおいて、Structured StreamingをDelta Sharingで使用するためのサポートが一般提供（GA）されたことをお知らせします！この新機能により、Databricks Lakehouse Platform上のデータ受信者は、 Unity Catalog を通じて共有されたDelta Tableからの変更をストリーミングできるようになります。 データプロバイダーは、この機能を活用することで、Data-as-a-Service...

The Hitchhiker's Guide to data privilege model and access control in Unity Catalog 翻訳： junichi.maruyama データの量、速度、多様性が増すにつれ、組織は、中核となるビジネス成果を適切に満たすために、確固たるデータガバナンスの実践にますます頼るようになっています。 Unity Catalog は、Databricks Lakehouseを支えるデータとAIのためのきめ細かなガバナンス・ソリューションです。データアクセスを管理・監査するための一元的なメカニズムを提供することで、企業のデータ資産のセキュリティとガバナンスを簡素化することができます。 Unity Catalogがファイル、テーブルの権限モデルを統一し、すべての言語をサポートするようになる以前、お客様は レガシーワークスペースレベルのテーブルACL（TACL）...

Original: Find what you seek with the new navigation UI 翻訳: saki.kitaoka Databricksの新しいUIがリリースされ、ナビゲーションがより簡単になります。 顧客はよりシンプルなナビゲーションを求めています。 Databricksでは、顧客中心の文化があります。ユーザーからのフィードバックを真摯に受け止め、Databricksでのナビゲーション経験の改善を求めています。過去数か月間、多くの顧客と共に問題や改善されたナビゲーション経験を理解しました。 ユーザーはタスクごとにクリック数を減らしたい 話し合いを通じて、ナビゲーション改善に関連する2つの主題が見られました。まず、ワークスペース内でA地点からB地点への移動を容易にしたいとの要望がありました。経験豊富なユーザーや新規ユーザーにとって、目的地までのクリック数が多すぎる場合、時間がかかります。そのため、上部に統合検索を配置し、よく使われるタスクのための「はじめに」セクションを再設計しました

Original: Understanding Caching in Databricks SQL: UI, Result, and Disk Caches 翻訳: junichi.maruyama キャッシングは、同じデータを何度も再計算またはフェッチする必要性を回避することで、データウェアハウスシステムのパフォーマンスを向上させるために不可欠な技術です。Databricks SQLでは、キャッシングによってクエリの実行を大幅に高速化し、ウェアハウスの使用量を最小限に抑えることができるため、コストの削減とリソースの効率的な利用が可能になります。 この記事では、キャッシングの利点を探り、DBSQLの3種類のキャッシング：ユーザー インターフェイス キャッシュ、リザルトキャッシュ（ローカルおよびリモート）、ディスク キャッシュ（旧デルタ キャッシュ）を掘り下げて説明します。 キャッシングのメリット キャッシングは、データウェアハウスにおいて、以下のような多くの利点をもたらします： スピード...