DatabricksとGoogle Cloudでリアルタイムデータ処理のパワーを解き放つ
Original Blog , 翻訳: junichi.maruyama Databricks Lakehouse Platform の Google Pub/Sub コネクタの正式リリースをお知らせします。この新しいコネクタは、 外部データソースコネクタの広範なエコシステム に追加され、Databricksから直接Google Pub/Subに簡単に登録し、リアルタイムでデータを処理・分析することができます。 Google Pub/Sub connector を使用すると、Pub/Subトピックを介して流れる豊富なリアルタイムデータを簡単に利用することができます。IoTデバイスからのストリーミングデータ、ユーザーインタラクション、アプリケーションログなど、Pub/Subストリームをサブスクライブする機能は、リアルタイム分析および機械学習のユースケースの可能性を広げます： また、Pub/Subコネクタを使用して、Google Cloudからのリアルタイムデータを燃料とする低レイテンシーの運用ユースケースを推進する
Welcome Rubicon to Databricks: これからのAIストレージとサービングシステムにむけて
Original: Welcome Rubicon to Databricks: The Future of AI Storage and Serving Systems 翻訳: saki.kitaoka RubiconのチームがDatabricksに参加することを発表でき、大変嬉しく思っています。大規模インフラ構築者であるAkhil GuptaとSergei Tsarevによって設立されたRubiconは、AIのためのストレージシステムの構築に取り組むスタートアップです。 私たちは10年以上前に、データとAIアプリケーションの構築を劇的に容易にすることを目標に、Databricksを会社としてスタートしました。私たちはすぐに、AIアプリケーションに必要なデータを処理するには、企業のデータウェアハウスなどの従来のストレージシステムでは不十分であることに気づきました。そこで、データウェアハウスとデータレイクストレージの長所を組み合わせたレイクハウスのコアストレージ基盤であるDelta Lakeを構築しました。 LL
Visual Studio Codeを使ってコードやノートブックをデバッグしましょう
Original: Debug your code and notebooks by using Visual Studio Code 翻訳: saki.kitaoka 今年初めに、Visual Studio Code用の公式Databricks拡張機能を ローンチ しました。今日、この拡張機能を使って、 インタラクティブなデバッグとローカルJupyter（ipynb）ノートブック開発 をサポートする機能を追加しています！ Databricks Connectを使ったインタラクティブなデバッグ データサイエンティストやデータエンジニアは通常、コードのエラーを特定するためにprint文やログに頼っていますが、これは時間がかかり、エラーが生じやすいです。...
一部の地域でDatabricks SQL Serverlessの一般利用開始を発表します！
Original: Announcing the General Availability of Databricks SQL Serverless ! 翻訳: saki.kitaoka 本日、AWSおよびAzureの一部地域でDatabricks SQLのサーバーレスコンピューティングが一般利用可能になったことを発表することを大変嬉しく思います！ Databricks SQL (DB SQL) サーバーレスは、インスタントでエラスティックなコンピューティングによる最高のパフォーマンスを提供し、コストを削減し、インフラの管理ではなくビジネスへの最大の価値提供に注力できるようにします。GA（一般提供）により、Databricksからの最高レベルの安定性、サポート、エンタープライズ対応を、Databricks Lakehouse Platform上のミッションクリティカルなワークロードに対して期待することができます。 このブログ記事では、DB SQL...
Databricks Notebooks向けの新しいデバッグ機能：Variable Explorer
Original: New debugging features for Databricks Notebooks with Variable Explorer 翻訳: saki.kitaoka 今日、Databricks NotebookのPython向けにVariable Explorer（変数エクスプローラ）の一般利用可能を発表することを非常に嬉しく思います。Variable Explorerを使用すると、Databricksのユーザーはノートブック内で定義されたすべての変数を一目で確認したり、ワンクリックでDataFramesを調査・探索したり、pdbを用いてPythonコードをインタラク ティブにデバッグすることが可能になります。 ノートブックの変数を確認する Variable Explorerは、ノートブックセッションで利用可能なすべての変数を表示します。すべてのシンプルな変数タイプについて、名前、タイプ、値が表示されます。 Variable Explorerは、SparkとPandasのDataFra
Databricks Fleet Clusters for AWSのご紹介
Original : Introducing Databricks Fleet Clusters for AWS 翻訳： junichi.maruyama この度、Databricks FleetクラスタのAWSでの一般提供 開始を発表します。 フリートクラスタとは？ Databricks Fleet Clusters は、Databricksがインテリジェントに最適化し、プロセスを自動化することで、手動でインスタンスを選択する手間をかけずにSpot価格の潜在能力を引き出します。Databricksの1クラスタ内の複数のインスタンスにまたがるフレックス機能により、可用性を確保しながら、AWS Spotインスタンスを可能な限り低コストで利用することが可能です。クラウドインフラの複雑な管理を回避し、本当に重要なこと、つまりデータドリブンなインサイトに時間を費やすことができます。 Databricksのフリートクラスタは、AWSのお客様向けに新しいフリートインスタンスファミリーのセットを導入します：m-fleet、md-
Databricks Marketplaceのパブリックプレビュー発表
Original Blog : Announcing Public Preview of Databricks Marketplace 翻訳： junichi.maruyama この度、オープンソースの Delta Sharing 規格を利用した、あらゆるデータ、アナリティクス、AIのためのオープンマーケットプレイス、 Databricks Marketplace のパブリックプレビューを発表します。Databricks Marketplaceは、データ消費者とデータ提供者の広大なエコシステムを結集し、データセット、ノートブック、MLモデルなど、さまざまなデータ資産を、プラットフォームの依存関係や複雑なETL、高価なレプリケーションなしに共有・共同利用できます。データコンシューマーは、組織のAI、ML、アナリティクスイニシアチブを革新・推進し、ベンダーロックインすることなく、より迅速なインサイトを提供することができます。データプロバイダーは、ビジネスを拡大し、新しいユーザーを獲得し、収益を上げることができます。
Databricks Connect “v2” でどこからでも Databricks を使用しよう
Original Blog : Use Databricks from anywhere with Databricks Connect “v2” 翻訳： junichi.maruyama この度、Databricks Connect "v2 "のパブリックプレビューを発表することができ、開発者はどこでも動作するアプリケーションからDatabricksのパワーを利用できるようになりました。 これまで、SQL以外の言語からDatabricksにリモートで接続する方法は ありませんでした。 Databricks Connect library をアプリケーションに組み込み、Databricks Lakehouseに接続するだけです！...
クラスターポリシーのGeneral Availabilityのお知らせ
Original Blog : Announcing General Availability of Cluster Policies 翻訳： junichi.maruyama この度、クラスターポリシーが一般公開されることになりました。 Why Databricks cluster policies? Databricksのクラスタポリシーによって、管理者は以下のことが可能になります： エンドユーザーのクラスタ構成を制御することで、コストを抑えることができます。 エンドユーザーによるクラスタ作成の効率化 コスト管理のためにワークスペース全体にタグ付けを強制する。 Databricksは、個人利用、共有利用、ジ ョブという3つの一般的なユースケースに対して、あらかじめ設定されたクラスターポリシーを提供します。管理者は、独自のポリシーをカスタマイズしたり、あらかじめ設定されたオプションを編集することも可能です。 How to...
レイクハウス用データクリーンルームの紹介
翻訳: Masahiko Kitamura オリジナル記事： Introducing Data Clean Rooms for the Lakehouse Lakehouseのデータクリーンルームを発表することで、企業はプライバシーを保護した方法で、顧客やパートナーとあらゆるクラウド上で簡単にコラボレーションできるようになります。データ・クリーン・ルームの参加者は、データのプライバシーを維持しながら、既存のデータを共有、結合し、データ上でPython、R、SQL、Java、Scalaなどあらゆる言語で複雑なワークロードを実行することができます。 外部データの需要がかつてないほど高まる中、組織はデータ主導のイノベーションを促進するため、データを安全に交換し、外部データを利用する方法を模索している。歴史的に、組織はデータ共有ソリューションを活用してパートナーとデータを共有し、データのプライバシーを守るために相互信頼に依存してきた。しかし、一度共有されたデータの管理は放棄され、さまざまなプラットフォームでデータがパート