Original Blog : Announcing Public Preview of Databricks Marketplace 翻訳： junichi.maruyama この度、オープンソースの Delta Sharing 規格を利用した、あらゆるデータ、アナリティクス、AIのためのオープンマーケットプレイス、 Databricks Marketplace のパブリックプレビューを発表します。Databricks Marketplaceは、データ消費者とデータ提供者の広大なエコシステムを結集し、データセット、ノートブック、MLモデルなど、さまざまなデータ資産を、プラットフォームの依存関係や複雑なETL、高価なレプリケーションなしに共有・共同利用できます。データコンシューマーは、組織のAI、ML、アナリティクスイニシアチブを革新・推進し、ベンダーロックインすることなく、より迅速なインサイトを提供することができます。データプロバイダーは、ビジネスを拡大し、新しいユーザーを獲得し、収益を上げることができます。

Original Blog : Databricks ❤️ Hugging Face 翻訳： junichi.maruyama ジェネレーティブAIが世界を席巻しています。データ＆AIカンパニーである私たちは、オープンソースの大規模言語モデル「Dolly」と、そのファインチューニングに使用した研究・商用利用のための社内クラウドソーシングデータセット「databricks-dolly-15k」をリリースし、この旅に参加しています。モデルもデータセットも、Hugging Faceで公開されています。そして今日、私たちはHugging Faceコードベースへの最初の公式コミットを発表し、ユーザーがApache Spark™データフレームからHugging Faceデータセットを簡単に作成できるようにすることに興奮しています。 「Databricksがモデルやデータセットをコミュニティに公開することは素晴らしいことですが、今回、Hugging Faceに直接オープンソースを提供することで、その作業を拡張していることがわか

Original Blog : A data architecture pattern to maximize the value of the Lakehouse 翻訳： junichi.maruyama Lakehouseの優れた成果の1つは、従来のBI、機械学習＆AIといったモダンなユースケースのワークロードを1つのプラットフォームで組み合わせることができることです。このブログ記事では、「1つのプラットフォームに2つのサイロがある」というリスクを軽減するアーキテクチャ・パターンを説明しています。本ブログで紹介するアプローチに従えば、機械学習やAIを利用するデータサイエンティストは、組織のビジネス情報モデルから得られる信頼性の高いデータに容易にアクセスできるようになります。同時に、ビジネスアナリストは、中核となるエンタープライズデータウェアハウス（EDW）の安定性と適合性を維持しながら、レイクハウスの機能を活用してデータウェアハウス（DWH）プロジェクトのデリバリーを加速させることができます。 データレイクと

Original Blog : How Databricks enables your operating model for Data and AI: Part 1 翻訳： junichi.maruyama "今、（AIの）ボトルネックは、テクノロジーではなく、マネジメント、実装、ビジネスイマジネーションにあります。" -Erik Brynjolfsson データとAIは、ここ数年、ほとんどの組織にとって戦略的な必須事項として浮上しています。大企業も中小企業も、データおよびAIの専門家を多数採用し、データプラットフォームのアップグレードと進化に多大な投資を行ってきました。 これまでのところ、投資のほとんどは、データとAIを活用し、進化し続けるデータ環境の規模と複雑性に伴って出現した技術的課題を解決するために必要なテクノロジーと技術スキルに焦点を当てています。Databricksでは、レイクハウスパラダイムを発明したり、 Delta...

Original Blog : Enhancing Product Search with Large Language Models (LLMs) 翻訳： junichi.maruyama ChatGPTやDollyなどのテキスト生成能力は実に素晴らしく、AIの分野での大きな一歩として当然のように認識されています。しかし、これらのモデルによってもたらされる未来への興奮が落ち着くにつれて、多くの組織が、これらのテクノロジーを今日どのように活用できるのか、という疑問を持ち始めています。 多くの新技術と同様、大規模言語モデル（LLM）の完全な応用範囲は現時点では不明ですが、 以前のブログ で紹介したように、私たちが現在行っていることを補強し強化するために使用できるいくつかの領域を特定することができます。大量の文章を要約し、十分な情報を得た上で意見を述べたり、指導したりするような場は、まさにうってつけです。 製品カタログの検索にお困りのお客様へ 小売業や消費財メーカーにとって、コスト削減だけでなく、成長促進にもつながる

Original Blog : Announcing the General Availability of Predictive I/O for Reads 翻訳： junichi.maruyama 本日、 Databricks SQL (DB SQL) 向けのPredictive I/Oの一般提供を開始します：機械学習を利用した機能で、ポイントのルックアップをより速く、より安くすることができます。Predictive I/Oは、Databricksが大規模なAI/MLシステムを構築してきた長年の経験を活用し、追加のインデックスや高価なバックグラウンドサービスなしで、Lakehouseを最もスマートなデータウェアハウスにすることができます。実際、ポイント検索では、Predictive I/Oは、インデックスと最適化サービスのすべての利点を提供しますが、それらを維持するための複雑さとコストは必要ありません。...

Original Blog : Announcing the Public Preview of Predictive I/O for Updates 翻訳： junichi.maruyama 前回、 Predictive I/O と呼ばれる新技術により、CDWのお客様がノブなしで選択的読み取りを最大35倍まで改善できることをご紹介しました。本日は、もう一つの革新的な飛躍であるPredictive I/O for Updatesのパブリックプレビューを発表し、MERGE、UPDATE、DELETEのクエリパフォーマンスを最大10倍高速化することができるようになりました。 Databricksのお客様は、毎日1エクサバイト以上のデータを処理しており、50%以上のテーブルでMERGE、UPDATE、DELETEなどのデータ操作言語（DML）オペレーションを利用しています。このブログでは、Predictive I/Oが機械学習を使用してこの大規模なパフォーマンス向上を達成した方法を説明します。しかし、良い部分にスキップ

Original Blog : Processing data simultaneously from multiple streaming platforms using Delta Live Tables 翻訳： junichi.maruyama 今日の組織における大きな課題の1つは、ビジネスのスピードに合わせた意思決定を可能にすることです。ビジネスチームや自律的な意思決定システムは、意思決定や迅速な対応に必要なすべての情報を、ソースとなるイベントが発生すると同時に、リアルタイムまたはほぼリアルタイムで必要とすることが多い。このような情報は、ストリーム処理用語でイベントと呼ばれ、ソースからデスティネーションへ非同期でリレーされ、一般的にメッセージブローカーやメッセージバスを介して行われる。 組織が成長し、チームが他のチームに分岐するにつれ、メッセージブローカーの使用パターン、数、種類は増加します。合併や買収のシナリオでは、企業が新しいメッセージブローカーを継承することが多く、その場合、既存のデータエンジニアリ

Original Blog : Launching a New Files Experience for the Databricks Workspace 翻訳： junichi.maruyama 本日、Databricksのワークスペースにおけるファイルの一般的な利用可能性を発表することを嬉しく思います。ファイルのサポートにより、DatabricksユーザーはPythonソースコード、リファレンスデータセット、その他あらゆるタイプのファイルコンテンツをノートブックと一緒に直接保存できるようになります。また、Databricksは、インラインコード実行をサポートする新しいリッチファイルエディタを一般的に利用できるようにします。この新しいエディタは、ファイルエディタにノートブックの多くの機能（入力時のオートコンプリート、オブジェクトインスペクション、コードフォールディングなど）をもたらし、より強力な編集体験を提供します。 ワークスペースでのファイルサポート は、Databricks Reposでお馴染みの機能を拡張