毎年恒例の Data Team Awardsは、 今日の最も困難なビジネス課題のいくつかに取り組むことに尽力しているトップクラスのグローバルエンタープライズデータチームの目覚ましい努力を紹介するものです。 今年は、6つのカテゴリーで200社以上のノミネートがあり、さまざまな業界や地域を代表する企業から応募がありました。 Data + AI Summit に先立ち、各カテゴリーのファイナリストを紹介し、データと AI の進歩を先導する人たちに焦点を当てます。 今年新たに導入された GenAI 賞は、大規模言語モデル (LLM) の企業における広範な採用を象徴するものです。 LLM が生産性の向上、ユーザー エクスペリエンスのパーソナライズ、問題解決の新たな可能性の開拓を通じて業界を変革する中、 Databricks 、生成...

Reviewed by saki.kitaoka 現代のデジタル環境において、セキュアなデータ共有は運用効率とイノベーションに不可欠です。DatabricksとLinux Foundationは、データ、分析、AI全体でのデータ共有に対する初のオープンソースアプローチとして Delta Sharing を開発しました。Databricksは、安全なデータ交換を提供し、プラットフォーム、クラウド、地域をまたいだシームレスな共有を促進します。あらゆる規模の企業が、幅広いアプリケーションと多様なデータ形式をサポートするDelta Sharingを信頼しています。この柔軟性により、データ資産の可能性を最大限に引き出そうとする組織にとって信頼できるツールとなります。 本ブログでは、Databricks Delta Sharingのセキュリティアーキテクチャを、 Databricks顧客間共有（D2D） 、 Databricks顧客からオープン共有（D2O） 、クロスクラウドデータ共有の3つの異なる共有シナリオを通じて検討し

Data Team Awards は、業界全体のエンタープライズデータチームに不可欠な役割を毎年表彰し、世界中のレジリエンスとイノベーションを称えるものです。 200件を超えるノミネートがあるこの賞は、データサイエンスと人工知能の舞台裏での成功を紹介しています。 6月に開催される Data + AI Summit で、6つのカテゴリーにわたるこれらの先進的なクライアントを紹介できることを楽しみにしています。 Data & AI ビジョナリー賞は、データ分析とAI自社の戦略的取り組みに統合する取り組みを先導したエグゼクティブイノベーターに贈られます。 これらの先見の明のある人たちは、比類のない先見性と発明力を体現し、予測的知見、革新的な問題解決、 AIなどにおけるデータの役割に新たな道を切り開きます。 2024 年の Data & AI ビジョナリー賞のファイナリストは、この先駆的精神の頂点を体現し、データドリブンの探求と達成の最前線に立つことの意味について新たな基準を設定します。...

Databricks で XML データの取り込み がネイティブにサポートされるようになりました。 XML は、製造、医療、法律、旅行、金融などのさまざまなユースケースで複雑なデータ構造を表すための一般的なファイル形式です。 これらの業界がアナリティクスとAIの新たな機会を見つけるにつれて、大量の XML データを活用する必要性が高まっています。 Databricks の顧客は、このデータをデータ インテリジェンス プラットフォームに取り込み、そこで Mosaic AI や Databricks SQL などの他の機能を使用してビジネス価値を高めることができます。 ただし、回復力のある XML パイプラインを構築するには、多くの作業が必要になる場合があります。...

過去 1 年間、業界レベルのLLMテクノロジーの世界をフォローしてきた方なら、本番運用におけるフレームワークやツールの多さに気付いているでしょう。スタートアップ企業は、 検索拡張生成 (RAG) 自動化からカスタム ファインチューニング サービスまで、あらゆるものを構築しています。Langchain は 、おそらくこれらすべての新しいフレームワークの中で最も有名で、2023 年春以降、連鎖言語モデル コンポーネントの簡単なプロトタイプ作成を可能にしています。ただし、最近の重要な開発は、スタートアップ企業からではなく、学術界から生まれました。 2023年10月、Databricksの共同創設者であるMatei Zahariaのスタンフォード研究室の研究者たちが、宣言型の言語モデルコールを自己改善型パイプラインにコンパイルするためのライブラリである DSPy を発表しました。DSPyの主要な要素は自己改善型パイプラインです。例えば、ChatGPTは単一の入力-出力インターフェースとして見えますが、実際には単一のLLM

Databricks データインテリジェンスプラットフォームで Delta Lake リキッドクラスタリングが一般提供されることをお知らせします。リキッドクラスタリングは、テーブル パーティショニングと ZORDER に代わる革新的なデータ管理手法であり、データ レイアウトを微調整することなく、 最適 なクエリ パフォーマンスを実現できます 。 リキッドクラスタリングは、 データ レイアウト関連の決定を大幅に簡素化し 、 データを書き換えずにクラスタリング キーを再定義する 柔軟性を提供します 。 これにより、時間の経過とともに分析ニーズに合わせてデータ レイアウトを進化させることができます。これは、...

生成AI（GenAI）は信じられないほど速く動いています。 その結果、わずか 2 年足らずで GenAI は最もエキサイティングで変革的なテクノロジーの 1 つとして登場し、さまざまな業界の企業がイノベーションを推進し、生産性を高め、優れた顧客体験を提供できるようにしています。 Databricks では、通信、エネルギー、金融サービス、ヘルスケアおよびライフサイエンス、製造、公共部門、メディアおよびエンターテイメント、小売および消費財など、あらゆる業界のプラットフォーム全体で GenAI アプリケーションの需要と開発が急激に増加しています。 Data + AI Summit が近づくにつれ、私たちはグローバルコミュニティを結集し、すべての人にデータインテリジェンスを提供するという約束を果たしていきます。 GenAI はイベントの中心的なテーマとなり、GenAI アプリケーションの開発と展開をサポートする 130 社以上のパートナー が参加します。...

昨年、 Databricks Money エンジニアリング チームは刺激的な旅に乗り出し、運用効率をほぼ 2 倍に向上させました。 この変革的な経験を皆さんと共有し、私たちの成功を後押しした具体的な戦略を紹介できることを嬉しく思います。 この記事では、Ops Czar を導入することで運用上の負担が軽減され、同時にエンジニアリング チームの能力が強化された方法について説明します。 実用主義と Databricks の 第一原則 について説明します。 「団結、強さ」：集団的努力と戦略的効率性が私たちの能力を倍増させた方法 Money チームは、ワークフローやノートブックなどの Databricks 製品の商品化の中心です。 当社は、製品使用量の計測から請求書の計算、顧客へのコストの明確化まで、あらゆる業務を担います。...

私たちは、新世代の創業者とスタートアップ企業を支援するという私たちの取り組みを示す Databricks AI Fund を発表できることを嬉しく思います。