世界をリードする企業からのデータ + AIユースケース
Data + AI Summitで最もエキサイティングなパートの一つは、10,000以上のグローバルな顧客がDatabricksをどのように使用してビジネスを改善しているかを聞くことです。 データインテリジェンスプラットフォームを使用することで、すべての従業員が生のデータを洞察に変換し、仕事をより良く行うのに役立つ結果を生み出し、内部プロセスをより効率的にすることができます。 GM、Block、マクドナルド、J.P.モルガン・チェース、テキサス・レンジャーズ、ユニリーバ、その他250以上の顧客が、データとAIをどのように使用し、どのような結果を達成し、それを実現するためにどのようなツールを使用したかを共有しました。これらの素晴らしいストーリーを一つの場所にまとめ、他のビジネスがデータインテリジェンスの変革的な効果を見るのを助けたいと思いました。 データ + AIサミットで紹介されたユースケース Texas Rangers は、Data Intelligence Platformを使用して、選手のメカニクスを分析し
Databricksワークフローで反復的なタスクを合理化
Databricksワークフローのタ スクループ化に For Each を使用したループが一般に利用可能になったことをお知らせします！この新しいタスクタイプは、ランタイムで定義された動的なパラメーターセットをループすることにより、反復的なタスクを自動化することがこれまで以上に簡単になります。これは、 Databricksワークフロー の 強化された制御フロー機能 への我々の継続的な投資の一部です。 For Each を使用すると、ワークフローの効率とスケーラビリティを向上させ、複雑なロジックではなく洞察に集中する時間を確保できます。 ループ処理は繰り返しタスクの処理を劇的に改善します 複雑なワークフローの管理は、しばしば複数のデータセットの処理や複数の操作の実行を必要とする反復的なタスクを扱うことを含みます。ループのサポートがないデータオーケストレーションツールは、いくつかの課題を提示します。 複雑なロジックの簡略化 以前は、ユーザーは反復的なタスクを管理するために手動で、保守が難しいロジックに頼ることが多かったで
Delta Live Tablesパイプラインのためのコスト効率的で増分的なETLとサーバーレスコンピューティング
私たちは最近、ノートブック、ワークフロー、Delta Live Tables（DLT）パイプラインのサーバーレスコンピューティングの一般提供開始を 発表しました 。今日、DLTパイプラインで構築されたETLパイプラインが、サーバーレスコンピュートからどのように利益を得られるかを説明したいと思います。 DLTパイプライン は、シンプルで宣言的なフレームワークを使用して、コスト効率の良いストリーミングとバッチETLワークフローを簡単に構築できます。データの変換を定義し、DLTパイプラインはタスクのオーケストレーション、スケーリング 、監視、データ品質、エラーハンドリングを自動的に管理します。 DLTパイプラインのサーバーレスコンピュートは、データ取り込みについては最大5倍のコストパフォーマンスを提供し、複雑な変換については最大98%のコスト節約を提供します。また、DLTクラシックコンピュートに比べて信頼性も向上します。この組み合わせにより、Databricks上で高速かつ信頼性の高いETLを大規模に実現します。このブロ
Mosaic AI Vector Searchのハイブリッド検索の一般提供を開始
Mosaic AI Vector Searchにおけるハイブリッド検索の一般提供開始を発表することを嬉しく思います。ハイブリッド検索は、事前に訓練された埋め込みモデルの強みとキーワード検索の柔軟性を組み合わせた強力な機能です。このブログ投稿では、ハイブリッド検索がなぜ重要で、どのように機能し、どのようにして検索結果を改善するためにそれを使用できるかを説明します。 ハイブリッド検索の理由は何ですか？ 事前学習済みの埋め込みモデルは、非構造化データを表現する強力な方法であり、意味を圧縮し、簡単に検索可能な形式で捉えます。しかし、それは外部データを使用して訓練されており、あなたのデータについての明確な知識はありません。ハイブリッド検索は、ベクトル検索インデックスの上に学習したキーワード検索インデックスを追加します。キーワード検索インデックスはあなたのデータで訓練されており、そのため、あなたの検索状況に重要な名前、製品キー、その他の識別子についての知識を持っています。 ハイブリッド検索を選ぶタイミング ハイブリッド検索は
Databricksデータウェアハウス Brickbuilder移行ソリュ ーションが、企業のデータと分析の民主化を支援
今日、私たちはデータウェアハウスBrickbuilder移行ソリューションのローンチを発表することを嬉しく思います。これは Brickbuilderプログラム の拡張で、Databricksパートナーエコシステムの経験と知識をパッケージ化し、事前に構築されたコード、モジュラーフレームワーク、カスタムサービスを提供して、組織が Databricksデータインテリジェンスプラットフォーム の全潜在能力を引き出すのを支援します。組織がますますデータに依存して生産性を向上させ、イノベーションを推進するため、Databricksへの移行により、データ湖とデータウェアハウスの最良の機能を一つのプラットフォームに統合することで、効果的なデータ管理、利用、データとAIへのアクセスを実現することができます。 パートナーソリューションとアクセラレータで構成されるBrickbuilderプログラムは、 業界 と 移行ソリューション に焦点を当てて始まり、すぐに レイクハウス と Unity Catalogアクセラレーター を含むように
Databricksワークフローの最新アップデート
Databricksワークフロー はDatabricksデータインテリジェンスプラットフォームの土台であり、世界中の数千の組織の重要なデータとAIのワークロードを動かす オーケストレーションエンジン として機能します。これを認識して、Databricksは現代のデータエンジニアリングとAIプロジェクトの進化するニーズを満たすために、ワークフローの進化に投資を続けています。 この夏、私たちはこれまでで最大の Data + AI Summit を開催し、Databricksワークフローにいくつかの画期的な機能と強化を発表しました。Data + AI Summitで発表された最近のアップデートには、新たなデータ駆動型トリガー、AI支援のワークフロー作成、強化されたSQL統合などが含まれており、これらはすべて信頼性、スケーラビリティ、使いやすさの向上を目指しています。また、自動管理のためのIaC（インフラストラクチャ・アズ・コード）ツールであるPyDABsやTerraform、そしてワークフローのサーバーレスコンピューテ
Delta Sharing Tableauコネクタを使用してリアルタイムのクロスプラットフォームコラボレーションを実現する
Kevin Glover、Martin Ko、Kuber Sharma、Tableauのチームにこの ブログへの貴重な洞察と貢献に感謝します。 組織は、協力を促進し、イノベーションを推進するために、パートナー、顧客、およびサプライヤーとデータを共有する必要があります。しかし、これらの多様でしばしば孤立したデータセットをデータプラットフォーム間でアクセス、共有、保護する現実は、しばしば摩擦と複雑さを生み出し、協力を阻害します。これに対処するために、DatabricksとLinux Foundationは Delta Sharing を導入しました。これは、プラットフォームに依存しないデータ共有のための最初のオープンソースプロトコルで、組織がデータプラットフォームと組織の境界を超えて協力を安全に拡大することを可能にします。 プラットフォーム間でのデータ共有を可能にし、データ駆動型の洞察を民主化するという元々の約束を果たすために、DatabricksとTableauは最近パートナーシップを拡大し、 新しいDelta Sh
AI/BI Genieの利用を開始する
Databricksでは、地球上のすべての人々がデータとAIにアクセスできるようにしたいと考えています。これが、ビジネスユーザーが、SQLを話すこともコードを書くこともなく、信頼できる洞察を迅速かつ正確に得ることができるようにする AI/BI のようなソリューションを構築している理由です。 現在、ダッシュボードはほとんどの人々の日常生活の一部となっています。一方、 AI/BI Genie は新しい経験であり、まだ多くの人々が馴染みがないかもしれません。Genieを使用すると、ユーザーは自己サービスで、ダッシュボードで対処されていない質問に対する答えを得ることができ、BIツールの使用方法を学んだり、専門家に洞察を作成してもらうことなく、答えを得ることができます。この背景を踏まえて、ジニーの一日を見てみると、どのように使用するか、何を期待するかを理解するのに役立つかもしれません。 「新入社員」としてのGenieへのオリエンテーション 一部の人々は、Genieを作成するプロセスを、新しいアナリストをデータチームに雇うこ
Databricks on Google CloudでサーバーレスSQLの一般提供を開始
本日、 Databricks SQL Serverless がGoogle Cloud Platform（GCP）で一般提供開始されたことをお知らせします。Databricks SQL Serverlessは、データインテリジェンスプラットフォームの主要コンポーネントとして、瞬時に伸縮自在なコンピューティングにより最高のパフォーマンスを提供し、コストを削減して、インフラストラクチャの管理ではなくビジネス価値の提供に集中できるようにします。この一般提供リリースは、最高のデータウェアハウスはレイクハウスであり、データレイクとウェアハウスを統合して統一的 なアプローチを提供するという私たちの信念を強化します。SQL Serverlessは現在、7つのGCPリージョンと、すべての主要なクラウドプロバイダー（ AWS 、 Azure 、GCP）の40以上のリージョンで利用可能です。 GCP上のDatabricks SQL Serverlessの利点 過去数年間で、レイクハウス専用に設計されたデータウェアハウスであるDatab
スーパーノヴァ！ブラックホール！ストリーミングデータ！
Translation Reviewed by Akihiro.Kuwano 概要 このブログ投稿は、Data + AI Summit 2024でのセッション スーパーノヴァからLLMsへ のフォローアップで、ここでは誰でもApache Kafkaから公開されているNASAの衛星データを消費し、処理する方法を示しました。 多くのKafkaのデモとは異なり、再現性が低いか 、シミュレートされたデータに依存しているのではなく、私はNASAの公開されている ガンマ線座標ネットワーク （GCN）からのライブデータストリームの分析方法を示します。これは、さまざまな衛星から来るスーパーノヴァとブラックホールのデータを統合しています。 オープンソースの Apache Spark™ と Apache Kafka だけを使ってソリューションを作ることも可能ですが、このタスクには...