メインコンテンツへジャンプ
ページ 1

DatabricksとInformaticaによるエンタープライズAIのためのインテリジェントデータエンジニアリング

生成型AIは、組織がデータから価値を引き出す方法に対して大きな可能性を秘めています。しかし、真のインテリジェントデータ管理に根ざした正確で関連性のある結果を確保する周囲の一連の課題もあります。実際、最近の MIT Technologyの600人のCIOを対象とした調査 では、エグゼクティブの72%が、データの課題がAI成功を危険にさらす最大の要因であると述べています。その結果、私たちはAIプロジェクトが最優先事項であるが、生産でビジネス価値を実現するのに苦労している顧客と常に話をしています。 DatabricksとInformaticaは、エンタープライズAIアプリケーションのためのインテリジェントなソリューションを提供するために、データ管理の風景を再形成しています。Informaticaのローコード/ノーコードのデータ管理の専門知識を用いて、さまざまなソースシステムからのデータを発見、カタログ化、管理し、DatabricksのAI最適化のインテリジェントデータウェアハウジング機能と組み合わせることで、組織は次の

Databricksがストリーム処理とクラウドデータパイプラインのリーダーとして認定

データエンジニアリングとデータストリーミングの分野でDatabricksを評価する2つの新しいアナリストレポートを発表できることを誇りに思います: IDC MarketScape: Worldwide Analytic Stream Processing Software, 2024 (リーダー) Forrester Wave™: Cloud Data Pipelines, Q4 2023 (リーダー) IDCレポートは こちら から、Forresterレポートは こちら からダウンロードできます。...

データエンジニアリングとストリーミングの最新動向 - 2024年1月

Databricksは このほど 、当社が開拓したレイクハウス・アーキテクチャの自然な進化形であるデータ・インテリジェンス・プラットフォームを発表しました。 データ・インテリジェンス・プラットフォームとは、組織固有のデータを深く理解し、誰でも簡単に必要なデータにアクセスし、ターンキー方式のカスタムAIアプリケーションを迅速に構築できるようにする、単一の統合プラットフォームという考え方です。 データインテリジェンスプラットフォーム上に構築されたすべてのダッシュボード、アプリ、およびモデルが適切に機能するには信頼できるデータが必要であり、信頼できるデータには最高のデータエンジニアリングプラクティスが必要です。 Databricksは 、 Spark 、 Delta Lake 、 ワークフロー 、 Delta Live Tables 、そして Databricks Assistantの ような新しいAI機能を通じて、データエンジニアにベストプラクティスを提供してきました。 AIの時代には、 データエンジニアリングのベス

あらゆるユースケースに対応するストリーミング・アーキテクチャが必要な時が来た!

今日のデータ主導の世界では、企業はかつてない規模のデータを効率的に取り込み、処理するという課題に直面している。 常に生成されるビジネスクリティカルなデータの量と多様性により、アーキテクチャの可能性は無限に近い。 良いニュースは? これはまた、スループット、レイテンシー、コスト、運用効率など、データアーキテクチャをさらに最適化できる可能性が常にあることを意味する。 多くのデータ専門家は、"データストリーミング" や"ストリーミングアーキテクチャ" といった用語を、ほとんどのワークロードにとって複雑でコストがかかり、実用的でないように見える超低レイテンシのデータパイプラインと関連付けている。 しかし、Databricks Lakehouse Platform上でストリーミングデータアーキテクチャを採用したチームは、 ほとんどの場合 、スループットの向上、運用オーバーヘッドの削減、コストの大幅削減というメリットを得ることができます。 これらのユーザーの中には、サブ秒単位のレイテンシーでリアルタイムにジョブを実行する者も

Data + AI Summit 2023におけるデータエンジニアリングとストリーミングの最新情報

翻訳:Junichi Maruyama. - Original Blog Link 今日は木曜日で、2023年データ+AIサミットからの発表の週を終えたばかりです。今年のサミットのテーマは「ジェネレーションAI」であり、LLM、レイクハウスアーキテクチャ、そしてデータとAIにおけるすべての最新イノベーションを探求するテーマでした。 最新のジェネレーティブAIのイノベーションを支えるのは、最新のデータエンジニアリングスタックです。 最新のジェネレーティブAIのイノベーションを支えるのは、Delta Lake、Spark、Databricks Lakehouse Platformが提供する最新のデータエンジニアリングスタックです。Databricks Lakehouseは、 Delta Live Tables や Databricks Workflows などのソリューションにより、高度なデータパイプラインの構築とオーケストレーションの課題に取り組むデータエンジニアを支援する高度な機能を提供します。 このブログ記事で

Project Lightspeed Update - Apache Spark Structured Streamingの高度化に向けて

翻訳:Saki Kitaoka. - Original Blog Link このブログポストでは、1年前にProject Lightspeedを発表してからの Spark Structured Streaming の進歩について、パフォーマンスの向上からエコシステムの拡張、そしてそれ以降についてレビューします。具体的なイノベーションについて説明する前に、そもそも私たちが Project Lightspeed の必要性に至った背景を少しおさらいしましょう。 本記事の背景 ストリーム処理は、インスタントな洞察とリアルタイムのフィードバックを得るために、企業にとって重要なニーズです。Apache Spark Structured Streamingは、その使いやすさ、パフォーマンス、大規模なエコシステム、開発者コミュニティにより、長年にわたって最も人気のあるオープンソースのストリーミングエンジンです。オープンソースで組織全体に広く採用されており、 Delta Live Tables...