翻訳：Junichi Maruyama. - Original Blog Link
今日は木曜日で、2023年データ＋AIサミットからの発表の週を終えたばかりです。今年のサミットのテーマは「ジェネレーションAI」であり、LLM、レイクハウスアーキテクチャ、そしてデータとAIにおけるすべての最新イノベーションを探求するテーマでした。
最新のジェネレーティブAIのイノベーションを支えるのは、最新のデータエンジニアリングスタックです。
最新のジェネレーティブAIのイノベーションを支えるのは、Delta Lake、Spark、Databricks Lakehouse Platformが提供する最新のデータエンジニアリングスタックです。Databricks Lakehouseは、Delta Live TablesやDatabricks Workflowsなどのソリューションにより、高度なデータパイプラインの構築とオーケストレーションの課題に取り組むデータエンジニアを支援する高度な機能を提供します。
このブログ記事では、データ エンジニアリングとデータ ストリーミングの主要なハイライトと発表を振り返ります。Databricks Lakehouse Platformにおけるデータエンジニアリングとデータストリーミングの未来を形作ることになる進歩に飛び込んでみましょう。
Databricks Lakehouse Platformは、data streamingを劇的に簡素化し、リアルタイム分析、機械学習、アプリケーションを1つのプラットフォーム上で実現します。最も人気のあるオープンソースのストリーミングエンジンであるSpark Structured Streamingを基盤に構築されたDelta Live Tablesのようなツールは、データエンジニアがあらゆるリアルタイムユースケースに対応するストリーミングデータパイプラインを構築できるようにします。
以下は、今週ブログで取り上げたデータ・ストリーミングの最も大きな進展の一部である：
上記の発表については、この2つのセッション（近日中にオンデマンドで入手可能）で詳しくご紹介します：
Databricks Workflows は、Databricks Lakehouseと完全に統合された統合オーケストレーションツールで、シンプルなワークフローオーサリングエクスペリエンス、実用的な洞察による完全な観測性、そして何千ものDatabricksのお客様から信頼されている実証済みの信頼性を提供し、本番ワークロードをオーケストレーションします。
サミットの中で、ワークフロー製品チームは来年のロードマップを垣間見ることができました。ここでは、今後数ヶ月のロードマップの中で、いくつかのエキサイティングなアイテムをご紹介します：
上記セッションの詳細はこちらをご覧ください What's new in Databricks Workflows? (soon available on demand).
データエンジニアリングとデータストリーミングワークロードを実行するための最適な場所として、Databricks Lakehouse Platformに注目する企業が増えています。例えば、ストリーミングジョブの実行数は年間150%以上の成長を続けており、最近では1週間あたり1,000万ジョブを超えました。
今年のData + AI Summitには1000件以上の講演が寄せられ、その中にはDatabricksのお客様も多数含まれています。Databricksのお客様がデータエンジニアリングやデータストリーミングで行っている素晴らしい仕事の一部をLakehouseでご紹介できることを大変嬉しく思います：
ご安心ください！データエンジニアリングとデータストリーミングの全セッションはこちらからご覧いただけます。Databricks Lakehouseプラットフォームに初めて触れる方には、この2つの入門セッションがお勧めです：
See you next year at Data + AI Summit 2024!
