Data + AI Summit 2023におけるデータエンジニアリングとストリーミングの最新情報
翻訳：Junichi Maruyama. - Original Blog Link 今日は木曜日で、2023年データ＋AIサミットからの発表の週を終えたばかりです。今年のサミットのテーマは「ジェネレーションAI」であり、LLM、レイクハウスアーキテクチャ、そしてデータとAIにおけるすべての最新イノベーションを探求するテーマでした。 最新のジェネレーティブAIのイノベーションを支えるのは、最新のデータエンジニアリングスタックです。 最新のジェネレーティブAIのイノベーションを支えるのは、Delta Lake、Spark、Databricks Lakehouse Platformが提供する最新のデータエンジニアリングスタックです。Databricks Lakehouseは、 Delta Live Tables や Databricks Workflows などのソリューションにより、高度なデータパイプラインの構築とオーケストレーションの課題に取り組むデータエンジニアを支援する高度な機能を提供します。 このブログ記事で
Delta Live TablesとUnity Catalogを使用したガバメント・パイプラインの構築
翻訳: Masahiko Kitamura オリジナル記事： Build governed pipelines with Delta Live Tables and Unity Catalog Delta Live Tables（DLT）のUnity Catalogサポートのパブリックプレビューを発表できることを嬉しく思います。このプレビューにより、どのようなデータチームでも、Delta Live Tablesによって生成されたデータ資産に対して、きめ細かいデータガバナンスポリシーを定義し、実行することができます。私たちは、データエンジニアリングパイプラインにUnity Catalogのパワーをもたらします。パイプラインとDelta Live Tablesは、他のUnity...
Lakehouse Apps のご紹介
翻訳：Saki Kitaoka. Original Blog Link Lakehouse Apps は、Databricksのネイティブアプリケーションを構築する新しい方法です。Lakehouse Appsは、Databricksのセキュリティとガバナンス機能をフルに活用し、革新的なデータおよびAIアプリケーションを Databricks Lakehouse Platform 上で構築、配布、実行する最も安全な方法を提供します。 データおよびAIソリューションを構築する開発者にとっては、Databricks Marketplaceを通じてLakehouse Appsを配布することで、10,000社を超えるDatabricksの顧客にアクセスでき、採用までの時間が劇的に短縮されます。お客様にとっては、Lakehouse Appsは、Lakehouse内のデータの価値を最大限に引き出し、Databricksネイティブサービスを活用し、新しい機能でDatabricksを拡張するアプリケーションを実行する最も安全な方法
Databricksのワークフローを利用したLakehouseのオーケストレーション
Original: Lakehouse Orchestration with Databricks Workflows 翻訳: junichi.maruyama 業界を問わず、組織はレイクハウス・アーキテクチャを採用し、すべてのデータ、アナリティクス、AIのワークロードに統一プラットフォームを使用しています。ワークロードを本番環境に移行する際、組織はワークロードのオーケストレーションの方法が、データとAIソリューションから引き出すことのできる価値にとって重要であることに気づいています。オーケストレーションが正しく行われれば、データチームの生産性を向上させ、イノベーションを加速させることができ、より良いインサイトと観測性を提供でき、最後にパイプラインの信頼性とリソース利用を改善することができる。 Databricks Lakehouse Platformの活用を選択したお客様にとって、オーケストレーションがもたらすこれらの潜在的なメリットはすべて手の届くところにありますが、Lakehouseとうまく統合されたオーケ
Databricks Unity CatalogをオープンなApache Hive Metastore APIで拡張可能になりました
Original: Extending Databricks Unity Catalog with an Open Apache Hive Metastore API 翻訳: saki.kitaoka 本日、Databricks Unity CatalogのHive Metastore（HMS）インターフェイスのプレビューを発表しました。Apache Hiveは、業界で最も広くサポートされているカタログインターフェースであり、事実上すべての主要なコンピューティングプラットフォームで使用可能です。この機能により、企業はデータ管理、発見、ガバナンスをUnity Catalogに一元化し、Amazon Elastic MapReduce（EMR）、オープンソースのApache Spark、Amazon...
CrowdStrike Falconのイベントに向けてサイバーセキュリティのレイクハウスの構築
翻訳: Masahiko Kitamura オリジナル記事: Building a Cybersecurity Lakehouse for CrowdStrike Falcon Events 今すぐDatabricks を導入して、 こちらのノートブック を実行してみてください。 エンドポイントデータは、セキュリティチームが脅威の検出、脅威の狩猟、インシデント調査、およびコンプライアンス要件を満たすために必要です。データ量は、1日あたりテラバイト、1年あたりペタバイトになることもあります。ほとんどの組織がエンドポイントログの収集、保存、分析に苦労しているのは、このような大容量のデータに関連するコストと複雑さのためです。しかし、こうである必要はありません。 この2部構成のブログシリーズでは、Databricksを使用してペタバイトのエンドポイントデータを運用し、高度な分析によってセキュリティ体制を向上させる方法を、コスト効率の良い方法でご紹介します。第1部（このブログ）では、データ収集のアーキテクチャとSIEM（Sp
ファイルアップロードとデータ追加UIでLakehouseに簡単に取り込む
Original: Easy Ingestion to Lakehouse with File Upload and Add Data UI 翻訳: junichi.maruyama Lakehouseへのデータ取り込みは、多くの組織にとってボトルネックとなり得ますが、Databricksを使用すれば、様々なタイプのデータを迅速かつ容易に取り込むことができます。小さなローカルファイルでも、データベース、データウェアハウス、メインフレームなどの大規模なオンプレミスストレージプラットフォームでも、リアルタイムストリーミングデータでも、その他のバルクデータ資産でも、DatabricksはAuto Loader、COPY INTO、Apache Spark™ API、設定可能なコネクタなどの幅広い取り込みオプションであなたをサポートします。また、ノーコードまたはローコードアプローチをご希望の場合は、Databricksはインジェストを簡素化する使いやすいインターフェイスを提供します。 データインジェストブログシリーズの第
Unity Catalogを通じたデルタシェアリングで構造化ストリーミングを使う
Original : Using Structured Streaming with Delta Sharing in Unity Catalog 翻訳： junichi.maruyama この度、Azure、AWS、GCPにおいて、Structured StreamingをDelta Sharingで使用するためのサポートが一般提供（GA）されたことをお知らせします！この新機能により、Databricks Lakehouse Platform上のデータ受信者は、 Unity Catalog を通じて共有されたDelta Tableからの変更をストリーミングできるようになります。 データプロバイダーは、この機能を活用することで、Data-as-a-Service...
新しいナビゲーションUIで目的のものを見つけましょう
Original: Find what you seek with the new navigation UI 翻訳: saki.kitaoka Databricksの新しいUIがリリースされ、ナビゲーションがより簡単になります。 顧客はよりシンプルなナビゲーションを求めています。 Databricksでは、顧客中心の文化があります。ユーザーからのフィードバックを真摯に受け止め、Databricksでのナビゲーション経験の改善を求めています。過去数か月間、多くの顧客と共に問題や改善されたナビゲーション経験を理解しま した。 ユーザーはタスクごとにクリック数を減らしたい 話し合いを通じて、ナビゲーション改善に関連する2つの主題が見られました。まず、ワークスペース内でA地点からB地点への移動を容易にしたいとの要望がありました。経験豊富なユーザーや新規ユーザーにとって、目的地までのクリック数が多すぎる場合、時間がかかります。そのため、上部に統合検索を配置し、よく使われるタスクのための「はじめに」セクションを再設計しました
Databricks SQLのキャッシングを理解する： UIキャッシュ、リザルトキャッシュ、ディスクキャッシュ
Original: Understanding Caching in Databricks SQL: UI, Result, and Disk Caches 翻訳: junichi.maruyama キャッシングは、同じデータを何度も再計算またはフェッチする必要性を回避することで、データウェアハウスシステムのパフォーマンスを向上させるために不可欠な技術です。Databricks SQLでは、キャッシングによってクエリの実行を大幅に高速化し、ウェアハウスの使用量を最小限に抑えることができるため、コストの削減とリソースの効率的な利用が可能になります。 この記事では、キャッシングの利点を探り、DBSQLの3種類のキャッシング：ユーザー インターフェイス キャッシュ、リザルトキャッシュ（ローカルおよびリモート）、ディスク キャッシュ（旧デルタ キャッシュ）を掘り下げて説明します。 キャッシングのメリット キャッシングは、データウェアハウスにおいて、以下のような多くの利点をもたらします： スピード...