Databricks SQLのマテリアライズド・ビューとストリーミング・テーブルの紹介
翻訳：Junichi Maruyama. - Original Blog Link AWSとAzure上の Databricks SQL でマテリアライズド・ビューとストリーミング・テーブルが公開されたことをお知らせできることを嬉しく思います。ストリーミングテーブルは、クラウドストレージやメッセージキューからの増分インジェストを提供します。マテリアライズド・ビューは、新しいデータが到着すると自動的にインクリメンタルに更新されます。これら2つの機能を組み合わせることで、インフラストラクチャを必要としないデータパイプラインが実現し、セットアップが簡単で、新鮮なデータをビジネスに提供することができます。このブログポストでは、アナリストやアナリティクス・エンジニアがデータウェアハウスでデータとアナリティクス・アプリケーションをより効果的に提供するために、これらの新機能がどのように役立つかを探ります。 背景 データウェアハウスとデータエンジニアリングは、データ駆動型の組織にとって極めて重要である。データウェアハウスはアナリ
Data and AI Summit 2023におけるUnityカタログの最新情報
翻訳：Junichi Maruyama. - Original Blog Link データ管理に不可欠な、説明責任、コンプライアンス、品質、透明性といったガバナンスの基本原則は、今やAIにとっても同様に不可欠なものとなっています。Databricksは Unity Catalog で、クラウドとデータプラットフォームにわたるデータとAIガバナンスのための業界唯一の統合ソリュ ーションをリリースすることで、先駆的なアプローチを取りました。 組織はUnity Catalogを使用することで、あらゆるデータプラットフォームやクラウドでファイル、テーブル、MLモデル、ノートブック、ダッシュボードを安全に発見、アクセス、監視、コラボレーションすることができます。 私たちは、 Lakehouse Federation 、 Governance for AI 、AIを活用したガバナンス（ Lakehouse Monitoring、Lakehouse Observability...
LakehouseIQのご紹介： あなたのビジネスを独自に理解するAIエンジン
翻訳：Junichi Maruyama. - Original Blog Link 本日、LakehouseIQを発表いたします。LakehouseIQは、お客様のビジネスとデータのユニークなニュアンスを学習し、様々なユースケースで自然言語によるアクセスを可能にするナレッジエンジンです。LakehouseIQは、組織内のどの従業員でも自然言語でデータを検索、理解、照会することができます。LakehouseIQは、お客様のデータ、使用パターン、組織図に関する情報をもとに、専門用語や独自のデータ環境を理解し、素朴なLarge Language Models (LLM)よりもはるかに優れた回答を提供します。 ラージ・ランゲージ・モデルはもちろん、データに言語インターフェースをもたらすと約束されており、どのデータ会社もAIアシスタントを追加しているが、現実には、これらのソリューションの多くは企業データでは不十分である。どの企業も独自のデータセット、専門用語、ビジネス上の質問に答えるために必要な内部知識を持っており、質問に
Lakehouse AI: Generative AIアプリケーション構築のためのデータ中心アプローチ
翻訳: Masahiko Kitamura オリジナル記事: Lakehouse AI: a data-centric approach to building Generative AI applications ジェネレーティブAIは、あらゆるビジネスに変革をもたらすでしょう。Databricksは10年にわたりAIイノベーションのパイオニアとして、AIソリューションを提供するために何千ものお客様と積極的に協力し、月間1,100万ダウンロードを誇るMLflowのようなプロジェクトでオープンソースコミュニティと協力してきました。Lakehouse AIとそのユニークなデータ中心アプローチにより、私たちはお客様がスピード、信頼性、完全なガバナンスでAIモデルを開発・展開できるよう支援します。本日開催されたData and AI Summitでは、Lakehouse AIがお客様のジェネレーティブAI制作の旅を加速させる最高のプラットフォームとなるよう、いくつかの新機能を発表しました。これらのイノベーションには、V
UnityカタログにLakehouseフェデレーション機能を導入
翻訳: Masahiko Kitamura オリジナル記事: Introducing Lakehouse Federation Capabilities in Unity Catalog データチームは、データの断片化、データの統合にかかる時間とコスト、多数のシステムにわたるデータガバナンスの管理の難しさなどが主な原因で、適切なデータに素早くアクセスするために多くの課題に直面しています。 そのため、本日 Data+AI Summit で、組織が統一されたガバナンスを備えた、拡張性とパフォーマンスの高いデータメッシュアーキテクチャを構築できるUnity CatalogのLakehouse Federation機能を発表できることを嬉しく思います。 Unity Catalog は、データとAIのための統合ガバナンスソリューションを提供します。Unity CatalogのLakehouseフェデレーション機能により、MySQL、PostgreSQL、Amazon Redshift、Snowflake、Azure...
DatabricksのLakehouseがTD銀行グループのデータ・トランスフォーメーションの新時代をどのように支えているか
このブログは、TD Bankのデータ・プラットフォーム変革およびDaaS（Data as a Service）組織の実現に関する3回シリーズの第1回です。Satish Narayanan 氏、Paul Wellman氏、Jon Hollander氏に感謝します。 翻訳：Saki Kitaoka. Original Blog Link TDでは、組織全体で信頼できるデータを保護し、活用することの重要性を認識しています。データはTDを「より良い銀行」にするために不可欠なものであり、お客様をサポートするために有意義な洞察とインパクトを生み出すデータの育成に注力しています。このようなデータの管理、処理、分析、対処は、しばしば複雑で時間のかかるものでした。今日の環境では、お客様のニーズや刻々と変化する市場の需要に対応するため、リアルタイムの意思決定と洞察が求められています。 規制当局からの圧力や顧客からの要求の高まりにより、すべての組織はデータの管理と正確性をより厳しく管理する必要に迫られています。最近では、データの可用性を
Databricksを活用したジェットブルーにおけるイノベーションの加速
This blog is authored by Sai Ravuru Senior Manager of Data Science & Analytics at JetBlue 翻訳：Junichi Maruyama. - Original Blog Link 航空業界におけるデータの役割には歴史があります。航空会社はメインフレームコンピュータの最初のユーザーの1つであり、今日、データの使用はビジネスのあらゆる部分をサポートするために発展してきました。データの質と量のお かげもあって、航空会社は世界で最も安全な交通手段のひとつとなっています。...
ヘルスケアの未来はデータコラボレーションにかかっている：IQVIAとDatabricks Lakehouseでどのようにより良いアウトカムが実現されるか
Original Blog: The future of healthcare relies on data collaboration: how IQVIA and the Databricks Lakehouse enable better outcomes 翻訳: motokazu.ishikawa ヘルスケアデータを取り込み、統合し、共有する能力は、新たなイノベーションを推進し、医学研究を進め、患者のアウトカムを改善する上で基礎的な役割を果たします。世界中のすべての人が毎年約270 GBものヘルスケアおよびライフサイエンス・データを生成すると予想される中[...
Lakehouse Apps のご紹介
翻訳：Saki Kitaoka. Original Blog Link Lakehouse Apps は、Databricksのネイティブアプリケーションを構築する新しい方法です。Lakehouse Appsは、Databricksのセキュリティとガバナンス機能をフルに活用し、革新的なデータおよびAIアプリケーションを Databricks Lakehouse Platform 上で構築、配布、実行する最も安全な方法を提供します。 データおよびAIソリューションを構築する開発者にとっては、Databricks Marketplaceを通じてLakehouse Appsを配布することで、10,000社を超えるDatabricksの顧客にアクセスでき、採用までの時間が劇的に短縮されます。お客様にとっては、Lakehouse Appsは、Lakehouse内のデータの価値を最大限に引き出し、Databricksネイティブサービスを活用し、新しい機能でDatabricksを拡張するアプリケーションを実行する最も安全な方法
DATA+AI SUMMIT セミナーガイド: データとAIのガバナンスおよび共有に関して
翻訳：Saki Kitaoka. Original Blog Link 待ちに待った Data + AI Summit の開催が迫ってきました！ 6月26日から30日まで、基調講演、トークセッション、トレーニング、デモ、ワークショップの素晴らしいラインアップが用意されています。 データおよびAIのガバナンスと共有セッションに特にご興味がある方は、ぜひご覧ください！このブログでは、Databricksの社員、顧客、パートナーから最も価値のあるコンテンツを厳選してご紹介しています。さらに、 Data + AI Summit catalog では、データガバナンスと共有のセッションの全容を調べることができます。これらの重要なトピックを掘り下げるこの機会をお見逃しなく！ DatabricksによるデータおよびAIのガバナンスと共有に関するトークセッション キーノート 6月28日、Databricksの共同創業者兼CTOであるMatei Zahariaが、データ、アナリティクス、AI向けのフラッグシップガバナンスソリューシ