Unity Catalogがもたらす価値は何か？
Reviewed by saki.kitaoka ガバナンスは、データとAI製品が正確なガイドラインと標準に従って一貫して開発され、維持されることを保証します。 アーキテクトのための設計図であり、一貫性、ガイドライン、標準によってソリューションとデータビジョンに命を吹き込みます。 反復可能なワークフロー管理により、データエンジニアのためのスケールとスピードを実現します。 データサイエンティストのためのAIモデルを共同で構築し、運用することで、スケールの大きな運用を可能にします。 データ資産を広く共有し、すべての人に利益をもたらすと同時に、必要なときには非公開にする、データ 管理者のためのセキュリティです。 データとAI資産に基づくビジネス洞察の透明性を備えた、経営幹部にとっての信頼です。 また、 Databricks Unity Catalogを 使用することで、業務効率を高めることができます。 このブログでは、企業がユニファイド・ガバナンス・ソリューションを標準化する前に直面する多くの課題の概要を説明し、テクノロ
Databricksをユーザが容易に利用できるようにするために、新しいIDとアクセス管理の機能強化を発表
Databricks のセットアップとスケールを簡素化する新しいアイデンティティとアクセス管理機能をご紹介します。Unity Catalogは Databricks Data Intelligence Platform におけるガバナンスの中心にあります。Unity Catalogの一部であるIDおよびアクセス管理機能は、以下の原則に基づいて設計されています： オンボーディング、管理、コラボレーションのための、セキュアでスケーラブル、かつ汎用的なアイデンティティおよびアクセス管理を構築します。 直感的で拡張可能な監査対応パーミッションを使用して、顧客がDatabricksへのアクセスを容易に制御できるようにします。 ブラウザおよび API アクセスのための、ワールドクラスで拡張性の高い認証を開発し、顧客およびパートナーが Databricks Data Intelligence Platform のパワーをシンプルかつ安全に活用できるようにします。 このブログでは、既存のアイデンティティおよびアクセス管理機能につ
SAP Datasphere と Databricks Data Intelligence Platform でマーケティングキャンペーンの効果を分析する
効果的なキャンペーンは、商品の売上を増やし、在庫を処分し、顧客を増やし、新商品を紹介することで、企業の収益を向上させることができます。キャンペーンには、オフラインまたはオンラインチャネルを通じた販売促進、クーポン、リベート、季節割引などが含まれます。 そのため、キャンペーンを綿密に計画し、その効果を確実にすることが重要です。キャンペーンが販売成績に与える影響を分析することも同様に重要です。効率的な分析により、企業は過去のキャンペーンから学び、今後の販売促進を改善することができます。 チャレンジとモチベーション： 過去のデータを分析し、マーケティングキャンペーンのために正確な機械学習予測を行うことは、非常に困難なことです。それぞれのキャンペーンには独自の指標があり、それぞれのケースに合った分析アプローチを適応させる必要があります。さらに、キャンペーンではさまざまなデータソースやプラットフォームを利用するため、データ形式や構造も多種多様になります。これらの多様なソースからのデータを統合データセットに統合することは困難
R開発者にレイクハウスを：Databricks Connectがsparklyrで利用可能に
CRAN 上の sparklyr の最新リリースに Databricks Connect のサポートが導入されたことをお知らせできることを嬉しく思います。R ユーザーは、リモートの RStudio Desktop、Posit Workbench、またはアクティブな R ターミナルやプロセスから、Databricks のクラスタリングと Unity Catalog にシームレスにアクセスできるようになりました。今回のアップデートにより、R ユーザーであれば誰でも、わずか数行のコードで Databricks を使ってデータアプリケーションを構築できるようになりました。 Sparklyr と Python...
レイクハウス・モニタリング: データとAIの品質監視のための統合ソリューション
はじめに Databricks Lakehouse Monitoring (レイクハウス・モニタリング)を使用すると、データからフィーチャー、MLモデルまで、すべてのデータパイプラインを追加のツールや複雑な操作なしに監視できます。 Unity Catalog に組み込まれているため、ガバナンスと並行して品質を追跡し、データとAI資産のパフォーマンスについて深い洞察を得ることができます。Lakehouse Monitoringは完全にサーバーレスなので、インフラストラクチャやコンピュート構成のチューニングを心配する必要はありません。 Lakehouseのモニタリングに対する統一されたアプローチにより、 Databricks Data Intelligence Platform で直接、品質の追跡、エラーの診断、ソリューションの検索が簡単に行えます。Lakehouse Monitoringを最大限に活用する方法を本記事ではご紹介します。 なぜレイクハウス・モニタリングなのか？ データパイプラインは順調に動いているよう
dbtとDatabricksを用いてコスパの良いリアルタイムデータ処理を行う
ビジネスが成長するにつれ、データ量はGBからTB（またはそれ以上）に拡大し、レイテンシー要求は数時間から数分（またはそれ以下）になり、ビジネスに新鮮な洞察を提供するためのコストはますます高くなります。これまでPythonやScalaのデータエンジニアは、このような需要に応えるためにストリーミングを利用し、新しいデータをリアルタイムで効率的に処理してきましたが、SQLベースのdbtパイプラインを拡張する必要があるアナリティクスエンジニアには、このような選択肢はありませんでした。 しかし今は違います！このブログでは、Databricks の新しいストリーミングテーブルとマテリアライズドビューを使用して、SQL と dbt のシンプルさで新鮮なリアルタイムのインサイトをビジネスに提供する方法を説明します。 背景 2023 Data + AI Summitでは、 Databricks SQLにストリーミングテーブルとマテリアライズドビューを導入 しました。この素晴らしい機能により、Databricks SQL ユーザーは
Databricks Unity CatalogとTredence UnityGO!でデータ共有からビジネス価値をさらに向上させましょう！
企業のリーダーは、ビジネスチームが洞察力を高め、より良い意思決定を行い、イノベーションを加速するために活用できる高品質なデータの集中ソースを作成するために、 Databricks Data Intelligence Platform を活用しています。 最近の 調査では、最高データ責任者（CDO）は、明確で効果的なデータガバナンスの確立（51%）、データ品質の向上（48%）、高度なアナリティクス機能の構築と維持（42%）、ビジネスインテリジェンス機能の構築と維持（36%）、データ収益化機能の開発（21%）、データ、アナリティクス、人工知能（AI）倫理の向上（21%）を望んでいると回答しています。データ変革が最重要課題であることは明らかです。 歴史的に、データ、IT、セキュリティの各チームは、データの統一と民主化に関連する以下の課題に取り組んできました： データの保護と管理： 企業チームは、大規模な言語モデルやドメイン固有のモデルの導入を急いでおり、これらのモデルは広範なクリーンデータを必要とするため、データガバナ
Databricks Vector Search パブリックプレビューのご紹介
昨日 発表した RAG(Retrieval Augmented Generation )に続き、本日、Databricks Vector Searchのパブリックプレビューを発表します。6月に開催されたData + AI Summitでは、限られたお客様を対象としたプライベートプレビューを発表しましたが、今回はすべてのお客様にご利用いただけるようになりました。Databricks Vector Searchは、PDF、Officeドキュメント、Wikiなどの非構造化ドキュメントに対する類似検索を通じて、開発者がRAG（Retrieval Augmented Generation）や生成AIアプリケーションの精度を向上させることを可能にします。Vector Search は Databricks Data Intelligence Platform の一部であり、RAG およびジェネレーティブ...
Databricksで高品質のRAGアプリケーションを作成する
RAG（Retrieval-Augmented-Generation ）は、独自のリアルタイムデータを LLM（Large Language Model） アプリケーションに組み込む強力な方法として、急速に台頭してきた。 本日Databricksユーザーが企業データを使用して高品質な本番LLMアプリケーションを構築するためのRAGツール群を発表できることを嬉しく思う。 LLMは、新しいアプリケーションを迅速にプロトタイプ化する能力において、大きなブレークスルーをもたらした。 しかし、RAGアプリケーションを構築している何千もの企業と仕事をした結果、彼らの最大の課題は、これらのアプリケーションを 本番で用いることができる品質にすること であることがわかった。 顧客向けアプリケーションに要求される品質基準を満たすためには、AIの出力は正確で、最新で、そして企業のコンテキストを認識し、安全でなければならない。 高品質なRAGアプリケーションを構築するためには、開発者はデータとモデル出力の品質を理解するための豊富なツール
Partner Connectに新たに5つのインテグレーションを追加しました
Databricks Data Intelligence Platform のデータでパートナーソリューションを使用し、ビジネス要件に最適なものをシームレスに採用できるようにするワンストップポータルであるDatabricks Partner Connect に、新たに5つのインテグレーションを追加し、みなさまに紹介できることを嬉しく思っています。 この四半期で、Data Ingestionカテゴリに3社、Data GovernanceとMachine Learningの両方に1社のパートナーを追加しました。また、Partner Connectの機能を拡張し、パートナー製品の本番環境との直接統合をサポートするようになりました。 これは何を意味しているのでしょうか？ Monte Carlo との統合は、これらの機能を活用しており、Databricksから Monte Carlo のアカウントに直接接続し、本番データパイプラインの品質監視を開始することができます。これは、エコシステム内のデータとAIツールへの接続を これ