マテリアライズド・ビューによるLakeviewダッシュボードの高速化
このブログ記事では、Databricks SQL マテリアライズド・ビュー をLakeviewダッシュボードで使用して、ビジネスに新鮮なデータと洞察を提供する方法を紹介します。 先日、 Databricks Data Intelligence Platform におけるLakeviewダッシュボードのパブリックプレビューを 発表 しました。Lakeview のダッシュボードは、Databricksの顧客のためのビジュアライゼーションとレポーティング体験の作成において、大きな前進を意味します。 視覚化が大幅に改善され、共有や配布に最適化されたシンプルなデザイン体験を提供します。 Lakeview ダッシュボードは Databricks SQL (DBSQL) データウェアハウス上で実行されます。 DBSQLを使用すると、レガシーなクラウドデータウェアハウスの数分の一のコストで、選択したツールですべてのSQLおよびBIアプリケーションを大規模に実行できます。 マテリアライズド・ビューは、ビジネスに新鮮なデータを提供す
Databricks SQL Year in Review (Part 2)：SQLプログラミング機能に焦点をおいて
Databricksの サーバーレス・データウェアハウス、Databricks SQLの2023年の製品進化を紹介するブログシリーズへようこそ。 このパート2では、この1年間に提供されたSQLプログラミングの新機能の数々をご紹介します。 当然のことながら、すべてのSQL開発者は、より生産性を高め、より複雑なシナリオに簡単に取り組みたいと考えています。 これはすべてDatabricksのデータインテリジェンスプラットフォームの一部であり、 データウェアハウスと データレイクの長所を組み合わせたレイクハウスアーキテクチャに基づいて構築されています。 それでは、2023年のSQLプログラミングの目玉機能をご紹介します： ラテラル カラム エイリアス対応 コーヒーが体に良くないなら、なぜみんな飲むのですか？ ラテラルカラムサポートがそうです。 SQLの原則には反しますが、この機能を使えば、セレクトリスト内のSQL式の結果を、同じセレクトリスト内の次の式で参照することができるので、確かに便利です。 あなたは振り返り、SQL
DatabricksによるGenAIの構築とカスタマイズ：LLMとそ の先へ
ジェネレーティブAIは、ビジネスに新たな可能性をもたらし、組織全体で力強く受け入れられています。 最近の MIT Tech Reviewの レポートによると、調査対象となった600人のCIO全員がAIへの投資を増やしており、71％が独自のカスタムLLMやその他のGenAIモデルの構築を計画していると回答しています。 しかし、多くの組織では、自社のデータで学習させたモデルを効果的に開発するために必要なツールが不足している可能性があります。 ジェネレーティブAIへの飛躍は、単にチャットボットを導入するだけではありません。 この変革の中心は、 データレイクハウス の出現です。 このような高度なデータアーキテクチャは、GenAIの可能性を最大限に活用する上で不可欠であり、データとAI技術の迅速かつコスト効率の高い、より広範な民主化を可能にします。 企業が競争上の優位性を確保するためにGenAIを活用したツールやアプリケーションへの依存度を高める中、基盤となるデータインフラは、これらの先進技術を効果的かつ安全にサポートでき
Databricksワークスペースに組み込まれたガバナンス機能
Databricks Unity Catalogは 、組織がさまざまなデータとAI資産を安全に発見、アクセス、監視、コラボレーションできる統合ソリューションを提供することで、データとAIのガバナンスを簡素化します。 これにはテーブル、MLモデル、ファイル、関数が含まれ、最終的に生産性を高め、Lakehouse環境の可能性を最大限に引き出します。 本日、Unity CatalogがAWSとAzure上の新しいプレミアム・ワークスペースに事前設定され、アクセス可能になったことを発表できることを嬉しく思います。 この機能は、アカウントや地域ごと に順次展開されます。 詳しくは担当者にお問い合わせください。 Unityカタログで事前設定されたワークスペースの概要 ワークスペースにいくつかの新機能が追加されていることにお気づきでしょう。 ワークスペースは、Unityカタログへのアクセス設定済みで提供されます！ アカウント管理者によるその後の有効化手順は必要ありません。 ワークスペースにちなんだ名前のカタログが見つかります（こ
HiveテーブルをUnityカタログにアップグレードする方法
このブログでは、Hiveメタストア(HMS)*テーブルをUnityカタログ(UC)にシームレスにアップグレードする方法を、アップグレードするHMSテーブルのバリエーションに応じて異なる方法を使用して、例を挙げて説明します。 *注: Hiveメタストアは、デフォルト、外部メタストア、またはAWS Glue Data Catalogでもかまいません。 簡略化のため、本書では"Hive メタストア" という用語を使用します。 詳細を説明する前に、アップグレードの手順を説明しよう。 評価 - このステップでは、アップグレード対象として特定された既存の HMS テーブルを評価し、アップグレードの適切なアプローチを決定します。 このステップについては、このブログで説明します。 作成 - このステップでは、メタストア、カタログ、スキーマ、ストレージ資格情報、外部ロケーションなど、必要なUCアセットを作成します。 詳細については、ドキュメント（ AWS 、 Azure...
Databricksワークフローによるデータ分析のオーケストレーション
翻訳：Saki Kitaoka. - Original Blog Link データドリブンな企業にとって、データアナリストはデータから洞察を引き出し、それを意味のある形で提示する上で重要な役割を担っています。しかし、多くのアナリストは、本番用のワークロードを自動化するために必要なデータオーケストレーションに精通していない可能性があります。アドホックなクエリをいくつか実行すれば、直前のレポート用に適切なデータを迅速に作成できますが、データチームは、さまざまな処理、変換、検証タスクを適切な順序で確実に実行する必要があります。適切なオーケストレーションが行われないと、データチームはパイプラインの監視、障害のトラブルシューティング、依存関係の管理ができなくなります。その結果、当初は即効性のある価値をビジネスにもたらしたアドホックなクエリセットが、それらを構築したアナリストにとって長期的な頭痛の種になってしまいます。 パイプラインの自動化とオーケストレーションは、データの規模が大きくなり、パイプラインの複雑さが増すにつれて
「推論テーブル」の発表: AIモデルのモニタリングと診断を簡素化
翻訳：Saki Kitaoka. - Original Blog Link AIモデルを導入してみたものの、実世界で予想外の結果が出たという経験はありませんか？ モデルのモニタリングは、そのデプロイと同じくらい重要です。そこで、AIモデルのモニタリングと診断を簡素化するInference Tablesをご紹介します。Inference Tablesを使用すると、 Databricks Model Serving エンドポイントからの入力と予測を継続的にキャプチャし、Unity Catalog Delta Tableに記録することができます。その後、Lakehouse Monitoringなどの既存のデータツールを活用して、AIモデルを監視、デバッグ、最適化できます。 推論テーブルは、LakehouseプラットフォームでAIを実行する際に得られる価値の素晴らしい例です。複雑さやコストを追加することなく、デプロイされたすべてのモデルでモニタリングを有効にすることができます。これにより、問題を早期に検出し、再トレーニン
Databricksアセットバンドルのパブリックプレビューを発表：簡単にソフトウェア開発のベストプラクティスを適用可能に！
翻訳：Saki Kitaoka. - Original Blog Link Databricksアセットバンドル( Databricks Asset Bundles )が現在パブリックプレビューで利用可能になりました！ 略して「バンドル」と呼ばれるこれらは、ソースコントロール、コードレビュー、テスト、継続的インテグレーションおよびデリバリー（CI/CD）を含む、ソフトウェアエンジニアリングのベストプラクティスの採用を容易にします。バンドルによって、データエンジニア、データサイエンティスト、およびMLエンジニアは、データ、分析、およびAIプロジェクトをソースファイルとして表現することができます。これらのソースファイルは、プロジェクトのエンドツーエンドの定義を提供し、Lakehouseにどのようにテストおよびデプロイされるべきかを含みます。この定義は、簡単に編集、テスト、およびデプロイすることができます。 テストとデプロイを自動化する CI/CDは、現代のソフトウェア開発において本質的であり、テストとデプロイを自動化
Databricks Unityカタログのシステムテーブルを使用したLakehouseセキュリティ監視の改善
翻訳：Junichi Maruyama. - Original Blog Link データフォワード組織にとってレイクハウスがますますミッションクリティカルになるにつれて、予期せぬイベント、停止、セキュリティインシデントが新たな予期せぬ方法で業務を頓挫させるリスクも高まっています。Databricks は いくつかの重要な観測可能性機能 を提供し、顧客がこの新しい脅威のセットを先取りし、かつてないほどレイクハウスを可視化できるように支援します。 セキュリティの観点から、組織が現代社会に適応する方法の 1 つは、 ゼロ トラスト アーキテクチャ (ZTA) モデルに従うことによって、「信頼せず、常に検証する」という原則に頼ることです。このブログでは、 Databricks Lakehouse Platform 上でZTAを始める方法を紹介し、一連のSQLクエリとアラートを自動生成するDatabricks Notebookを共有します。もしあなたが普段このようなことにTerraformを使っているのであれば、...
コンテキストを認識するAIアシスタント、Databricks Assistantの紹介
翻訳：Junichi Maruyama. - Original Blog Link 本日、Databricks Notebooks、SQLエディタ、ファイルエディタでネイティブに利用可能な、コンテキストを意識したAIアシスタント、Databricks Assistantのパブリックプレビューを発表します。Databricks Assistantを使えば、会話形式のインターフェイスでデータを照会することができ、Databricks内での生産性が向上します。タスクを英語で説明すると、アシスタントが SQL クエリを生成し、複雑なコードを説明し、エラーを自動的に修正します。アシスタントは、Unity カタログのメタデータを活用して、テーブル、カラム、説明、および会社全体で人気のあるデータ資産を理解し、あなたにパーソナライズされた応答を提供します。 データおよびAIプロジェクトの迅速な構築 SQLまたはPythonコードの生成 Databricks Assistant は Databricks の各編集画面にネイティブに