Data + AI Summit 2024：Databricks Unity Catalogの最新情報
Translation Review by saki.kitaoka 急速に進化する人工知能とデータやジェネレーティブAIツールの爆発的な増加が特徴の時代において、企業はデータとAIのガバナンスの断片化に直面しており、データとAIの民主化の努力が妨げられています。この時代に成功するためには、企業はデータとAIのガバナンスにおいてオープンで統一されたアプローチを採用する必要があります。これには次のことが含まれます： オープンな接続性： データの出所や形式に関係なく、すべてのデータの信頼できる単一の情報源を作成する。 統一されたガバナンス： すべてのデータ（ファイル、テーブル）およびAI資産（MLモデル、AIツール、ノートブック）が中央システムで発見され、安全に管理され、監視され、追跡されるように包括的な監督を実施する。 オープンなアクセシビリティ： データとAIリソースにどのツール、コンピュートエンジン、プラットフォームからでもアクセスできる柔軟性を提供し、ロックインを回避するためにオープンスタンダードとインターフ
AI/BIの発表：リアルデータに基づくインテリジェント解析の時代へ！
Translation Review by saki.kitaoka 本日、私たちは Databricks AI/BI の発表を大変楽しみにしています。これは、データの意味を深く理解し、誰でもデータを自ら分析できるように設計された新しいビジネスインテリジェンス製品です。AI/BIは、ETLパイプライン、系統、その他のクエリなど、Databricksプラットフォーム全体のデータのライフサイクルからインサイトを引き出す 複合AIシステム に基づいて構築されています。このAI/BIは、次の2つの補完的な製品体験を提供します。 AI/BIダッシュボード: AI駆動のローコードダッシュボードソリューションで、従来のBI機能をすべて備えており、固定されたビジネス質問に答えるために設計されています。 Genie: 人間のフィードバックに基づいてデータとその意味を継続的に学習し、より広範なビジネス質問に答えることができる会話型インターフェースです。データチームによって指定されたクエリパターンについては、確認済みの回答も提供します
ShutterstockのコンテンツデータセットがDatabricks Marketplaceに登場！
今日のデータドリブンの世界では、視覚的な資産と分析機能の融合により、未開発の可能性の領域が開かれます。 画像データセットは、生成AI (GenAI) テクノロジの開発とトレーニングに不可欠です。 Shutterstock の画像の膨大なコレクションを Databricks Marketplace に 提供する画期的なコラボレーションを発表できることを嬉しく思います。これは、Marketplace におけるボリューム (非表形式) データセットの最初のリストです。 この無料サンプル データセットは、Shutterstock の 5 億 5000 万点以上の画像ライブラリから抽出された 1,000 枚の画像と付随するメタデータ ソース...
直感的かつパワフル！次世代のDatabricksノートブック
過去1年間、私たちはフィードバックに耳を傾け、新しいアイデアを試行錯誤してきました。その目的はただ一つ、データサイエンティスト、エンジニア、およびSQLアナリストのために、最高のデータ中心の開発体験を構築することです。そして本日、洗練されたモダンなインターフェースと強力な新機能を備えた次世代のDatabricksノートブックを発表できることを大変嬉しく思います。これにより、コーディングとデータ分析がさらに簡単になります。 主な 機能強化は次のとおりです。 最新のUX： 新しいノートブックUIとその他の機能のGAにより、コーディング体験がスムーズになり、ノートブックの整理が向上します。 新しい結果テーブル： 出力結果に対して直接検索やフィルタリングを実行し、コードなしでのデータ探索が可能です。 より強力なPython機能： ステップスルーのデバッガー、エラーの強調表示、強化されたコードナビゲーション機能を使用して、Pythonコードをより効率的に記述できます。 AIによる開発支援： Databricksアシスタント
Delta Sharingと新時代のレイク ハウス顧客データプラットフォーム (CDP) の登場
このブログに貴重な知見と貢献を提供してくれた Amperity の Caleb Benningfield 氏と Sam Malissa 氏に特に感謝します。 今日、企業はプライバシー規制に準拠しながら、大規模なパーソナライゼーションを実現するために、より膨大で複雑な顧客データを処理しなければならないという大きな課題に直面しています。 これは、データ品質を優先し、効果的なガバナンスレイヤーを実装することを意味しますが、企業が依存していた既存のツールや方法では、この課題に対応できません。 この課題に対処するために、多くの企業がクラウドデータウェアハウスとデータレイクからデータレイクハウスアーキテクチャに移行しました。 データレイクハウスは、これまでのシステムの最高の機能を組み合わせて、企業がデータを保存および管理する方法を合理化し、貴重な知見に簡単にアクセスできるようにします。 では、次は何でしょうか? 次のフロンティアは、 Databricksと Delta Sharing 上に構築されます。これにより、レプリケー
Delta Sharingで実現する安全なエンドツーエンドのコラボレーション
Reviewed by saki.kitaoka 現代のデジタル環境において、セキュアなデータ共有は運用効率とイノベーションに不可欠です。DatabricksとLinux Foundationは、データ、分析、AI全体でのデータ共有に対する初のオープンソースアプローチとして Delta Sharing を開発しました。Databricksは、安全なデータ交換を提供し、プラットフォーム、クラウド、地域をまたいだシームレスな共有を促進します。あらゆる規模の企業が、幅広いアプリケーションと多様なデータ形式をサポートするDelta Sharingを信頼しています。この柔軟性により、データ資産の可能性を最大限に引き出そうとする組織にとって信頼できるツールとなります。 本ブログでは、Databricks Delta Sharingのセキュリティアーキテクチャを、 Databricks顧客間共有（D2D） 、 Databricks顧客からオープン共有（D2O） 、クロスクラウドデータ共有の3つの異なる共有シナリオを通じて検討し
Databricksアシスタントに自動補完機能が登場！
Databricks Assistant オートコンプリート のパブリックプレビューを発表できることを嬉しく思います。この機能は、リアルタイムでAI駆動のアシスタントがパーソナライズされたコード提案を提供します。ノートブックやSQLエディタに直接統合されており、Assistant Autocompleteの提案が開発の流れに自然に溶け込み、エディタに集中したまま作業を続けることができます。 AI によるコード提案で生産性を向上 Databricks Assistant オートコンプリートは、SQLおよびPythonでの入力中に自動的に高速なコード提案を提供します。AIコード補完は、現在のコードセルや周囲のコードセル、Unity Catalogメタデータ、DataFrameデータなどのコンテキストを使用して、入力中に非常に関連性の高い提案を生成します。 SQL Python Databricks Assistant Autocompleteを最大限に活用する方法 Databricks Assistant Autoc
Databricksプライベートエクスチェンジでデータ共有の可能性を解き放とう！
Databricksマーケットプレイスに、新しいエキサイティングな機能が追加され、すべてのDatabricksユーザーがプライベートエクスチェンジを簡単に設定できるようになりました。この機能により、プライベートエクスチェンジプロバイダーになることがこれまで以上に簡単になります。 このブログ投稿では、Databricksマーケットプレイスのプライベートエクスチェンジ機能について深く掘り下げて解説します。さまざまなエクスチェンジメカニズム（パブリックマーケットプレイスとプライベートエクスチェンジ）を比較し、プライベートエクスチェンジプロバイダーになるプロセスを簡素化する新機能を詳しく見ていきます。 プライベートエクスチェンジとパブリックマーケットプレイスの比較 データ共有と収益化の進化する分野において、企業はデータやAIモデルを配布するための複数の方法を持っています。それぞれの方法は異なる利点を提供し、さまざまな戦略的ニーズに対応します。以下に、パブリックマーケットプレイスとプライベートエクスチェンジの2つのシナリオ
調査：Databricks Assistant による生産性の向上
データ サイエンスとエンジニアリングの急速に進歩する分野では、生産性を向上させるために人工知能 (AI) の統合が不可欠になっています。 数多くのツールが登場し、データ実務者の生活を一変させ、複雑なタスクを容易にし、イノベーションを促進してきました。 2023 年 7 月に Databricks Assistant をパブリック プレビューでリリースしたとき、私たちはデータ サイエンティスト、アナリスト、エンジニア間の効率を合理化することのみを目的として設計しました。 この目標をどの程度達成しているかをよりよく理解するために、経験の異なる複数の組織のトッ プユーザーを対象に調査を行うことにしました。 調査の目的 Databricks Assistant がデータ プロフェッショナルに与える影響をより深く理解するために、幅広いユーザー エクスペリエンスを捉えられるようにこの調査を綿密に設計しました。 このアンケートを実施した目的は、アシスタントがユーザーの日常生活に与える影響をよりよく理解するだけでなく、アシスタント
データエンジニアのための Databricks Assistant のヒントとコツ
生成AI革命はチームの 働き方を変えつつあり、Databricks Assistantはこれらの進歩を最大限に活用しています。会話型インターフェイスを介してデータをクエリできるため、 Databricksワークスペース内での生産性が向上します。アシスタントは Databricks用のデータインテリジェンスエンジンであるDatabricksIQ を搭載しており 、データのセキュリティを確保し、応答が正確で、企業の詳細に合わせて調整されていることを確認します。 Databricks Assistantを使用すると 、タスクを自然言語で記述して、開発者のエクスペリエンスを中断することなく、複雑なコードを生成、最適化、またはデバッグできます。 この投稿では、ブログ「 Databricks Assistantを最大限に活用するための5つのヒント 」 を拡張し 、アシスタントが退屈な作業の排除、生産性と没入感の向上、価値実現までの時間の短縮によってデータエンジニアの生活をどのように改善できるかに焦点を当てます。さまざまなデータ