直感的かつパワフル！次世代のDatabricksノートブック
過去1年間、私たちはフィードバックに耳を傾け、新しいアイデアを試行錯誤してきました。その目的はただ一つ、データサイエンティスト、エンジニア、およびSQLアナリストのために、最高のデータ中心の開発体験を構築することです。そして本日、洗練されたモダンなインターフェースと強力な新機能を備えた次世代のDatabricksノートブックを発表できることを大変嬉しく思います。これにより、コーディングとデータ分析がさらに簡単になります。 主な 機能強化は次のとおりです。 最新のUX： 新しいノートブックUIとその他の機能のGAにより、コーディング体験がスムーズになり、ノートブックの整理が向上します。 新しい結果テーブル： 出力結果に対して直接検索やフィルタリングを実行し、コードなしでのデータ探索が可能です。 より強力なPython機能： ステップスルーのデバッガー、エラーの強調表示、強化されたコードナビゲーション機能を使用して、Pythonコードをより効率的に記述できます。 AIによる開発支援： Databricksアシスタント
Snowplowでデータチームを強化：ファーストパーティデジタルイベントデータ収集の新時代
顧客とのやり取りがますますデジタル領域に移行するにつれて、組織がオンライン顧客行動に関する知見を開発することがますます重要になります。 これまで、多くの組織はサードパーティのデータ収集業者に依存していましたが、プライバシーに関する懸念の高まり、データへのよりタイムリーなアクセスの必要性、カスタマイズされた情報収集の要件により、多くの組織がこの機能の社内への移行を進めています。 Snowplow などの顧客データ インフラストラクチャ (CDI) プラットフォームと Databricks のリアルタイム データ処理および予測機能を組み合わせることで、これらの組織は、より深く、より豊富で、よりタイムリーで、よりプライバシーに配慮した知見を開発し、オンライン顧客エンゲージメントの可能性を最大限に引き出すことができます (図 1)。 ただし、このデータの可能性を最大限に引き出すには、これらのデータがサードパーティのインフラストラクチャを介して流れていたときには行わなかった方法で、デジタル チームが組織のデータ エンジニア
Delta Sharingと新時代のレイ クハウス顧客データプラットフォーム (CDP) の登場
このブログに貴重な知見と貢献を提供してくれた Amperity の Caleb Benningfield 氏と Sam Malissa 氏に特に感謝します。 今日、企業はプライバシー規制に準拠しながら、大規模なパーソナライゼーションを実現するために、より膨大で複雑な顧客データを処理しなければならないという大きな課題に直面しています。 これは、データ品質を優先し、効果的なガバナンスレイヤーを実装することを意味しますが、企業が依存していた既存のツールや方法では、この課題に対応できません。 この課題に対処するために、多くの企業がクラウドデータウェアハウスとデータレイクからデータレイクハウスアーキテクチャに移行しました。 データレイクハウスは、これまでのシステムの最高の機能を組み合わせて、企業がデータを保存および管理する方法を合理化し、貴重な知見に簡単にアクセスできるようにします。 では、次は何でしょうか? 次のフロンティアは、 Databricksと Delta Sharing 上に構築されます。これにより、レプリケー
Databricks向けSalesforce BYOM『Bring Your Own Model』を始めよう！
SalesforceとDatabricksは、強力な新しい統合「Salesforce Bring Your Own Model (BYOM) for Databricks」を提供するための 戦略的パートナーシップの拡大 を発表しました。このコラボレーションにより、データサイエンティストや機械学習エンジニアは、Salesforceの堅牢な顧客データとビジネス機能、およびDatabricksの高度な分析とAI機能をシームレスに活用できるようになります。この統合を使用すると、DatabricksでカスタムAIモデルを構築、トレーニング、デプロイし、それらをSalesforceに簡単に統合して、インテリジェントでパーソナライズされた顧客体験を提供することができます。データの可能性を最大限に引き出し、顧客とのエンゲージメントを革命的に変える準備を整えましょう。 仕組み Salesforce Data Cloudは、チームが多様なソースからデータを収集し、それを下流のSalesforce CRMアプリケーションやワークフロー
MLflowでGiskardを使ってLLMを評価しよう！
過去数年間、大規模言語モデル (LLM) は、トランスフォーマーベースのアーキテクチャと大規模なデータセットでの広範なトレーニングにより、自然言語の分野を再形成してきました。 特に、検索拡張世代(RAG)は著しい増加を経験しており、ベクトルデータベースとLLMを組み合わせて企業データを効果的に探索および検索するための一般的な方法に急速に普及しています。 一般的なアプリケーションとしては、顧客サポートボット、社内ナレッジグラフ、Q&A システムの開発などがあります。 しかし、この驚異的な進歩はさまざまな課題も生み出しており、最も顕著なものの 1 つは、生成された出力をテストおよび検証するという複雑な作業です。 ---- LLMのアウトプットの品質をどのように測定するのですか? ---- 慎重に作成されたプロンプトがうっかり対抗できなかった可能性のある隠れた脆弱性を明らかにするにはどうすればよいでしょうか? ---- 特定のユースケースに合わせてテスト、メトリック、敵対的プロンプトを自動的に生成するにはどうす
Delta Sharingで実現する安全なエンドツーエンドのコラボレーション
Reviewed by saki.kitaoka 現代のデジタル環境において、セキュアなデータ共有は運用効率とイノベーションに不可欠です。DatabricksとLinux Foundationは、データ、分析、AI全体でのデータ共有に対する初のオープンソースアプローチとして Delta Sharing を開発しました。Databricksは、安全なデータ交換を提供し、プラットフォーム、クラウド、地域をまたいだシームレスな共有を促進します。あらゆる規模の企業が、幅広いアプリケーションと多様なデータ形式をサポートするDelta Sharingを信頼しています。この柔軟性により、データ資産の可能性を最大限に引き出そうとする組織にとって信頼できるツールとなります。 本ブログでは、Databricks Delta Sharingのセキュリティアーキテクチャを、 Databricks顧客間共有（D2D） 、 Databricks顧客からオープン共有（D2O） 、クロスクラウドデータ共有の3つの異なる共有シナリオを通じて検討し
簡素化された XML データ取り込みの発表
Databricks で XML データの取り込み がネイティブにサポートされるようになりました。 XML は、製造、医療、法律、旅行、金融などのさまざまなユースケースで複雑なデータ構造を表すための一般的なファイル形式です。 これらの業界がアナリティクスとAIの新たな機会を見つけるにつれて、大量の XML データを活用する必要性が高まっています。 Databricks の顧客は、このデータをデータ インテリジェンス プラットフォームに取り込み、そこで Mosaic AI や Databricks SQL などの他の機能を使用してビジネス価値を高めることができます。 ただし、回復力のある XML パイプラインを構築するには、多くの作業が必要になる場合があります。...
リキッドクラスタリングの一般提供開始のお知らせ
Databricks データインテリジェンスプラットフォームで Delta Lake リキッドクラスタリングが一般提供されることをお知らせします。リキッドクラスタリングは、テーブル パーティショニングと ZORDER に代わる革新的なデータ管理手法であり、データ レイアウトを微調整することなく、 最適 なクエリ パフォーマンスを実現できます 。 リキッドクラスタリングは、 データ レイアウト関連の決定を大幅に簡素化し 、 データを書き換えずにクラスタリング キーを再定義する 柔軟性を提供します 。 これにより、時間の経過とともに分析ニーズに合わせてデータ レイアウトを進化させることができます。これは、...
絶え間ない問題解決からイノベーションへ: Databricks の Money チームが 1 年で運用負担を半分に削減した方法
昨年、 Databricks Money エンジニアリング チームは刺激的な旅に乗り出し、運用効率をほぼ 2 倍に向上させました。 この変革的な経験を皆さんと共有し、私たちの成功を後押しした具体的な戦略を紹介できることを嬉しく思います。 この記事では、Ops Czar を導入することで運用上の負担が軽減され、同時にエンジニアリング チームの能力が強化された方法について説明します。 実用主義と Databricks の 第一原則 について説明します。 「団結、強さ」：集団的努力と戦略的効率性が私たちの能力を倍増させた方法 Money チームは、ワークフローやノートブックなどの Databricks 製品の商品化の中心です。 当社は、製 品使用量の計測から請求書の計算、顧客へのコストの明確化まで、あらゆる業務を担います。...
Databricksアシスタントに自動補完機能が登場！
Databricks Assistant オートコンプリート のパブリックプレビューを発表できることを嬉しく思います。この機能は、リアルタイムでAI駆動のアシスタントがパーソナライズされたコード提案を提供します。ノートブックやSQLエディタに直接統合されており、Assistant Autocompleteの提案が開発の流れに自然に溶け込み、エディタに集中したまま作業を続けることができます。 AI によるコード提案で生産性を向上 Databricks Assistant オートコンプリートは、SQLおよびPythonでの入力中に自動的に高速なコード提案を提供します。AIコード補完は、現在のコードセルや周囲のコードセル、Unity Catalogメタデータ、DataFrameデータなどのコンテキストを使用して、入力中に非常に関連性の高い提案を生成します。 SQL Python Databricks Assistant Autocompleteを最大限に活用する方法 Databricks Assistant Autoc