データ分析とAIガバナンスは、データとAIの民主化の取り組みにおいて、おそらく最も重要でありながら最も難しい側面です。 データ分析とAIのニーズに合わせて、ビジネスインテリジェンス用のデータウェアハウスとAI用のデータレイクという 2 つの異なるシステムを導入している可能性があります。 そして今、それぞれが異なるガバナンスモデルを持つ2つのシステム間でデータを移動するデータサイロを作成しました。 ただし、データはファイルやテーブルに限定されません。 また、ダッシュボード、ML モデル、ノートブックなどの資産にはそれぞれ独自の権限モデルがあり、これらすべての資産に対するアクセス権限を一貫して管理することが困難になっています。 データ資産が、アクセス管理ソリューションが異なる複数のクラウドに存在する場合、問題はさらに大きくなります。 良いニュースです。データガバナンスを統合する方法があります。 しかし、なぜ気にする必要があるのでしょうか? 堅牢なデータガバナンスがなければ、チームや企業はオーディエンスを完全に理解でき

生成 AI アプリケーションを概念実証段階から本番運用段階に移行するには、制御、信頼性、データガバナンスが必要です。 組織は、モデルとトレーニングに使用するデータの両方をより厳密に管理することで、制御と出力へのより良い影響を与える能力を求めて、オープンソースの基盤モデルに注目しています。 Databricks は、何千ものお客様が生成 AI のユースケースを評価し、組織に最適なアーキテクチャを決定するのを支援してきました。 当社の顧客は、多くの場合困難でコストがかかる、本番運用品質のAIモデルの構築と展開の課題を私たちと共有しています。 その結果、ほとんどの CIO はモデルを本番運用に導入することに不安を感じています。 これには、制御、所有権、品質の欠如、予測不可能なパフォーマンス、これらの基本モデルのスケーリングに関連する高いコストなど、さまざまな理由があります。 私たちは顧客の行動の変化に気づきました。 効率性の向上とコストの削減のために、オープンソース モデルを採用する組織が増えています。 これに応えて、

一瞬一瞬、あらゆるプレーが結果を左右する、変化の速いスポーツの世界では、高度な分析とリアルタイムデータ知見の必要性がかつてないほど重要になっています。 スポーツ業界は、パフォーマンスを向上させ、ファンを惹きつけ、競争力を確保するための革新的な戦略を常に模索しています。 Databricks MarketplaceとDelta Sharing は、前例のないデータの取得、共有、コラボレーションを促進することで、スポーツ アナリティクスの状況を一変させています。 スポーツにおける Databricks Marketplace の力 Databricks Marketplace は、オープンソースの Delta Sharing 標準を利用した、データ、分析、AI のオープン マーケットプレイスです。これは、独自のプラットフォームや複雑な ETL プロセス、または高価なレプリケーションの制約なしに、組織が機械学習モデル、ノートブック、アプリケーション、ダッシュボードなどの膨大な資産にアクセスできる中央ハブとして機能します

生成AI革命はチームの働き方を変えつつあり、Databricks Assistantはこれらの進歩を最大限に活用しています。会話型インターフェイスを介してデータをクエリできるため、 Databricksワークスペース内での生産性が向上します。アシスタントは Databricks用のデータインテリジェンスエンジンであるDatabricksIQ を搭載しており 、データのセキュリティを確保し、応答が正確で、企業の詳細に合わせて調整されていることを確認します。 Databricks Assistantを使用すると 、タスクを自然言語で記述して、開発者のエクスペリエンスを中断することなく、複雑なコードを生成、最適化、またはデバッグできます。 この投稿では、ブログ「 Databricks Assistantを最大限に活用するための5つのヒント 」 を拡張し 、アシスタントが退屈な作業の排除、生産性と没入感の向上、価値実現までの時間の短縮によってデータエンジニアの生活をどのように改善できるかに焦点を当てます。さまざまなデータ

Databricks データ インテリジェンス プラットフォームは比類のない柔軟性を提供し、ユーザーはほぼ瞬時に水平方向にスケーラブルなコンピュート リソースにアクセスできます。 この作成の容易さは、適切に管理されない場合、制御不能なクラウド コストにつながる可能性があります。 オブザーバビリティを実装してコストを追跡し、チャージバック Databricks でコストを追跡およびチャージバックするために可観測性を効果的に使用する方法 複雑な技術エコシステムを扱う場合、未知の要素を積極的に理解することが、プラットフォームの安定性を維持し、コストを管理するための鍵となります。 オブザーバビリティ（可観測性）は、システムが生成するデータに基づいてシステムを分析および最適化する方法を提供します。 これは、既知の問題を追跡するのではなく、新しいパターンを特定することに重点を置くモニタリングとは異なります。 Databricks のコスト追跡の主な機能 タグ：タグを使用して、リソースと料金を分類します。 これにより、よりきめ

モダンデータスタックは、データの量と複雑さが増加し続ける中で、データの収集、保存、分析の難しさに対処するために設計されています。 ビジネスの成功がデータ主導の洞察とAIに依存するようになるにつれ、効果的で信頼性の高いデータ管理が不可欠です。 では、モダンデータスタックとはどのようなもので、データ活用を最適化するためにどのように設計されているのでしょうか。 モダンデータスタックとレガシーなデータスタックの違い、あらゆる業界のビジネスにもたらすメリット、データから成功を収めるために必要なモダンデータスタックツールについて理解しましょう。 データとAIの目標を加速させる方法については、新しい エグゼクティブ・ガイドを ご覧ください。 モダンデータスタックとはどういう意味ですか？ 「データスタック」とは、生データを処理するさまざまなテクノロジーの集合体を指します。 モダンデータスタックは、データの取り込み、整理、保存、変換に使用されるツールで構成されています。 これらのツールは、データを「食べられないデータ」（扱えないデ

良いベンチマークとは、どのモデルが優れていて、どのモデルが劣っているかを明確に示すものです。 Databricks Mosaic Researchチームは、研究者が実験を評価するための優れた測定ツールを見つけることに専念しています。 モザイク評価ガントレットは、モデルの質を評価するためのベンチマークセットで、言語理解、読解力、記号的問題解決、世界知識、常識、プログラミングの6つのコアコンピテンシーにまたがる39の公開ベンチマークで構成されています。 モデル規模を超えた研究タスクに最も有用なメトリクスに優先順位をつけるため、一連の高度なモデルを使用してベンチマークをテストしました。 最近の研究、特に DeepMindのChinchilla論文 では 、 パラメータ数と学習データサイズの両方を増やすことで言語モデルをスケールアップすると、性能が大幅に向上することが実証 されています。信頼できるベンチマークセットを特定するには、モデルの性能とスケールの間に確立された関係を活用します。スケーリング法則は個々のベンチマーク

Forrester Wave™ において、Databricks が現在のオファリングと戦略の両カテゴリーで最高得点を獲得し、Leader に認定されました：データレイクハウス、2024年第2四半期。 Forrester社は、13のベンダーを24の基準で評価しました。 報告書の無料ダウンロードは こちらから 。 2024 Forrester Wave for Data Lakehouses Databricksはレイクハウスカテゴリーのパイオニアであり、2024年のForrester Wave for Data Lakehousesでリーダーに選ばれたことを嬉しく思います。 Databricksは、19の基準で5/5のスコアを獲得し、現在の提供と戦略のカテゴリーで最高のスコアを獲得しました。 データレイクハウスは、 データインテリジェンスプラットフォーム...

私たちは、Databricks on AWS GovCloudが現在 パブリックプレビュー 中であること、そして最近、最初の FedRAMP® High Agency ATO を獲得したことを発表できることを嬉しく思います！ 国際武器取引規制（ITAR）およびHIPAAのユースケースをサポートする準備が整いました。間もなく国防総省影響レベル 5 (IL5) の暫定認可が得られる予定です。 本日の発表は、Databricks にとってエキサイティングな コンプライアンスマイルストーン の最新版です。 これは、FedRAMP Highのスポンサー機関とプレビューのお客様の功績を称えるものであり、 米国市民権移民サービス 、メディケアおよびメディケイドサービスセンター、米国食品医薬品局のような公共部門のお客様が、市民サービスの向上とミッションの成功を達成するためのデータインテリジェンスの約束を実現するための支援に重点を置いていることを反映しています。...