Ray on Databricksの一般提供開始のお知らせ
昨年、Rayサポートの パブリックプレビュー をリリースして以来、何百ものDatabricksのお客様が、マルチモデル階層予測やLLMファインチューニング、強化学習など、様々なユースケースに使用してきました 。 本日、DatabricksにおけるRayサポートの一般提供を発表できることを嬉しく思います。 Rayは、バージョン15.0以降、機械学習ランタイムの一部として含まれるようになり、Databricksでファーストクラスとして提供されるようになりました。 お客様は、追加インストールなしで Rayクラスターを開始することができ、Databricksが提供する統合された製品群（Unity Catalog、Delta Lake、MLflow、Apache Sparkなど）の中で、この強力なフレームワークの使用を開始することができます。 調和のとれた統合：Databricks上のRayとSpark Ray on Databricksの一般提供により、Databricks上で分散ML AIワークロードを実行する選択肢が
クラウド分析のパワーを解き放つ：Intelのデータ革命を垣間見る
世界有数のハイテク企業が、データ分析をどのように変革し、時代の最先端を走り続けているのかを知る準備はできていますか？ Intel ITの最新ホワイトペーパーでは、Intel最大の事業部門である企業データ分析のクラウドへの移行を成功させた内部事情を明らかにしています。 Intelがファウンドリサービスとソフトウェア開発の領域にさらに踏み込んでいる今、堅牢で高性能なデータプラットフォームに対する需要はかつてないほど高まっています。 このデータ主導型の変革のベースは、さまざまな事業活動から収集されたインテリジェントな知見にあり、Intelは迅速かつ十分な情報に基づいた意思決定を行うことができます。 この変革の中核となるのが、Databricks上に構築されたクラウドベースのデータ分析プラットフォームです。 この革命的なプラットフォームは、単なるデータストレージではなく、以下を含むダイナミックなエコシステムです： 統合データ分析のためのサンドボックス機能 何度でも使えるデータ取り込みと変換のテンプレート AIと機械学習の
生成AIを用いてブランドイメージに沿った画像を作成する
画像生成技術は、小売業や消費財メーカーに大きなメリットをもたらします。 生成モデルを使用することで、ユーザーのプロンプトから様式的な画像とフォトリアリスティックな画像の両方を生成することができ、マーケティング担当者やデザイナー、製品開発チームは、新しいアイデアやデザインを迅速かつ効果的に検討することができます。 このAI技術を使用するための主な要件は、ユーザーがコンセプトを明確に表現する能力です。 共通の目標に集中する個人からなる小さなチームは、AIにプロンプトを渡すことで、アイデアを評価したり、新しいアイデアを閃いたりするのに役立つビジュアライゼーションを生成できます。 このような技術によって促進されるプロセスでは、チームは先行投資コストを削減し、フィードバックまでの時間を短縮し、最終的には、新しい、革新的で差別化されたコンテンツやデザインコンセプトにつながる、より創造的なプロセスに従事することができます。 しかし、大量の一般的な画像で事前に訓練されたモデルを使用することは、あるまとまった画像を作成するのに適し
MegaBlocksをDatabricksへ: 次世代のトレーニングパワーを解き放つ
Databricksでは、大規模AIモデルのための最も効率的で高性能なトレーニングツールの構築に尽力しています。最近リリースされた DBRX では、トレーニングと推論の効率を大幅に向上させるMixture-of-Experts（MoE）モデルの力を強調しました。本日、DBRXのトレーニングに使用されたオープンソースライブラリである MegaBlocks が公式のDatabricksプロジェクトになることを発表します。また、オープンソースのトレーニングスタックである LLMFoundry へのMegaBlocks統合もリリースします。これらのオープンソースリリースに加え、スケールで最高のパフォーマンスを得る準備ができたお客様に対して、最適化された内部バージョンのオンボーディングも開始します。 Mixture of Experts（MoE）モデルとは？ Mixture of Experts（MoE）モデルは、複数の専門ネットワーク、または「エキスパート」の出力を組み合わせて予測を行う機械学習モデルです。各エキスパート
エネルギー業界向けデータインテリジェンスプラットフォームのご紹介
よりスマートでクリーン& 信頼性の高いエネルギーシステムへのパラダイムシフトを促進 電気は新しい石油です。 エネルギー源は多様化し、エネルギーの用途はより電気的になっています。 電力は急速に一次エネルギー源になりつつあり、再生可能エネルギーは世界の電力の30％を供給しています。 顧客の嗜好と市場原理が再生可能エネルギーと脱炭素化を推し進める中、私たちは新旧のエネルギーシステムが共存する過渡期にあり、経済的影響を伴う価格変動を引き起こしています。 マッキンゼーによると、データとAIはこの移行期に不可欠であり、今後10年間で最大5兆ドルの価値を提供し、2050年までに実質ゼロ排出を達成するために不可欠です。 今後数年間、大手エネルギー企業はデータとAIを活用し、変動リスクを管理しながら移行を活用することになるでしょう。 しかし、エネルギー部門がAIの可能性を最大限に活用するには、以下のような大きなハードルを乗り越えなければなりません： レガシーなインフラやデータモデルによる独自のデータフォーマットやクローズド
DatabricksでDSPyを活用しよう！
大規模言語モデル（LLM）は、プロンプト技術を最適化することで効果的な人間とAIの対話に注目を集めています。「プロンプトエンジニアリング」は、モデルの出力を調整するための成長中の方法論であり、検索拡張生成（RAG）などの高度な技術は、関連情報を取得して応答することでLLMの生成能力を強化します。 スタンフォードNLPグループが開発したDSPyは、「プロンプトではなくプログラミングで基盤モデルを構築する」ためのフレームワークとして登場しました。現在、DSPyはDatabricksの開発者エンドポイントとの統合をサポートしており、 Model Serving や Vector Search が可能です。 複合AIのエンジニアリング これらのプロンプト技術は、AI開発者がLLM、リトリーバルモデル（RM）、その他のコンポーネントを組み込んで 複合AIシステム を開発する際に、複雑な「プロンプトパイプライン」へのシフトを示しています。 プロンプトではなくプログラミング: DSPy DSPyは、下流タスクのメトリクスに向け
Databricksが2024 Google Cloud Partner of the Year Awardを受賞
Databricksが、データ - 人工知能と機械学習部門で2024年のGoogle Cloud テクノロジー パートナー オブ ザ イヤーを受賞したことを発表できることを嬉しく思います。この賞は、Google Cloudを活用して効率性を高め、コストを削減し、イノベーションを推進しているトップパートナーを表彰するものです。 この成果は、Google Cloudとシームレスに統合された統合データ インテリジェンス プラットフォームを提供するという当社のパートナーシップの強さと取り組みを強調しています。 この承認は、共通の顧客にGoogle Cloud上でシームレスで最先端のデータとAIエクスペリエンスを提供するというDatabricksの献身的な姿勢を強調しています。 Databricksの使命は、Google Cloudを利用するすべてのお客様にデータインテリジェンスを提供することで、企業が独自のAIシステムを構築するために独自のデータを理解し、利用できるようにすることです。 このミッションは、Databric
DatabricksデータインテリジェンスプラットフォームとHiddenLayerモデルスキャナによるサードパーティ製モデルの安全なデプロイ
イントロダクション 組織が機械学習、AI、および大規模言語モデル（LLM）を導入する能力は、「 モデル動物園 」の普及のおかげで近年加速しています。これは、画像認識、自然言語処理、社内チャットボット、アシスタントなどに関する最先端の能力を備えた事前トレーニング済みのモデル/LLM が含まれる Hugging Face や TensorFlow Hub などのパブリックリポジトリを指します。 サードパーティモデルのサイバーセキュリティリスク モデル動物園は便利ですが、悪意のある行為者が悪意のある利益のためにパブリックリポジトリのオープンな性質を悪用する可能性があります。 例えば、私たちのパートナーである HiddenLayer 社による最近の研究では、 公開されている機械学習モデルがランサムウェアによって武器化される可能 性や、攻撃者が HuggingFaceのサービス を乗っ取り、プラットフォームに提出されたモデルをハイジャックする可能性を特定しました。 これらのシナリオは、トロイの木馬によるモデルと、モデルのサ
未来を照らす：コンピュータービジョンを使用した電力網資産の分析におけるDatabricksの能力を明らかにする
電力・公益事業業界におけるイノベーションは、国家電力網の進化を前進させるために必要不可欠なステップであり、このイノベーションを促進するためには新たな事業モデルが必要です。 エネルギーシステムのあらゆる部分が、一次元の電力の流れから、スマートメーターや動的価格設定モデルのような業界の他の変化とともに、新しい風力発電や太陽光発電、EVやバッテリーの利用をサポートする動的な2日送電網へと移行しています。 送電網のオペレーション、運用、管理におけるこの変化の一環として、電力会社や公益事業者は、送電網の資産を管理し、データを収集し、何世代にもわたってほとんど同じ方法で運用されてきた業界を自動化する新しい方法を模索しています。 テクノロジーの進歩によって推進される時代において、業界全体が最先端ツールの可能性を活用し、業務に革命をもたらしています。 現代社会の中枢を担う電力・公益部門も例外ではありません。 コンピュータービジョン技術の出現により、重要なインフラストラクチャを効率的に管理・監視するための新たなフロンティアが出現し
Unity Catalog ガバナンスの実際の動作：モニタリング、レポーティング、リネージ
Databricks Unity Catalog（UC）は、クラウドやデータプラットフォームにわたる企業のすべてのデータとAI資産に対して、単一の統合ガバナンスソリューションを提供します。 このブログでは、 Unity Catalog Governance Value Levers（ガバナンス・バリュー・レバー ）をより深く掘り下げ、包括的なデータとAIのモニタリング、レポーティング、リネージを通じて、具体的にどのようにポジティブなビジネス成果を実現しているかを紹介します。 従来の非統合ガバナンスに伴う全体的な課題 Unity Catalog Governance Value Levers ブログでは、情報セキュリティ、アクセス制御、利用監視、ガードレールの制定、データ資産からの「唯一の信頼できる情報源」の洞察の取得など、ガバナンスの組織的重要性の「理由」について議論しました。 Databricks UCがなければ、従来のガバナンスソリューションではもはやニーズに対応できません。 議論された主な課題には、複数のベ