「DBRX」を発表: オープンソース大規模言語モデルのスタンダードとして
Databricksのミッションは、「組織が独自のデータを理解し、使用して独自のAIシステムを構築できるようにすること」です。つまりはすべての企業にデータインテリジェンスを提供することです。 本日、このミッションの達成へと大きく踏み出すため、 Mosaic Research チームによって構築された汎用の大規模言語モデル（LLM）であるDBRXをオープンソース化します。このモデルは、標準的なベンチマークにおいて既存のすべてのオープンソースモデルを凌駕しています。オープンソースモデルの限界を押し広げることが、すべての企業に対してカスタマイズ可能で透明性のある生成AIを可能にすると私たちは信じています。 私たちが「DBRX」に興奮するのには、3つの明確な理由があります。 まず第一に、言語理解、プログラミング、数学、論理において、LLaMA2-70B、Mixtral、Grok-1などのオープンソースモデルを圧倒しています（図1参照）。実際、私たちのオープンソースベンチマーク「 Gauntlet 」 には、30以上の異な
LilacがDatabricksに参画：生成AIの非構造化データ評価をシンプル化
本日、LilacがDatabricksに参画することを発表できることを嬉しく思います。 Lilacは、データサイエンティストが生成AIを中心にあらゆる種類のテキストデータセットを検索、クラスタリング、分析するためのスケーラブルでユーザーフレンドリーなツールです。 Lilacは、大規模言語モデル（LLM）の出力の評価から、モデルのトレーニングのための非構造化データセットの理解と準備まで、さまざまなユースケースに使用できます。 LilacのツールをDatabricksに統合することで、顧客は自社の企業データを使用した生産品質の生成AIアプリケーションの開発を加速させることができます。 生成AI時代のデータ探索と理解 データは、モデルのトレーニングのためのデータセットの準備、モデルの出力の評価、RAG（Retrieval-Augmented Generation）データのフィルタリングなど、LLMベースのシステムの中核をなすものです。 これらのデータセットを探索し理解することは、質の高い生成AIアプリを構築する上で非常
展開中のAI規制への対応をデータインテリジェンスプラットフォームが支援
世界中の政策立案者が人工知能への関心を高めています。 欧州連合（EU）議会では、これまでで最も包括的なAI規制が大差で可決されたばかりです。米国では最近、連邦政府がAIの利用を規制するための注目すべき措置をいくつか講じており、州レベルでも動きがあります。 他の国の政策立案者たちも細心の注意を払い、AI規制の整備に取り組んでいます。 これらの新たな規制は、単体のAIモデルと、Databricksの顧客がAIアプリケーションを構築するために利用する機会が増えている 複合AI システムの両方の開発と使用に影響を与えるでしょう。 2部構成の「AI規制」シリーズをご覧ください。 パート1では、米国やその他の国におけるAI政策立案の最近の活発な動きを概観し、世界的に繰り返されている規制のテーマに焦点を当てます。 パート2では、Databricksのデータインテリジェンスプラットフォームがどのようにお客様の新たな義務への対応を支援できるかを深く掘り下げ、責任あるAIに対するDatabricksの見解について説明します。 米国に
Mistral AI社へ出資し、「Mistral AI」モデルを「データ・インテリジェンス・プラットフォーム」に統合しました
Databricksは、オープンソースソリューションがジェネレーティブAI開発におけるイノベーションと透明性を促進するという信念を共有し、ヨーロッパ有数のジェネレーティブAIソリューションプロバイダーであるMistral AIのシリーズA資金調達への参加とパートナーシップを発表しました。このパートナー関係の深化により、DatabricksとMistral AIは現在、Mistral AIのオープンモデルをDatabricks データ・インテリジェンス・プラットフォームにネイティブに統合して提供しています。Databricksのユーザーは、Databricks MarketplaceでMistral AIのモデルにアクセスし、Mosaic AI Playgroundでこれらのモデルと対話し、Mosaic AI Model Servingを通じて最適化されたモデルのエンドポイントとして使用し、アダプテーションを通じて独自のデータを使用してカスタマイズすることができます。 今年に入ってから、すでに1000社近くの企業が
産業界と政府機関を通じて、責任あるAI開発へのコミットメントをさらに強化
Databricksでは、革新的なデータとAI製品を構築してきた長年の歴史を通じて、責任ある開発の原則を堅持してきました。 私たちは青空のように広がる可能性を秘めた研究（blue-sky research）とオープンソースの革新に取り組んでいます。これは私たちの文化の一部であり、当社の学術的なルーツに由来するものです。 この遺産を基に、Databricksは最近、イノベーションを促進し、安全で信頼できるAIの使用を提唱するいくつかの業界および政府の取り組みに参加しました。 当社のデータインテリジェンスプラットフォームからの洞察を研究に提供したり、他の業界関係者と協力してAIに関する政策立案者を教育したりするなど、DatabricksはAIの進歩を加速し、安全性を向上させ、セキュリティを強化し、信頼を活用するためのイニシアチブの一翼を担っていることを誇りに思っています。 以下は、私たちが参加または協力しているグループの一部です： AIアライアンス AIアライアンスは、オープンイノ ベーションに根ざした安全で責任あるA
データインテリジ ェンスプラットフォームへようこそ！：Databricks + Einblick
Databricksは、AIが企業のデータとの関わり方を変えると信じています 。 このようなわけで、 Einblick チームをDatabricksに迎え入れることになりました。 Einblick(アインブリック)は、マサチューセッツ工科大学とブラウン大学の研究者によって設立され、機械学習、ヒューマンコンピュータインタラクション、自然言語処理の境界を探る研究を行っています。 Einblickチームは過去4年間、ユーザーが たった一文でデータ問題を解決 できるAIネイティブコラボレーションプラットフォームを構築してきました。 DatabricksでEinblickの旅が続くことを楽しみにしています！ Einblick + データインテリジェンス ジェネレーティブAIの台頭が新世代のデータシステムを実現可能にしました：それが、 データ・インテリジェンス・プラットフォーム です。 旧世代のデータ・インフラストラクチャとは異なり、データ・インテリジェンス・プラットフォームは、専門家でないユーザーが洞察や情報にアクセスでき
🏆第1回 DatabricksアジアパシフィックLLMカップ優勝者発表🥇
Databricksがアジア太平洋地域で初めて開催した大規模言語モデル（LLM）カップの優勝者を発表できることを嬉しく思います。この大会には、10カ国以上の1,000人を超えるデータおよびAIの実務家が参加しました。 2023年10月から12月にかけて、参加者はDatabricksを使用してLLMを活用したアプリケーションを構築し、実際のビジネス課題を解決するために招待されました。 参加者を成功に導くため、ハッカソンに先立ち、LLM構築に関する自習型学習ワークショップと、Databricksのソリューションアーキテクトによる専用トレーニングを提供しました。 応募作品は、創造性、ビジネスへの適用可能性、関連性、取組みの完成度、LLMアーキテ クチャの拡張性などに基づいて評価されました。 インパクトのあるプロジェクトが数多くあった中で、電気通信とサイバーセキュリティにおける組織の重要な課題に取り組む革新的なアイデアを持つ2つのチームが際立っていました。 受賞チームのイノベーションは、適切なテクノロジーによってチームがい
データインテリジェンスプラットフォームのための信頼できるデータを：Databricks VenturesがAnomaloに投資
信頼性が高く、正確で、信用できるデータは、企業におけるあらゆるデータアプリケーションにとって最も重要な要件です。 Databricksのお客様は、自動化された洞察と顧客体験のためにデータへの依存度を高めているため、データ品質は基本的に必要不可欠なものとなっています。 重要なことは、データ品質の問題が、データとAIの価値を最大化する上で、企業が直面する最大の障壁の1つであるということです。 最近の ある調査によると、IT意思決定者の91%が自社のデータ品質を向上させる必要があると考えており、77%が自社のビジネスデータに対する信頼が不足していると回答しています。 Databricks Venturesは、このような顧客の重要なニーズに対応するため、長年のデータ品質パートナーである Anomaloの シリーズBラウンドへの 投資を発表しま す。私たちがアノマロ・チームと知り合ったのは約3年前。 当初から、チームの優秀さ、革新的で使いやすい製品、技術革新のペース、そしてAnomaloのAIを搭載した自動品質監視機能を導入
業界初のジェネレーティブAIエンジニア学習パスウェイと認定資格を発表しました
本日、データおよびAIの実務家がジェネレーティブAIで成功するためのリソースを確保できるよう、業界初の ジェネレーティブAIエンジニアの 学習パスウェイと認定を発表します。 Databricksでは、ジェネレーティブAIが実務家と組織の革新と生産性向上に貢献し続けることを認識していますが、実務家が成功するためにはスキルアップと再スキルが必要です。 この新しいトレーニングは、データサイエンティスト、機械学習エンジニア、開発者がジェネレーティブAIの旅の途中で出会うための3つの学習コンポーネントで構成され、DatabricksジェネレーティブAIエンジニアアソシエイト認定試験でクライマックスを迎えます。 Generative AI Engineer Learning Pathway& 認定資格 ジェネレーティブAIのスキルアップの必要性 ジェネレーティブAIとその応用は急速に進歩し続けています。 ハーバード・ビジネス・レビュー』誌 は、このテクノロジーによって、これまでにない加速度的なペースで専門知識に対する
Databricksによる建築製品業界の異常検知のための機械学習の活用
序章 異常検知はさまざまな業界で広く応用されており、企業部門では重要な役割を果たしています。 このブログでは、製造業での応用に焦点を当てます。 シミュレーションされたプロセスサブシステムの健全性監視を中心としたケーススタディを探求します。 さらに、主成分分析（PCA）のような次元削減手法を掘り下げ、そのようなシステムを本番環境に導入した場合の実際の影響を検証します。 実際の例を分析することで、Databricksをツールとして活用し、このアプローチをどのようにスケールアップして、広範なセンサーデータから価値ある洞察を抽出できるかを実証します。 LPビルディングソリューシ ョンズ（LP）は、建築業界を形成してきた50年以上の実績を持つ木材製品製造会社です。 北米と南米で事業を展開するLP社は、耐湿性、耐火性、耐シロアリ性を備えた建築製品ソリューションを製造しています。 LP社では、環境・衛生・安全（EHS）データとともに、ペタバイト級の過去のプロセスデータが長年にわたって収集されてきました。 このような大量の履歴デー