データインテリジェンスと評価インテリジェンスを統合する：Databricks VenturesがGalileoに投資
私たちの顧客は、生成型AIを試験から本番環境へ移行させる最大の課題は「 測定問題 」だと言っています。これらのシステムを測定し、信頼するのは難しいです。LLMプロバイダーは制御テストでのパフォーマンス結果を共有しますが、企業はモデルを変更し、自身のデータを追加します。これにより、現実世界での評価が難しくなります。 現在のAIの状況では、ほとんどの組織が単一の呼び出しLLMアプリケーションから AIシステム へと移行しています。これらのシステムは、複数のツール、検索戦略、推論ステップ、ビジネスルール、およびLLMを使用して、ユーザープロンプトから単一の出力を生成します。フードの下ではたくさんのことが進行中です。 Databricksでは、顧客のデータと、そのビジネスのユニークな特性に合わせて調整された強力なAIモデルを組み合わせることで、分析とインテリジェントアプリケーションへのアクセスを民主化しています。私たちは、一般的なインテリジェンスから、私たちがデータインテリジェンスと呼ぶものへのシフトをリードしています。
RAGの精度向上へ：Databricks VenturesがVoyage AIに出資
私たちが顧客から頻繁に聞くのは、生成AIアプリケーションをパイロットから本番環境に移行する際の課題の1つが、既製の大規模言語モデル（LLM）が生成する結果の正確性であるということです。この正確性のギャップを埋めるために、企業が取り組んでいる方法の1つが、Retrieval Augmented Generation（RAG）アーキテクチャを含む「 複合AIシステム 」を構築することです。RAGアーキテクチャや複合AIシステムでは、企業や特定分野のデータをプロンプトや応答の一部として取り入れることで、既製のLLMの応答の質を向上させます。Databricksでは、これをLLMの「一般知能」から「データ知能」へのシフトと捉えており、わずかなリトリーバルの質や効率の向上でも、ユーザー体験に大きな影響を与えることができると考えています。 高品質な埋め込みモデルは、正確なRAGシステムの礎です。今年、DatabricksのMosaic AI上で開発されたRAGアプリケーションが急増している中、Databricksが業界トップ
Databricksの大学提携プログラムの加盟校が1000校を突破
Databricksは、当社の大学提携プログラム（ University Alliance ）が1000番目の加盟校を迎えたことをお知らせできることを嬉しく思います。この節目は、世界中の大学に必要なツールとリソースを提供し、新世代のAIの才能を育てるという私たちの使命の証です。85カ国以上から10万人を超える学生が参加する本プログラムは、まさにグローバルな取り組みとなっています。Databricksのツールと教材を教員に提供することで、学生たちは実際のキャリアに備えるためのスキルと知識を身につけることができます。DatabricksはデータにAIをもたらし、加盟校の優秀な卒業生たちは、あなたがどこにいても、あなたの世界にAIをもたらす準備ができています。 Databricks University Allianceが提供するもの 私たちのプログラム は、4年以上前に、データとAI技術の最新の教育と学習を支援するという使命で始まりました。私たちが提供するサービスは次の通りです。 コミュニティ： アカデミックな仲間と
Databricksが2024年のグローバルパートナー賞を発表！
世界中の 3,800 社を超えるパートナーで構成されるDatabricksパートナー エコシステムは、世界規模で優れたデータとAIソリューションを構築および提供する上で重要な役割を果たしています。 当社はこれらのパートナーとの協力関係に大きな誇りを持っており、共通の顧客の成功は、トレーニング、ソリューション開発、継続的な現場プログラムに対する当社の共通 の献身と投資から生まれたものであると認識しています。 当社のパートナーは専門知識と経験を活用し、適切なソフトウェア、サービス、戦略的コンサルティングの洞察力でデータ チームを成功に導きます。 DatabricksData + AI Summit で授与される 2024 Databricksパートナー アワードは 39 のカテゴリーに及び、過去 1 年間のとの優れた業績と共同取り組みを称えるものです。 これらの賞は、世界中の組織に深い業界知識、技術力、影響力のあるソリューションを提供してきた当社の ISV、コンサルティング、システムインテグレータ パートナーとのパート
Databricks + Tabular
私たちは、データマネジメント会社であるTabular, Incを買収することに合意したことを発表できることを非常に嬉しく思います。この会社はRyan Blue、Daniel Weeks、Jason Reidによって設立されました。この買収により、Apache Iceberg™のオリジナルの作成者と、Linux Foundation Delta Lakeの作成者たちが一堂に会することになります。これにより、データの形式に縛られることなくデータ互換性を実現するための道が開かれます。本ブログでは、短期的にはDelta Lake UniForm内で、長期的には単一でオープンかつ共通の相互運用性の標準へと進化させることを目指し、IcebergおよびDelta Lakeコミュニティと緊密に連携してフォーマット互換性を実現する方法について説明します。取引が完了次第、このチームを迎えることを楽しみにしており、オープンレイクハウスのビジョンに向けて共同で取り組むことに興奮しています。 レイクハウスアーキテクチャの台頭とフォーマット
Databricks AI ファンドのご紹介
私たちは、新世代の創業者とスタートアップ企業を支援するという私たちの取り組みを示す Databricks AI Fund を発表できることを嬉しく思います。
Databricks は Glassdoor の 2024 年ベストリーダーシップ企業に選出されました
Databricks は、2024 年に初めて実施された Glassdoor Award の ベストリーダーシップ企業 リストで第 2 位にランクされたことを発表します。 Databricks では、最先端のテクノロジーを構築するだけでなく、透明性の文化を育んでいます。 私たちのリーダーシップは、協調的で透明性の高い仕事の実践に対する社内のコミットメントを反映しています。 Databricks、Glassdoor のベストリーダーシップ企業に選出 当社の CEO 兼共同創設者である Ali Ghodsi のリーダーシップは、真実の追求と第一原則の考え方に根ざしています。これらは、学術界における当社の起源に忠実であり続ける Databricks の...
LilacがDatabricksに参画：生成AIの非構造化データ評価をシンプル化
本日、LilacがDatabricksに参画することを発表できることを嬉しく思います。 Lilacは、データサイエンティストが生成AIを中心にあらゆる種類のテキストデータセットを検索、クラスタリング、分析するためのスケーラブルでユーザーフレンドリーなツールです。 Lilacは、大規模言語モデル（LLM）の出力の評価から、モデルのトレーニングのための非構造化データセットの理解と準備まで、さまざまなユースケースに使用できます。 LilacのツールをDatabricksに統合することで、顧客は自社の企業データを使用した生産品質の生成AIアプリケーションの開発を加速させることができます。 生成AI時代のデータ探索と理解 データは、モデルのトレーニングのためのデータセットの準備、モデルの出力の評価、RAG（Retrieval-Augmented Generation）データのフィルタリングなど、LLMベースのシステムの中核をなすものです。 これらのデータセットを探索し理解することは、質の高い生成AIアプリを構築する上で非常
産業界と政府機関を通じて、責任あるAI開発へのコミットメントをさらに強化
Databricksでは、革新的なデータとAI製品を構築してきた長年の歴史を通じて、責任ある開発の原則を堅持してきました。 私たちは青空のように広がる可能性を秘めた研究（blue-sky research）とオープンソースの革新に取り組んでいます。これは私たちの文化の一部であり、当社の学術的なルーツに由来するものです。 この遺産を基に、Databricksは最近、イノベーションを促進し、安全で信頼できるAIの使用を提唱するいくつかの業界および政府の取り組みに参加しました。 当社のデータインテリジェンスプラットフォームからの洞察を研究に提供したり、他の業界関係者と協力してAIに関する政策立案者を教育したりするなど、DatabricksはAIの進歩を加速し、安全性を向上させ、セキュリティを強化し、信頼を活用するためのイニシアチブの一翼を担っていることを誇り に思っています。 以下は、私たちが参加または協力しているグループの一部です： AIアライアンス AIアライアンスは、オープンイノベーションに根ざした安全で責任あるA
データインテリジェンスプラットフォームへようこそ！：Databricks + Einblick
Databricksは、AIが企業のデータとの関わり方を変えると信じています 。 このようなわけで、 Einblick チームをDatabricksに迎え入れることになりました。 Einblick(アインブリック)は、マサチューセッツ工科大学とブラウン大学の研究者によって設立され、機械学習、ヒューマンコンピュータインタラクション、自然言語処理の境界を探る研究を行っています。 Einblickチームは過去4年間、ユーザーが たった一文でデータ問題を解決 できるAIネイティブコラボレーションプラットフォームを構築してきました。 DatabricksでEinblickの旅が続くことを楽しみにしています！ Einblick + データインテリジェンス ジェネレーティブAIの台頭が新世代のデータシステムを実現可能にしました：それが、 データ・インテリジェンス・プラットフォーム です。 旧世代のデータ・インフラストラクチャとは異なり、データ・インテリジェンス・プラットフォームは、専門家でないユーザーが洞察や情報にアクセスでき