Databricks は、2024 年に初めて実施された Glassdoor Award の ベストリーダーシップ企業 リストで第 2 位にランクされたことを発表します。 Databricks では、最先端のテクノロジーを構築するだけでなく、透明性の文化を育んでいます。 私たちのリーダーシップは、協調的で透明性の高い仕事の実践に対する社内のコミットメントを反映しています。 Databricks、Glassdoor のベストリーダーシップ企業に選出 当社の CEO 兼共同創設者である Ali Ghodsi のリーダーシップは、真実の追求と第一原則の考え方に根ざしています。これらは、学術界における当社の起源に忠実であり続ける Databricks の...

GenAI アプリケーションをうまく構築するには、最先端の最新モデルを活用するだけでは不十分です。 データ、モデル、インフラストラクチャを柔軟かつスケーラブルに統合し、本番運用に対応した 複合AIシステム を開発する必要 があります。これには、オープンソース モデルと独自モデルの両方、ベクター データベースへのアクセス、モデルの微調整、構造化データのクエリ、エンドポイントの作成、データの準備、コストの管理、ソリューションの監視を行う機能が必要です。 このブログでは、 Databricksへの投資も行っている大手ベンチャーキャピタル会社 (このブログでは「VC」と表記) の GenAI 変革について見ていきます。この VC は、社内でイノベーションを推進するだけでなく、将来の投資を導く GenAI アプリケーションを構築する機会をより深く理解したいと考えていました。この VC は、構造化ファンド データから「 Databricksにいくら投資したか、現在の価値はいくらか」などの情報を照会する Q&A...

データ サイエンスとエンジニアリングの急速に進歩する分野では、生産性を向上させるために人工知能 (AI) の統合が不可欠になっています。 数多くのツールが登場し、データ実務者の生活を一変させ、複雑なタスクを容易にし、イノベーションを促進してきました。 2023 年 7 月に Databricks Assistant をパブリック プレビューでリリースしたとき、私たちはデータ サイエンティスト、アナリスト、エンジニア間の効率を合理化することのみを目的として設計しました。 この目標をどの程度達成しているかをよりよく理解するために、経験の異なる複数の組織のトップユーザーを対象に調査を行うことにしました。 調査の目的 Databricks Assistant がデータ プロフェッショナルに与える影響をより深く理解するために、幅広いユーザー エクスペリエンスを捉えられるようにこの調査を綿密に設計しました。 このアンケートを実施した目的は、アシスタントがユーザーの日常生活に与える影響をよりよく理解するだけでなく、アシスタント

私たちは最近、 DBRX という最新の汎用LLM（大規模言語モデル）を発表しました。DBRXは、Mosaic AI Trainingを使用してトレーニング、ファインチューニング、および評価されました。トレーニングは3072台のNVIDIA H100を使用してスケーリングされ、処理したトークン数は12兆を超えました。 LLMのトレーニング、特にDBRXのようなMoE（専門家の集合）モデルのトレーニングは難しいです。これには、多くのインフラ、パフォーマンス、科学的な課題を克服する必要があります。Mosaic AI Trainingはこれらの課題に対応するために意図的に構築され、 DBRX 、 MPTシリーズのモデル 、および Ola の Krutrim 、 AI2 の OLMo 、 Dynamo AIの...

Databricksでの巧みなプロンプトとファインチューニングにより、Llama3 8B で Spider dev データセットの 79.9% に到達した方法。

毎年恒例の Data Team Awards は、ビジネス界が直面している最も一般的で複雑な問題のいくつかに、多様なエンタープライズデータチームがどのように取り組んでいるかにスポットライトを当てています。 今年は、世界中のさまざまな業界から 200 以上のノミネートが寄せられました。 6 つの異なるカテゴリーにまたがるこれらのファイナリストは、組織がデータと AI の取り組みに適用する並外れた創造性と独創性を強調しています。 私たちは、この画期的な成果をデータの専門家や愛好家のコミュニティと共有できることを嬉しく思っています。 データ チーム ディスラプター アワードは、各分野のデータ管理とアクティベーションへの取り組み方を根本的に変えているエンタープライズ データ チームを表彰するものです。 この賞は、現状に挑戦する人々を称えるものであり、データと AI をビジネス慣行に統合して、それぞれの業界で新しい基準を確立したチームに贈られます。 以下は、2024...

昨年、 Databricksモデルサービングにおける 基盤モデルのサポート を開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。 本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI...

12 月に、Databricks は Retrieval Augmented Generation (RAG) を使用して AI アプリケーションを本番運用するための新しいツール を発表しました 。それ以来、 Databricks Data Intelligence Platform 上で何千もの顧客によって構築される RAG アプリケーションが爆発的に増加しています 。 本日、 DatabricksVector Searchの一般提供やモデルサービングのメジャーアップデートなど、...

Data Team Awards は、さまざまなセクターの企業が最も差し迫った課題に直面するのを支援する上で、エンタープライズデータチームが果たす重要な役割を称えるものです。 200以上のノミネートがあり、最終選考に残った企業は、データと人工知能における目覚ましいイノベーションを披露しています。 Data + AI Summit が近づいており、Databricks はノミネートされたすべての企業の成功事例を共有できることを嬉しく思っています。 2024 年のトランスフォーメーション アワードは、データと AI を通じて組織を変革するために全力を尽くしたチームを表彰するために設けられる名誉ある賞であり、前例のない規模でこの変革を推進する変革の設計者を称えます。 企業チーム内でのデータの役割を再考し、最先端のデータおよび AI テクノロジーを活用して、ビジネス モデル、ワークフロー、意思決定プロセスを根本的に変えています。 彼らの仕事はトランスフォーメーションの本質を体現しており、データが戦略的イノベーション、オペ