データインテリジェンスと評価インテリジェンスを統合する：Databricks VenturesがGalileoに投資
私たちの顧客は、生成型AIを試験から本番環境へ移行させる最大の課題は「 測定問題 」だと言っています。これらのシステムを測定し、信頼するのは難しいです。LLMプロバイダーは制御テストでのパフォーマンス結果を共有しますが、企業はモデルを変更し、自身のデータを追加します。これにより、現実世界での評価が難しくなります。 現在のAIの状況では、ほとんどの組織が単一の呼び出しLLMアプリケーションから AIシステム へと移行しています。これらのシステムは、複数のツール、検索戦略、推論ステップ、ビジネスルール、およびLLMを使用して、ユーザープロンプトから単一の出力を生成します。フードの下ではたくさんのことが進行中です。 Databricksでは、顧客のデータと、そのビジネスのユニークな特性に合わせて調整された強力なAIモデルを組み合わせることで、分析とインテリジェントアプリケーションへのアクセスを民主化しています。私たちは、一般的なインテリジェンスから、私たちがデータインテリジェンスと呼ぶものへのシフトをリードしています。
RAGの精度向上へ：Databricks VenturesがVoyage AIに出資
私たちが顧客から頻繁に聞くのは、生成AIアプリケーションをパイロットから本番環境に移行する際の課題の1つが、既製の大規模言語モデル（LLM）が生成する結果の正確性であるということです。この正確性のギャップを埋めるために、企業が取り組んでいる方法の1つが、Retrieval Augmented Generation（RAG）アーキテクチャを含む「 複合AIシステム 」を構築することです。RAGアーキテクチャや複合AIシステムでは、企業や特定分野のデータをプロンプトや応答の一部として取り入れることで、既製のLLMの応答の質を向上させます。Databricksでは、これをLLMの「一般知能」から「データ知能」へのシフトと捉えており、わずかなリトリーバルの質や効率の向上でも、ユーザー体験に大きな影響を与えることができると考えています。 高品質な埋め込みモデルは、正確なRAGシステムの礎です。今年、DatabricksのMosaic AI上で開発されたRAGアプリケーションが急増している中、Databricksが業界トップ
カスタムのテキストからSQL生成するアプリケーションで金融のインサイトを解き放つ！
序章 取得強化生成（RAG）は、大規模言語モデル（LLM）を使用して企業が非構造化知識ベースを活用する方法を革新し、その可能性は広範に影響を及ぼします。 インターコンチネンタルエクスチェンジ（ICE） は、世界最大の証券取引所グループであるニューヨーク証券取引所（NYSE）を含む、取引所、クリアリングハウス、データサービス、住宅ローン技術を運営するグローバルな金融組織です。 ICEは、既存のアプリケーションからのデータ移動を必要とせずに、構造化されたRAGパイプラインを持つことで、構造化データ製品の自然言語検索のシームレスなソリューションを先駆的に開発しています。このソリューションは、エンドユーザーがデータモデル、スキーマ、またはSQLクエリを理解する必要性を排除します。 ICEチームはDatabricksエンジニアと協力して、Databricks Mosaic AI製品のフルスタック（ Unity Catalog , Vector Search , Foundation Model APIs , and Mod
AIモデル共有のGAを発表
このブログへの貴重な洞察と貢献に対して、Daniel Benito（CTO、Bitext）、Antonio Valderrabanos（CEO、Bitext）、Chen Wang（リードソリューションアーキテクト、AI21 Labs）、Robbin Jang（アライアンスマネージャー、AI21 Labs）、Alex Godfrey（パートナーマーケティングリード、AI21 Labs）に特別な感謝を述べます。 Databricks Delta SharingとDatabricksマーケットプレイス内のAIモデル共有の一般提供をお知らせすることをうれしく思います。このマイルストーンは、 2024年1月のパブリックプレビュー発表 に続いています。Public Previewのローンチ以来、我々は新たなAIモデル共有の顧客やプロバイダー、例えば Bitext 、 AI21 Labs 、Rippleと共に、AIモデル共有をさらにシンプルにするために取り組んできました。 Delta Sharingを使用して、AIモデルを簡単
革新を解き放て：DatabricksがジェネレーティブAIスタートアップチャレンジを発表！
Databricksを基盤にした画期的なGenerative AIのユースケースを持つ起業家やスタートアップですか？それなら、私たちのチャレンジに挑戦してみませんか？Databricksは、 Databricks Generative AI Startup Challenge を紹介することを大変嬉しく思います - これは、Generative AIの力を利用して実際の顧客の問題を解決する革新的な製品を開発している 初期段階のスタートアップ向けの賞金総額が100万ドル以上のコンペティション であり、Databricks Data Intelligence Platformの力を活用しています。 Databricks Ventures と Databricks for Startups のスポンサーであり、AWSとの協力のもと、これはあなたが印象を残し、比類のない露出を得て、成功への道を加速するチャンスです。...
「2024年 フォーチュン誌 テクノロジー分野における最高の職場」にDatabricksが選出されました！
Databricksが2024年の フォーチュン最優秀テクノロジー職場™ の一つに選ばれたことを嬉しく思います。この賞は、Brickstersが活躍し、革新を生み出しながら、データチームが世界の最も厳しい問題を解決するための環境を作り出すという私たちのコミットメントを反映しています。UCバークレーAMP研究所での起源に根ざして、Databricksはオープンで透明な文化を育て、次世代のデータインテリジェンスを推進し、データとAIの未来を形成することに専念しています。 テクノロジーの最優秀職場リストは非常に競争力があります。Great Place To Workは、職場文化に関する世界的な権威であり、アメリカ最大の継続的な年間労働力調査を実施しており、今年だけでも130万件以上の調査回答と820万人以上の従業員を代表する企業からのデータに基づいています。 彼らの言葉だけを信じないでください。テクノロジーの最優秀職場であるDatabricksを作り上げるBrickstersから直接聞いてみてください。 データ駆動型エ
大規模データ取り込みの最適化方法
過去3ヶ月間、DatabricksのIngestionチームで製品管理インターンとして働く機会 がありました。この期間中、私は データレイクハウスアーキテクチャ の理解を深める大規模で深く技術的なプロジェクトに取り組みました。私は、 LakeFlow Connect 、 Auto Loader 、 COPY INTO のような革新的な技術が、幅広いデータ形式とソースから効率的にデータを取り込む方法について、深く理解を深めることができました。この経験は、Databricksの文化的な原則が顧客のニーズを特定し、影響力のある解決策を作り出し、それを成功裏に市場に提供する能力を高めることで、私のプロダクトマネージャーとしての成長に変革をもたらしました。 Databricks Ingestionチーム データの取り込みは、よく データインテリジェンスプラットフォーム へのゲートウェイとなります。それはデータを単純かつ効率的に取り込むことに焦点を当てており、それが Unity Catalog や Workflows などの他
Data + AI Summitからのデータウェアハウジングのトレンド
データ管理の急速に進化する風景の中で、データウェアハウジングは、データ資産の力を引き出そうとするビジネスにとって引き続き基石となっています。 組織がデータ駆動型の洞察にますます依存するようになるにつれて、最新のデータウェアハウジングのトレンドは、より洗練された、スケーラブルで、安全なソリューションに向かってシフトしています。 最近の Data + AI Summit では 、データとAIのリーダーたちが集まり、データの未来を形成するトレンドと、組織がデータの効率とアクセシビリティを向上させるための新技術について議論しました。ここにいくつかのトップセッションを紹介します： Data + AI Summit 2024からのトップ5データウェアハウジングセッション AI/BI Genieの導入-ビジネスユーザー向けの新しい会話型分析体験 スピーカー: Hanlin Sun、Chao Cai データ専門家として忙しいあなたは、質問に答えたり視覚化を作成したりするリクエストを実際に対応できる時間よりも多く受け取っている可能性
Databricksノートブックの画像：私の鮮やかな夏のインターンシップ
このブログ投稿を書いている時点で、私はDatabricksの探索的データ分析（EDA）チームでの夏のインターンシップが終わるまであと一週間です。夏がこんなに早く過ぎ去ったなんて信じられません。まるで昨日のことのように、私がチームのリポジトリをクローンし、オンボーディングの仲間に助けを求めていたように感じます！12週間の間に、私は一つのテーマを基にした三つのプロジェクトフェーズを完成させました：Databricksノートブックで画像を操作するユーザーエクスペリエンスを改善すること。 Databricksノートブック あなたがコードを通じてデータと交流したことがあるなら、おそらくノートブッ クを使用したことがあるでしょう。ノートブックはPython、SQL、Scala、Rのコードエディタの一種で、データサイエンスや機械学習でデータを抽出し使用する手段として一般的です。データ＋AIの会社として、Databricksはプラットフォームと深く統合された独自のノートブックを顧客に提供しています。 Databricksノートブッ
2024年のデータ+AIワールドツアーへようこそ
2024年の データ+AIワールドツアー の開催を大変うれしく思います。これは、世界各地の都市で開催される無料の対面イベントの一連のシリーズです。各地でのイベントでは、その地域の最も重要な課題やユースケースに対応できるスピーカー陣を特別に揃えています。 参加者が体験する内容の一部をご紹介します： Databricksデータインテリジェンスプラットフォームの最新の進歩を探求しましょう： Databricksの技術専門家、顧客、パートナーから、Databricksプラットフォームの最新の革新について聞くことができます。これには、GenAI、ビジネスインテリジェンス、データウェアハウジング、データガバナンスなどが含まれます。これらの技術は、地元の企業がデータとAIの戦略を大きく前進させるのを助けています。 トレーニングやライブデモで知識を深めましょう 私たちの製品とGenerative AI、データエンジニアリングなどのユースケースに深く潜り込むための現地トレー ニングセッションに参加してください。また、あなたの近くの最