LilacがDatabricksに参画：生成AIの非構造化データ評価をシンプル化
本日、LilacがDatabricksに参画することを発表できることを嬉しく思います。 Lilacは、データサイエンティストが生成AIを中心にあらゆる種類のテキストデータセットを検索、クラスタリング、分析するためのスケーラブルでユーザーフレンドリーなツールです。 Lilacは、大規模言語モデル（LLM）の出力の評価から、モデルのトレーニングのための非構造化データセットの理解と準備まで、さまざまなユースケースに使用できます。 LilacのツールをDatabricksに統合することで、顧客は自社の企業データを使用した生産品質の生成AIアプリケーションの開発を加速させることができます。 生成AI時代のデータ 探索と理解 データは、モデルのトレーニングのためのデータセットの準備、モデルの出力の評価、RAG（Retrieval-Augmented Generation）データのフィルタリングなど、LLMベースのシステムの中核をなすものです。 これらのデータセットを探索し理解することは、質の高い生成AIアプリを構築する上で非常
産業界と政府機関を通じて、責任あるAI開発へのコミットメントをさらに強化
Databricksでは、革新的なデータとAI製品を構築してきた長年の歴史を通じて、責任ある開発の原則を堅持してきました。 私たちは青空のように広がる可能性を秘めた研究（blue-sky research）とオープンソースの革新に取り組んでいます。これは私たちの文化の一部であり、当社の学術的なルーツに由来するものです。 この遺産を基に、Databricksは最近、イノベーションを促進し、安全で信頼できるAIの使用を提唱するいくつかの業界および政府の取り組みに参加しました。 当社のデータインテリジェンスプラットフォームからの洞察を研究に提供したり、他の業界関係者と協力してAIに関する政策立案者を教育 したりするなど、DatabricksはAIの進歩を加速し、安全性を向上させ、セキュリティを強化し、信頼を活用するためのイニシアチブの一翼を担っていることを誇りに思っています。 以下は、私たちが参加または協力しているグループの一部です： AIアライアンス AIアライアンスは、オープンイノベーションに根ざした安全で責任あるA
データインテリジェンスプラットフォームへようこそ！：Databricks + Einblick
Databricksは、AIが企業のデータとの関わり方を変えると信じています 。 このようなわけで、 Einblick チームをDatabricksに迎え入れることになりました。 Einblick(アインブリック)は、マサチューセッツ工科大学とブラウン大学の研究者によって設立され、機械学習、ヒューマンコンピュータインタラクション、自然言語処理の境界を探る研究を行っています。 Einblickチームは過去4年間、ユーザーが たった一文でデータ問題を解決 できるAIネイティブコラボレーションプラットフォームを構築してきました。 DatabricksでEinblickの旅が続くことを楽しみにしています！ Einblick + データインテリジェンス ジェネレーティブAIの台頭が新世代のデータシステムを実現可能にしました：それが、 データ・インテリジェンス・プラットフォーム です。 旧世代のデータ・インフラストラクチャとは異なり、データ・インテリジェンス・プラットフォームは、専門家でないユーザーが洞察や情報にアクセスでき
業界初のジェネレーティブAIエンジニア学習パスウェイと認定資格を発表しました
本日、データおよびAIの実務家がジェネレーティブAIで成功するためのリソースを確保できるよう、業界初の ジェネレーティブAIエンジニアの 学習パスウェイと認定を発表します。 Databricksでは、ジェネレーティブAIが実務家と組織の革新と生産性向上に貢献し続けることを認識していますが、実務家が成功するためにはスキルアップと再スキルが必要です。 この新しいトレーニングは、データサイエンティスト、機械学習エンジニア、開発者がジェネレーティブAIの旅の途中で出会うための3つの学習コンポーネントで構成され、DatabricksジェネレーティブAIエンジニアアソシエイト認定試験でクライマックスを迎えます。 Generative AI Engineer Learning Pathway& 認定資格 ジェネレーティブAIのスキルアップの必要性 ジェネレーティブAIとその応用は急速に進歩し続けています。 ハーバード・ビジネス・レビュー』誌 は、このテクノロジーによって、これまでにない加速度的なペースで専門知識に対する
Databricksの中東展開とAzureカタールのローンチを発表
私たちは、Azureカタールの提供開始を発表できることを嬉しく思います。Azure Databricksの利用可能範囲が拡大されたことで、中東全域の 組織が Databricks Data Intelligence Platform を 活用し、 Azureのグローバルでスケーラブルかつ弾力性のあるネットワーク上で、 データエンジニアリング、データサイエンス、機械学習 、アナリティクスを統合することがこれまで以上に容易になりました。 AzureカタールリージョンにおけるDatabricksインフラストラクチャーのローンチは、カタール航空などの最も革新的で先進的なカタールの組織が、Azure Databricksを活用してデータドリブンなアプリケーションやユースケースでビジネスを変革することをサポートするものです。 今回の事業拡大は、カタールにおける当社の広範な関係を基盤としています。今月初め、カタール投資庁（QIA）は、ポストマネー評価額が430億ドルとなったDatabricksの シリーズI を通じて同社に投資
データ文化の構築により、チームのパフォーマンスを向上させる方法
データ文化の定義は組織によって異なります。データ文化とは、組織がデータ中心になることを可能にする、共有された価値観、態度、行動のことです。Databricksでは、洞察の獲得、データ主導の意思決定、ビジネスパフォーマンスの向上、AIの実現を通じてデータ文化を考えています。データ文化を持つことはデータエグゼクティブの間で一般的なトピックになりつつありますが、多くの組織はまだそこに至っていません。 業績を加速する上でデータ中心の文化を持つことの重要性を示す研究は数多くあります。 Forrester 社は、「意思決定のための洞察力を高めるためにデータを使用している組織は、2桁成長を達成する可能性が約3倍高い」と述べています。同様に MIT は、「データ重視の企業文化は、収益の増加、収益性の向上、経営効率の改善につながる」と述べています。 データ文化の醸成における課題 企業はデータ文化の構築が重要だと考えているかもしれませんが、それを成功に導くには多くの課題があります。最も一般的な落とし穴は、1）既存の労働力におけるデー
[ゲスト投稿:Tecton]レイクハウスにおけるリアルタイムの不正検知
不正行為の代償は計り知れない。 2022年には、不正行為の1つであるカード非携帯型不正行為が、米国だけで約60億ドルの損失をもたらした。 連邦取引委員会によると、米国における詐欺のトップ5は以下の通りである 1 ： 偽者 オンラインショッピング 賞品、懸賞、宝くじ 投資 ビジネスと仕事の機会 すでに多くの企業が、リアルタイムの不正防止と検知を大規模に自動化するためにAIを活用し始めている。 しかし、これは詐欺師が絶えず新しい方法を考え出し、発見をすり抜ける、猫とネズミのゲームなのだ。 AIモデルは常に進化し、最も新鮮なデータを入力として取り込む必要があるため、機能の鮮度とモデル開発のスピードが成功に不可欠となる。 このブログでは、Tecton on Databricksを活用してリアルタイム不正検知システムを構築するための主な方法をご紹介する。 最後に実際の例をいくつか挙げているので、読んでみてほしい！ MLフィーチャーパイプラインの拡張 不正は、膨大で大量のネットワーク（1秒間に何千ものトランザクションがあると
『ラーニングフェスティバル』でデータ＋AIキャリアを加速させましょう
データ＋AIのキャリアを加速させるロールベースの学習を通じたスキルアップ Databricksは、データ、アナリティクス、AIの各分野における学習者向けの技術トレーニングの作成と反復に長年を費やし、スキルアップや再スキルを目指す個人、チーム、組織がアクセスしやすく適切なコンテンツを利用できるようにしています。 データ、アナリティクス、AIにおけるAI/MLと役割の爆発的な増加に伴い、多くの組織で新しいテクノロジーを採用する必要性が加速しています。 2022年から2025年にかけて、AIに関わる 9,700万件の雇用が 創出されると予測されています。 これは、スケーラブルな方法で人材をスキルアップさせるというユニークな課題を提示しています。 Databricksの『ラーニングフェスティバル』であなたのキャリアを高めよう Databricksのバーチャルラーニングフェスティバルは、データエンジニアリング、データサイエンス、データアナリティクスの各コースを、 お客様、見込み客、パートナーの ために構築し、スキルアップと
レイクハウスからデータを活性化： Databricks VenturesがHightouchに投資した理由
翻訳：Saki Kitaoka. - Original Blog Link 現代の企業がデータへの投資を倍増させていることは周知の事実です。データへの投資は、あらゆる業種・業界の企業にとって競争力をもたらす深い顧客インサイトを明らかにするものです。 私たちは、レイクハウスが組織の中心に位置し、企業がビジネスチームの日常業務でこれらのインサイトを活用できるようになる未来を確信しています。そのため、Databricks Venturesは本日、データ活性化プラットフォームのリーディングカンパニーであるHightouchへの戦略的投資( strategic investment in Hightouch )を発表しました。この投資は、Hightouchの最近の $38 million funding round の一部であり、私たちのパートナーシップを拡大し、 the Databricks Lakehouse 上でネイティブに構築された...
Databricks + MosaicML
翻訳：Junichi Maruyama. - Original Blog Link 本日、私たちはMosaicMLの買収を完了したことをお伝えできることを嬉しく思います。MosaicMLは、企業向けにジェネレーティブAIモデルを作成し、カスタマイズするための先進的なプラットフォームです。Databricksの創業以来、私たちのミッションは、あらゆる企業のためにデータとAIを民主化することでした。MosaicMLと共に、ジェネレーティブAIアプリケーションのトレーニング、カスタマイズ、デプロイのためのクラス最高のエクスペリエンスを提供する予定です。 私たちはMosaicMLチームと協力し、ジェネレーティブAIを企業の主流にするために必要な3つの最も重要な開発を加速させます： モデル能力の迅速な民主化： 私たちは、すべての企業がモデルを広く利用できる未来を確信しています。あらゆるテクノロジーの民主化には、価格の引き下げとアクセスの向上が必要です。MosaicMLチームは、大規模な言語モデルのトレーニングとカスタマイズ