M Scienceはオルタナティブデータを実用的な洞察に変える
機関投資家が利用できるデータセットは何千とあり、それぞれのデータセットが投資の意思決定において重要な洞察を解き明かすと期待されています。 何千ものデータセットと、それらの多くの潜在的なアプリケーション全体にわたって、多くの異なるスキーマ、バイアス、長所、欠点があります。 これらのデータセットを選択し、テストし、プロダクション化することは重要な仕事です。 最終的に投資家が求めているのは、データそのものではなく、データから得られる洞察です。 M Science社の使命は、オルタナティブ（代替）データに基づき、投資家の皆様に実用的な洞察を提供することです。 利用可能なデータを検討し、多くのデータをテストして有効性を判断し、企業のKPIを最も予測できるものを選択します。 このように厳選されたオルタナティブデータを使用し、書面調査、ダッシュボード、データフィードを通じてデータやデータ由来の製品を提供しています。 私たちは20年以上前、純粋にデータ駆動型の最初のリサーチプロバイダーとして、この使命を開始しました。 2000年
Databricks SQL Year in Review (Part 2)：SQLプログラミング機能に焦点をおいて
Databricksの サーバーレス・データウェアハウス、Databricks SQL の2023年の製品進化を紹介するブログシリーズへようこそ。 このパート2では、この1年間に提供されたSQLプログラミングの新機能の数々をご紹介します。 当然のことながら、すべてのSQL開発者は、より生産性を高め、より複雑なシナリオに簡単に取り組みたいと考えています。 これはすべてDatabricksのデータインテリジェンスプラットフォームの一部であり、 データウェアハウスと データレイクの長所を組み合わせたレイクハウスアーキテクチャに基づいて構築されています。 それでは、2023年のSQLプログラミングの目玉機能をご紹介します： ラテラル カラム エイリアス対応 コーヒーが体に良くないなら、なぜみんな飲むのですか？ ラテラルカラムサポートがそうです。 SQLの原則には反しますが、この機能を使えば、セレクトリスト内のSQL式の結果を、同じセレクトリスト内の次の式で参照することができるので、確かに便利です。 あなたは振り返り、SQL
NVIDIA H100 Tensor Core GPU上でのクオンタイズ(量子化)LLMの処理
量子化（クオンタイズ）とは、機械学習モデルをより小さく、より 高速にするためのテクニックです。Llama2-70B-Chatを量子化し、1秒間に2.2倍のトークンを生成する同等の品質のモデルを作成しました。 言語モデルが大きくなればなるほど、クエリにかかる時間は遅くなり（コストも高くなり）、GPUはより多くのパラメータをメモリからロードし、より多くの計算を実行しなければなりません。私たちのチームは、 LLMのパフォーマンスを 最適化するために数多くのテクニックを開発し、採用してきました。このブログポストでは、メモリフットプリントを減らし、より高速に実行するためにモデルの数値精度を下げる一般的なテクニックである量子化について説明します。Llama2-70B-ChatのようなLLMに量子化を適用すると、完全な16ビット精度で実行した場合と比較して、1秒あたり2.2倍のトークンを生成するモデルになります。重要なことは、モデルの品質が維持されていることを保証するために、量子化されたモデルを Gauntletモデル評価スイー
DatabricksにAIモデルの共有機能が新登場！
本日、 Databricks Delta Sharingと Databricks Marketplaceの 両方でAIモデルの共有が可能になったことを発表できることを嬉しく思います。 Delta Sharingを使用すると、クラウド、プラットフォーム、地域を越えて、組織内または外部でAIモデルを安全に共有し、提供することができます。 さらに、Databricks Marketplaceは、 John Snow Labsから 医療専門家をサポートするための60の新しい業界別AIモデルをリリースしました。 AIモデルの共有はパブリックプレビューで、Delta Sharingとマーケットプレイスで利用可能です。 Databricks Data Intelligence Platformは、モデル提供、AIトレーニング、モデル監視を含むエンドツーエンドの機械学習機能により、モデルの検索と共有を行う新しい機能をサポートします。 ジェネレーティブAIで高まるシェアリング需要に対応 ここ数カ月、DatabricksはDatab
データインテリジェンスプラットフォームへようこそ！：Databricks + Einblick
Databricksは、AIが企業のデータとの関わり方を変えると信じています 。 このようなわけで、 Einblick チームをDatabricksに迎え入れることになりました。 Einblick(アインブリック)は、マサチューセッツ工科大学とブラウン大学の研究者によって設立され、機械学習、ヒューマンコンピュータインタラクション、自然言語処理の境界を探る研究を行っています。 Einblickチームは過去4年間、ユーザーが たった一文でデータ問題を解決 できるAIネイティブコラボレーションプラットフォームを構築してきました。 DatabricksでEinblickの旅が続くことを楽しみにしています！ Einblick + データインテリジェンス ジェネレーティブAIの台頭が新世代のデータシステムを実現可能にしました：それが、 データ・インテリジェンス・プラットフォーム です。 旧世代のデータ・インフラストラクチャとは異なり、データ・インテリジェンス・プラットフォームは、専門家でないユーザーが洞察や情報にアクセスでき
データ& AIスキルを最新のサービスで向上させましょう：Databricks Academy Labsとブレンデッドラーニング
Databricks、実習ソリューションとコホート型学習を開始 データ＋AIのエキスパートから、 Databricks Academy Labsと ブレンデッド・ラーニングという 、実務家が最先端のテクノロジーを活用するための2つのユニークな方法を発表します。 Databricks Academy Labsは、Databricks環境におけるオンデマンドのハンズオンガイド付きラボ体験です。 ブレンデッド・ラーニングは、あらゆるスタイルの学習者に対応できるよう、自習型とインストラクターによる週1回のセッションの両方を組み合わせ、コースの修了と知識の定着を最適化します。 Databricks Academy Labsとブレンデッドラーニングを組み合わせることで、自分のペースで学習できるものから、実践的、体験的、コホートベースの学習まで、さまざまな学習オプションが可能になります。 これらのコースは、それぞれ異なる学習嗜好に対応し、実りある学習体験ができるよう特別に設計されています。 期間限定で、Databricksはこ
データエンジニアリングとストリーミングの最新動向 - 2024年1月
Databricksは このほど 、当社が開拓したレイクハウス・アーキテクチャの自然な進化形であるデータ・インテリジェンス・プラ ットフォームを発表しました。 データ・インテリジェンス・プラットフォームとは、組織固有のデータを深く理解し、誰でも簡単に必要なデータにアクセスし、ターンキー方式のカスタムAIアプリケーションを迅速に構築できるようにする、単一の統合プラットフォームという考え方です。 データインテリジェンスプラットフォーム上に構築されたすべてのダッシュボード、アプリ、およびモデルが適切に機能するには信頼できるデータが必要であり、信頼できるデータには最高のデータエンジニアリングプラクティスが必要です。 Databricksは 、 Spark 、 Delta Lake 、 ワークフロー 、 Delta Live Tables 、そして Databricks Assistantの ような新しいAI機能を通じて、データエンジニアにベストプラクティスを提供してきました。 AIの時代には、 データエンジニアリングのベス
🏆第1回 DatabricksアジアパシフィックLLMカップ優勝者発表🥇
Databricksがアジア太平洋地域で初めて開催した大規模言語モデル（LLM）カップの優勝者を発表できることを嬉しく思います。この大会には、10カ国以上の1,000人を超えるデータおよびAIの実務家が参加しました。 2023年10月から12月にかけて、参加者はDatabricksを使用してLLMを活用したアプリケーションを構築し、実際のビジネス課題を解決するために招待されました。 参加者を成功に導くため、ハッカソンに先立ち、LLM構築に関する自習型学習ワークショップと、Databricksのソリューションアーキテクトによる専用トレーニングを提供しました。 応募作品は、創造性、ビジネスへの適用可能性、関連性、取組みの完成度、LLMアーキテクチャの拡張性などに基づいて評価されました。 インパクトのあるプロジェクトが数多くあった中で、電気通信とサイバーセキュリティにおける組織の重要な課題に取り組む革新的なアイデアを持つ2つのチームが際立っていました。 受賞チームのイノベーションは、適切なテクノロジーによってチームがい
データインテリジェンスプラットフォームのための信頼できるデータを：Databricks VenturesがAnomaloに投資
信頼性が高く、正確で、信用できるデータは、企業におけるあらゆるデータアプリケーションにとって最も重要な要件です。 Databricksのお客様は、自動化された洞察と顧客体験のためにデータへの依存度を高めているため、デー タ品質は基本的に必要不可欠なものとなっています。 重要なことは、データ品質の問題が、データとAIの価値を最大化する上で、企業が直面する最大の障壁の1つであるということです。 最近の ある調査によると、IT意思決定者の91%が自社のデータ品質を向上させる必要があると考えており、77%が自社のビジネスデータに対する信頼が不足していると回答しています。 Databricks Venturesは、このような顧客の重要なニーズに対応するため、長年のデータ品質パートナーである Anomaloの シリーズBラウンドへの 投資を発表します。私たちがアノマロ・チームと知り合ったのは約3年前。 当初から、チームの優秀さ、革新的で使いやすい製品、技術革新のペース、そしてAnomaloのAIを搭載した自動品質監視機能を導入
業界初のジェネレーティブAIエンジニア学習パスウェイと認定資格を発表しました
本日、データおよびAIの実務家がジェネレーティブAIで成功するためのリソースを確保できるよう、業界初の ジェネレーティブAIエンジニアの 学習パスウェイと認定を発表します。 Databricksでは、ジェネレーティブAIが実務家と組織の革新と生産性向上に貢献し続けることを認識していますが、実務家が成功するためにはスキルアップと再スキルが必要です。 この新しいトレーニングは、データサイエンティスト、機械学習エンジニア、開発者がジェネレーティブAIの旅の途中で出会うための3つの学習コンポーネントで構成され、DatabricksジェネレーティブAIエンジニアアソシエイト認定試験でクライマックスを迎えます。 Generative AI Engineer Learning Pathway& 認定資格 ジェネレーティブAIのスキルアップの必要性 ジェネレーティブAIとその応用は急速に進歩し続けています。 ハーバード・ビジネス・レビュー』誌 は、このテクノロジーによって、これまでにない加速度的なペースで専門知識に対する