キャピタルマーケットのための生成AI戦略
財務評価と比較分析 ヘッジファンド、マーケットメーカー、年金基金などのキャピタルマーケットに特化した金融機関は、これまでも最新の分析手法や新しいオルタナティブデータの導入に積極的でした。この競争の激しい業界では、成功者はより広範なデータを迅速に要約し、それに基づいて 行動することで「アルファ」を獲得しています。 生成AI（Gen AI）の成熟は、金融サービス業界全体で注目されており、買い手側と売り手側の間に長く存在していたデータの格差は急速に縮まっています。リーダーたちは、大規模な言語モデル（LLM）やAI技術が、金融アナリストチームを強化するために大きな価値をもたらすことを認識しています。多くの企業が、データサイエンス部門から生まれた概念実証や限定的なパイロットプロジェクトに、すでに意欲的に投資を行っています。今日、「アルファ」を獲得するための戦いは、早期に正しい情報を手に入れるだけでなく、技術的なパイロットをいち早くビジネスユーザーが信頼して活用できる企業向けアプリケーションに変換する能力にも依存しています。
Databricksデータインテリジェンスプラットフォームで実現する責任あるAI
人工知能（AI）の変革的な可能性は明白です。生産性の向上、コスト削減、そしてあらゆる業界での意思決定の改善に至るまで、AIはバリューチェーンを革新しています。特に2022年後半からの生成AIの登場、特にChatGPTのリリース以来、この技術に対する市場の関心と熱意はさらに高まっています。 McKinsey and Co. によると、生成AIの経済的潜在能力、つまりAIによって可能になるユースケースや労働者の生産性は、世界経済に17兆ドルから26兆ドルの価値をもたらす可能性があるとされています。 この結果として、ますます多くの企業が、競争優位性を築くためにAIをビジネス戦略の中心に据えようとしています。 ゴールドマン・サックス 経済研究所は、2025年までにAIへの投資が米国で1,000億ドル、世界全体で2,000億ドルに達する可能性があると予測しています。 しかし、企業がAIを導入する際には、AIの目標に対する信頼を確立するために、品質、セキュリティ、およびガバナンスをカバーする責任あるAIの実践を優先することが
Databricksにおけるマルチモデル予測のためのフレームワーク
はじめに 時系列予測は、多くの企業における在庫管理や需要管理の基盤となっています。過去のデータと予測される条件を組み合わせて、企業は売上や販売数量を予測し、期待される需要に応じてリソースを配分します。このような基本的な作業であるため、企業は常に予測の精度を向上させる方法を探求しています。これにより、適切なタイミングで適切な場所にちょうど良い量のリソースを配置し、資本の無駄遣いを最小限に抑えることができます。 多くの組織が直面する課題は、利用可能な予測手法の幅広さです。古典的な統計手法、一般化加法モデル、機械学習や深層学習に基づくアプローチ、そして最近では事前学習された生成的AIトランスフォーマーなど、選択肢が非常に多く、シナリオによってはある手法が他の手法よりも優れていることがあります。 多くのモデル開発者は、ベースラインのデータセットに対して予測精度の向上を 主張しますが、実際にはドメイン知識やビジネス要件によって、選択肢は数種類に絞られます。その上で、実際のデータセットに適用し評価することで、どのモデルが最適か
主キーと外部キー制約が一般提供開始：クエリの高速化を実現
Databricksは、Databricks Runtime 15.2およびDatabricks SQL 2024.30から始まる主キー（PK）および外部キー（FK）制約の一般提供（GA）を発表することを大変嬉しく思います。このリリースは、毎週数百のアクティブな顧客によって受け入れられた非常に成功したパブリックプレビューに続き、レイクハウス内のデータ整合性とリレーショナルデータ管理の強化における重要なマイルストーンをさらに表しています。 さらに、Databricksはこれらの制約を使用してクエリを最適化し、クエリプランから不要な操作を排除することができ、パフォーマンスを大幅に向上させることができます。 主キーと外部キー制約 主キー（PK）と外部キー（FK）は、リレーショナルデータベースの基本的な構成要素であり、データモデリングの基礎を形成します。これらは、スキーマ内のデータ関係についての情報をユーザー、ツール、アプリケーションに提供し、制約を活用した最適化を可能にし、クエリの速度を向上させます。主キーと外部キーは
Databricks における Databricks：Unity Catalog でガバナンスへの旅を始める
Databricks のデータ プラットフォーム チームとして、私たちは独自のプラットフォームを活用して、直感的で構成可能な包括的なデータおよび AI プラットフォームを社内のデータ担当者に提供し、彼らが安全に使用状況を分析し、製品とビジネス オペレーションを改善できるようにしています。 当社は成長するにつれて、安全でコンプライアンスに準拠した費用対効果の高いデータ運用を可能にするデータガバナンスを確立することに特に意欲を持っています。 何千人もの従業員と何百ものチームがデータを分析しているため、大規模なデータガバナンスと継続的なコンプライアンスを達成するには、一貫した基準を構築して実装する必要があります。 当社では、2022 年 8 月に一般公開された Unity Catalog (UC) を標準的なガバナンスプラクティスを確立するための基盤と して特定し、社内レイクハウスの 100% を Unity Catalog に移行することが会社の最優先事項となりました。 データガバナンスを実現するために...
通信業界向け！Databricksで構築する産業IoTとM2Mソリューション
通信業界は、急速な技術の進歩と進化する市場動向により、大きな変化を遂げています。 通信サービス プロバイダー (CSP) は、顧客向けのモニタリングと最適化、およびパーソナライズされたエクスペリエンスのためにネットワークを管理するためのさまざまなソリューションを構築します。 CSP による 5G ネットワークの導入が進み、自動車、製造、小売、医療、物流などの業界全体で IoT (モノのインターネット) や M2M (マシン ツー マシン) ソリューションに多額の投資が行われる中、CSP は追加のソリューションやサービスでネットワークを収益化することで収益を増加できる独自の立場にあります。 このブログでは、Databricks を使用した IoT および M2M...
オープンソースAIの新標準：DatabricksでMeta Llama 3.1が利用可能に
当社は Meta と提携して Databricks 上で Llama 3.1 シリーズのモデルをリリースし、強力なオープン モデルの標準をさらに前進させられることを嬉しく思います。Llama 3.1 を使用すると、企業は所有権やカスタマイズを犠牲にすることなく、最高品質の GenAI アプリを構築できるようになります。 Databricks では、イノベーションを加速し、オープン言語モデルを使用してより安全なシステムを構築するという Meta の取り組みに賛同しており、新しいモデル スイートを初日からエンタープライズのお客様に提供できることを嬉しく思っています。 Llama 3.1 を Databricks 内にネイティブに統合し、顧客がこれを使用してアプリケーションを簡単に構築できるようにしました。...
生成AIモデルのファインチューニングが簡単に！Mosaic AI Model Trainingが登場
本日、Mosaic AIモデルトレーニングによる生成AIモデルの微調整サポートがパブリックプレビューで利用可能になったことをお知らせできることを嬉しく思います。Databricksでは、汎用LLM（大規模言語モデル）の知能と企業データの知識を結びつけること、すなわち「データインテリジェンス」が高品質な生成AI システム を構築する鍵であると考えています。ファインチューニングにより、モデルは特定のタスクやビジネスコンテキスト、専門知識に特化でき、RAG（再利用可能な生成）と 組み合わせ ることで、より正確なアプリケーションが可能になります。これにより、企業データを取り入れて生成AIを独自のニーズに適応させるための重要な柱となる「データインテリジェンスプラットフォーム戦略」が形成されます。 モデルトレーニング 私たちの顧客は昨年、20万以上のカスタムAIモデルをトレーニングしており、その経験を基にMosaic AI Model Trainingという完全マネージドサービスを開発しました。Llama 3、Mistral
データ駆動の品質革命！ナレッジグラフ＆生成AIでゲームを変える
Stardogナビン・シャルマとジョー・ピンデルとの共同執筆作品である。 業界を問わず、納品後の失敗に伴うコスト（リコール、保証請求、納品後の信用失墜など）の影響は甚大です。食品業界では、1件あたりの直接的なコストが1,000万ドルを超えることもあります。その影響は多面的で、売上の減少やブランドの評判へのダメージが伴います。ある推定によると、納品後の失敗による売上損失は、顧客1人あたりの平均収益の2,000倍以上に相当します。このような高リスクの状況で不十分な対応や遅いレスポンスが続くと、顧客は競合他社へと流れ、将来の成長を支える酸素を断たれることになります。そのため、品質の悪さによるコストは製造業にとって大きな財務負担であり、場合によっては運営コストの最大40%に達することもあります。 企業は品質問題の早期警告指標をもっと得たいと願っていますが、通常は顧客の苦情が増加した後に初めて問題を把握します。典型的な問題は次のようなものです：週末に顧客からの報告が急増し、製品の品質問題やブランドに対する不満が明らかになり
Databricksレイクハウスモニタリングで高品質な予測を確保する
予測モデルは、多くの企業が将来のトレンドを予測するために重要ですが、その精度は入力データの品質に大きく依存します。 データの品質が低いと、予測が不正確になり、最適な意思決定ができなくなる可能性があります。 ここで、 Databricksレイクハウスモニタリングが登場します。これは、予測モデルに流入するデータの品質とモデルのパフォーマンス自体の両方を監視するための統合ソリューションを提供します。 モニタリングは、予測モデルにとって特に重要です。 予測は時系列データを扱うため、データの時間的コンポーネントとシーケンシャルな性質により、複雑さが増します。 入力データの統計的プロパティが時間の経過とともに変化するデータ ドリフトなどの問題は、迅速に検出および対処しないと、予測精度を大幅に低下させる可能性があります。 さらに、予測モデルのパフォーマンスは、予測値と実際の値を比較する平均絶対パーセント誤差 (MAPE) などのメトリクスによって測定されることがよくあります。 ただし、グラウンド トゥルース値はすぐには利用でき