データウェアハウジングからデータインテリジェンスへ：データが主役となるまで
現在、生成 AI が注目を集めていますが、ほとんどの企業は10年以上前から、自社の業務において データインテリジェンス を実現するために取り組んできました。 統合されたデータ環境、より高速な処理速度、より堅牢なガバナンス - すべての改善は、企業が自社の情報をより有効活用するための一歩前進でした。現在では、あらゆる技術レベルのユーザーが自社のプライベートデータと対話できるようになっていま す。それは、ビジネスチームが自然言語でデータをクエリする場合でも、データサイエンティストが オープンソースの LLM を迅速かつ効率的にカスタマイズ する場合でも同様です。 しかし、データインテリジェンスの機能は進化し続けており、企業が今日確立する基盤は、今後10年間の成功を左右することになります。データウェアハウジングがどのようにしてデータインテリジェンスに変化したのか、そして次のステップは何かを見ていきましょう。 データの初期の時代 デジタル革命以前、企業はより遅く、より一定のペースで情報を収集していました。ほとんどすべてが
UCXを使用したUnity Catalogアップグレードワークフローの自動化
組織がデータとAIのニーズに対してDatabricks Data Intelligence Platformをますます活用するにつれて、 Unity Catalog へのアップグレードは、プラットフォームの全潜在能力を引き出すための発見、ガバナンス、セキュリティを強化するための重要なステップです。Databricks Labsが開発した強力なツールであるUCXは、この遷移を自動化することでアップグレードプロセスを簡素化し、よりスムーズで効率的な旅を保証します。このブログでは、Unity Catalogへのアップグレード計画にUCXがどのように強力なパートナーとなるかを示します。 UCXとは？ UCX は、組織が非Unity CatalogワークスペースをUnity Catalogにアップグレードするのを支援するために設計されたオープンソースのDatabricks Labsプロジェクトです。このようなアップグレードの複雑さを直接理解している経験豊富なDatabricksの専門家チームによって開発されたUCXは、この
Databricksのトレーニングは企業全体のデータ+AIのスキルギャップの解消に投資しています
データ+AIスキルギャップ 「スキルギャップ」は長年にわたりCEOやリーダーたちが懸念してきた問題で、そのギャップはますます広がっています。 McKinsey によると、全世界で最大3億7500万人の労働者が、企業のニーズを満たすために近いうちに職業を変える必要があるかもしれません。現在の労働力がどこにいるのかと、数年後に必要とされる場所との間には大きな隔たりがあります。この予想されるギャップを考慮に入れて、リーダーたちは自分たちの労働力のスキルアップと再教育に焦点を当てる必要があります。このスキルギャップは、データ+AIの急速な技術進歩とともに特に感じられます。 Databricksトレーニングが組織に与える影響 最近の調査で、数百人のチームリーダーや人事マネージャーに、Databricksのトレーニングが彼らのチームや組織にどのような影響を与えているかを定量化してもらいました。コスト削減から効率向上、新たなビジネス問題の解決能力に至るまで、さまざまな指標を通じて、チームリーダーはDatabricksのトレーニ
AWS re:InventでDatabricksを活用する5つの方法
Databricksは、 AWS re:Invent 2024 でデータとAIソリューション以外にも多くのものを提供します。ハンズオンデモや刺激的なセッション、ネットワーキングイベント、そして限定スニーカーが当たるチャンスまで—今年のブースを必ず訪れるべき5つの理由をご紹介します。 1. ブース1820でデータとAIイノベーションの加速方法を学ぶ Databricksブースで、データとAIイノベーションの最新情報をご覧ください。当社の専門家が、Data Intelligence Platformについてご案内し、Databricksがどのようにデータの活用を加速できるかをご説明します。デモステーションでは、以下の実践的な例をご覧いただけます： 迅速な洞察を得るための データウェアハウスとBI 高品質なAIアプリケーションを展開するための 生成AI データコンプライアンスを効率化する 統合ガバナンス ブース1820にお立ち寄りいただき、AWS上のDatabricksがどのようにAIを世界に届けるお手伝いができるかを
現代の臨床試験データインテリジェンスプラットフォームの構築
データが医療の進歩の命綱となる時代において、臨床試験業界は重要な岐路に立たされています。臨床データ管理の現状は、イノベーションを阻害し、命を救う治療法の遅延を引き起こす可能性のある課題に満ちています。 今、我々は前例のない情報の洪水に直面しています。典型的なフェーズIII試験では、現在360万のデータポイントが生成され、これは15年前の3倍以上であり、毎年4000以上の新しい試験が承認されています。この結果、既存のデータプラットフォームはその負荷に耐えられなくなっています。これらの旧式なシステムは、データの孤立、統合の不十分さ、複雑さの極みといった特徴を持ち、研究者、患者、そして医学の進歩自体を阻害しています。この状況の緊急性は、厳しい統計によって強調されています：約80％の臨床試験が募集の課題により遅延または早期終了を迎えており、研究サイトの37％が十分な参加者を募集するのに苦労しています。 これらの非効率性は、製品の開発と発売が遅れるたびに、潜在的な損失が毎日60万ドルから800万ドルに達する という高額なコス
Providence Health：Databricks Mosaic AIを使用したML/AIプロジェクトのス ケーリング
Providence Healthの広範なネットワーク は50以上の病院と複数の州にまたがるその他の施設を包含しており、特定の部門内での患者数と日々の患者数を予測することは多くの課題を伴います。この情報は、短期および長期のスタッフニーズ、患者の転送、一般的な運用認識についての情報提供を行うために重要です。Databricksの採用初期段階では、Providenceは新しいリクエストを迅速に進め、探索を支援し、多くの場合初期の予測を提供するシンプルな基準患者数モデルを作成することを目指しました。また、この患者数をほぼリアルタイムで数千の部門をサポートするようにスケーリングするには一部の作業が必要だと認識しました。 私たちは、 Databricks Mosaic AI ツールの実装を開始しました Databricks AutoML を使用しています。スケジュールされたワークフローが実行されるたびに、数行のコードから自動的に予測を実行する能力を高く評価しました。AutoMLは詳細なモデル設定を必要とせず、データを初めて
エンタープライズAIの現状：先行導入企業が成功をけん引しています
生成型AIブームが最初に火をつけたとき、すべての企業がこの技術を急いで展開しました。多くの人々にとって、その興奮は依然として残っています。しかし、企業はまた、AIを生活に取り入れる際の課題を熱心に認識しています。そして、彼らは戦略を見直し、一般的な知識のLLMから、真のビジネス利益をもたらすことができる専門的なシステムに焦点を移しています。 私たちはエコノミストと協力して、AIが現実の世界でどのように機能しているかを理解しました。 エンタープライズAIの解放：機会と戦略 , これは1,100人のエグゼクティブとテクノロジスト、および28人のCスイートエグゼクティブを対象にした調査に基づいて、エンタープライズAIの現状について深く掘り下げた新しいレポートです。 その結果は、企業が組織内でAIをどのように戦略化しているかについて、私たちに多くを教えてくれます。一つは明らかです：各業界の「勝者」は、データ管理、セキュリティ、ガバナンス、文化、ドメイン固有の専門知識を包括するAIへの全体的なアプローチを取る者であり、最終
バッチおよびエージェントワークフローのための構造化出力の紹介
多くのAIのユースケースは、非構造化入力を構造化データに変換することに依存しています。開発者はますます、LLMを利用して生のドキュメントから構造化データを抽出し、APIソースからデータを取得するアシスタントを構築し、行動を起こすエージェントを作成しています。これらの各ユースケースでは、モデルが構造化された形式に従った出力を生成する必要があります。 今日、私たちは Structured Outputs をMosaic AI Model Servingに導入することを発表します。これは、提供されたJSONスキーマにオプションで準拠できるJSONオブジェクトを生成するための統一されたAPIです。この新機能は、LlamaのようなオープンなLLM、ファインチューニングされたモデル、OpenAIのGPT-4oのような外部LLMを含むすべてのタイプのモデルをサポートし、特定のユースケースに最適なモデルを選択する柔軟性を提供します。 Structured Outputs は、新たに導入された response_format とと
未来を守る：生成型AIの時代におけるAIエージェントシステムを保護するAIゲートウェイの役割
未来：ルールエンジンから指示に従うAIエージェントシステムへ 銀行や保険などのセクターでは、ルールエンジンは長い間、意思決定において重要な役割を果たしてきました。銀行口座の開設資格を決定したり、保険請求を承認したりするかどうか、これらのエンジンは事前に定義されたルールを適用してデータを処理し、自動的な決定を下します。これらのシステムが失敗すると、人間の主題専門家（SMEs）が例外処理を行います。 しかし、指示に従うGenAIモデルの出現は、ゲームを変えることになるでしょう。静的なルールエンジンに頼るのではなく、これらのモデルは特定のルールデータセットで訓練され、複雑な決定を動的に行うことができます。例えば、指示に従うモデルは、リアルタイムで顧客の金融履歴を評価し、ローン申請を承認または拒否することができます。ハードコーディングされたルールは必要ありません。データに基づいて決定を下す訓練されたモデルだけです。 この変化は、より大きな柔軟性と効率性をもたらしますが、 重要な問いを提起します： 伝統的なルールエンジンを置
DatabricksとMathworksを使用したMATLABおよびSimulinkモデルのスケーリング
あなたがヘルスケア、航空宇宙、製造業、政府などのどの業界から来ていても、ビッグデータという言葉は見知らぬものではないでしょう。しかし、そのデータが現在のMATLABまたはSimulinkモデルにどのように統合されるかは、今日あなたが直面している課題かもしれません。これが DatabricksとMathworkの パートナーシップ が2020年に構築され、顧客が大規模なデータからより迅速に有意義な洞察を得るための支援を続けている理由です。これにより、エンジニアは新しいコードを学ぶことなくMathworksでアルゴリズム/モデルの開発を続けることができ、Databricks Data Intelligence Platformを利用して、それらのモデルをスケールしてデータ分析を行い、モデルを反復的に訓練しテストすることができます。 例えば、製造業では、予測保守が重要なアプリケーションです。エンジニアは、MATLABの高度なアルゴリズムを利用して機械データを分析し、潜在的な設備の故障を驚くほど正確に予測することができます