Databricksのサーバーレスコンピュートインフラは、3大クラウドプロバイダー上で毎日数百万台の仮想マシン（VM）を起動・管理しています。この規模で効率的にインフラを運用することは、大きな課題です。本日は、真のサーバーレス体験を実現するための最近の取り組みをご紹介します。これにより、コンピュートリソースだけでなく、Apache SparkクラスタやLLMの提供など、あらゆるデータとAIのワークロードを大規模に処理するための基盤システムが数秒で準備完了します。 私たちの知る限り、これほど多様なデータおよびAIワークロードを大規模に数秒以内で実行できるサーバーレスプラットフォームは他にありません。最大の課題は、VM環境を最適なパフォーマンスでセットアップするための時間とコストにあります。このセットアップには、さまざまなソフトウェアパッケージのインストールだけでなく、実行環境の十分なウォームアップも必要です。たとえば、Databricks Runtime（DBR）では、JVMのJITコンパイラをウォームアップするこ

"私たちはMLFlowトレーシングの機能をより深く探求しています。この機能は、パフォーマンスの問題を診断し、カスタマーコールサポートチャットボットからの応答の質を向上させるために重要な役割を果たします。さらに、私たちはいくつかのエキサイティングなプロジェクトに取り組んでいます。これには、私たちの野火LLMのフィードバックループを確立し、エージェントベースのRAGイニシアチブをより多く実装することが含まれます。私たちの目標は、LLMをXcel全体でよりアクセシブルにすることも含まれており、チームがタグ付け、感情分析、その他必要なアプリケーションなどのタスクにそれらを利用できるようにします。"- ブレイク・クラインハンス、シニアデータサイエンティスト、Xcel Energy 序章 Xcel Energy は、 コロラド州、ミシガン州、ミネソタ州、ニューメキシコ州、ノースダコタ州、サウスダコタ州、テキサス州、ウィスコンシン州の8つの州で340万人の電気顧客と190万人の天然ガス顧客にサービスを提供する主要な電気・天然ガ

はじめに データは力です。しかし、リテールバンキングにおいては、その力を行動可能なインサイトに変えると同時に、データセキュリティのリスクを慎重に管理することが求められます。金融機関は、機密データを保護しながらも、データの民主化を取り入れて顧客体験を向上させ、リスクを軽減し、イノベーションを推進するというバランスを取らなければなりません。 Sigma Computing は次世代の分析およびビジネスインテリジェンスプラットフォームとして、安全なアプローチを提供し、顧客セグメンテーションからリスク評価までのインサイトを銀行が活用できるようにします。そして、それを実現する際にセキュリティを妥協することはありません。 ここからは、DatabricksとSigma Computingがどのようにこれらの重要なユースケースを支援し、銀行がより賢く、安全な意思決定を行えるようにしているかを掘り下げていきます。 データインテリジェンスは銀行業界の新たな生命線 NubankのようなデジタルバンクやWiseやBrexのようなフィンテ

生成AIワールドカップの受賞者を発表します！ このイベントには、18か国以上から1,500人を超えるデータサイエンティストやAIエンジニアが参加しました。さまざまな業界の現実的な課題を解決するための革新的な生成AIソリューションが競い合う場となりました。 参加者たちは、Databricksの最先端技術である Mosaic AI を活用し、Model Serving、Vector Search、Databricks Notebooks、Databricks Appsなどを駆使して革新的なソリューションを構築しました。エントリー作品は、技術的な卓越性、創造性、そしてそれぞれの業界への潜在的な影響を基準に評価されました。 すべての提出物が驚くべき創意工夫を示しましたが、地域ごとに3チームが、現実のGenAI課題への優れたアプローチで際立っていました。ここに、生成AIワールドカップの受賞者を発表いたします！ グランプリとEMEAの勝者 🏆 : Exyte Exyteは、半導体、ライフサイエンス、データセンター産業を専門

急速に進化するAIの世界において、あらゆる業界の企業がその変革力を活用しようとしています。しかし、AIの成功した活用と導入には、単なる技術投資を超えた包括的なアプローチが求められます。最先端の技術を取り入れると同時に、戦略的なスキル開発とのバランスを取ることが必要です。データの質や管理が多くのリーダーにとって重要視される一方で、AI成功のカギとなるのは、しばしば見過ごされがちな「人」の要素です。適切な人材と組織文化を育て、AIの能力を効果的に統合し、大規模に活用できる体制を構築することが重要です。 MITスローン・マネジメント・レビューの最近の研究 によると、C-suite（経営幹部）の94％が技術投資を増やす計画を立てている一方で、そのうちスタッフのスキル向上に焦点を当てた投資はわずか26％に過ぎず、2023年時点で生成AIに関するトレーニングを全従業員に提供している企業は5％にとどまっています。このように、包括的なトレーニングプログラムと継続的な学習文化の重要性が明らかです。これにより、選ばれたプラットフォー

Databricks内で完全にホストおよび管理される Databricks Assistant のパブリックプレビューの提供を発表できることを嬉しく思います！このバージョンでは、AssistantはDatabricks Model Servingを支えるのと同じセキュアなインフラストラクチャを活用し、Databricksがホストするモデルのみを使用します。この強化により、すべてのお客様は、データ処理が確実にDatabricksアカウント内にとどまる形で、AI支援機能の恩恵を最大限に享受できます。 Databricks Assistant Databricks Assistant は、エンタープライズデータのための最高のAI支援生産性ツールを構築することを目指して開発されました。プレビュー以降の採用は驚くべきものでした。Assistantは、Databricksで最も急速に成長している機能の1つとなり、毎週17万人以上のユーザーが、コードの自動生成と修正、エラーのトラブルシューティング、さらには可視化とダッシュボー

私たちは、 Databricks Notebooks と AI/BI ダッシュボード間の新しい統合を発表することを嬉しく思います。これにより、ノートブックからの洞察を労力をかけずに共有可能な洗練されたダッシュボードに変換することができます。この機能は、Databricksプラットフォーム全体での作業に美しい、ローコードのダッシュボーディングを統合するための私たちの継続的な努力を反映しています。この統合により、ノートブックの分析をプロフェッショナルでインタラクティブなダッシュボードに表示し、 ビジネスユーザーやステークホルダーと簡単に共有する ことができます。これは組織全体で可能です。 この統合はどのように機能しますか？ この新機能により、クエリ、パラメータ、ビジュアライゼーションを完備したSQLノートブックセルをAI/BIダッシュボードに統合できます。ノートブックでデータ分析を開始する柔軟性と、AI/BIダッシュボードを通じて洞察を提示し、共有する簡便さを、実践者に提供します。 データアナリストとして、ノートブッ

私たちは、 Databricks Generative AI Startup Challenge のファイナリストを発表することを大変嬉しく思います。これは、Databricks Data Intelligence Platform上で生成AIの力を活用する革新的な初期スタートアップをスポットライトに当てるために設計されたコンペティションです。AWSとの協力のもと、このチャレンジは技術の限界を押し広げ、現実の問題を解決しようとする多くの参加者を引きつけました。賞金総額100万ドル以上と、3人の勝者に対する可能性のあるDatabricks Venturesの資金提供があるため、非常に大きな賞金となっています。 ファイナリストをご紹介します 厳格な選考プロセスを経て、以下の4つのスタートアップを最終候補として発表します。 ChipStack ChipStack は、今日のテクノロジーにおける最も重要な課題の一つ、つまり複雑な半導体チップをより速く、より良く構築する方法に取り組んでいます。生成AIの力を活用して、Chi

統計の予測最適化のゲーテッドパブリックプレビューを発表できることを嬉しく思います。Data + AI Summitで発表された 予測最適化 （ Predictive Optimization ） は、最適化プロセスを効率化するためのAI駆動のアプローチとして一般提供されています。予測最適化は現在、 重要なデータ レイアウトとクリーンアップ タスクをサポートしており、ユーザーからの早期フィードバックでは、日常的なデータ メンテナンスを大幅に簡素化する効果が高く評価されています。 自動統計管理の追加により、予測最適化は次のような進歩を通じて顧客に価値を提供し、操作を簡素化します。 データスキップ統計のインテリジェントな選択により、列順序管理の必要性が排除されます クエリ最適化統計の自動収集により、データロード後にANALYZEを実行する必要がなくなります 収集された統計情報はクエリ実行戦略に役立ち、平均してパフォーマンスの向上とコストの削減につながります 統計の影響 最新の統計情報を利用することで、パフォーマンスと総