ファインチューニングされたラマモデルに対するバッチ推論とMosaic AIモデル提供
序章 本番環境向け、スケーラブルでフォールトトレラントな生成型AIソリューションを構築するには、信頼性の高いLLMの利用可能性が必要です。あなたのLLMエンドポイントは、専用の計算をあなたのワークロードのために持つことで需要を満たす準備ができている必要があります。必要に応じて容量をスケーリン グし、一貫したレイテンシを持ち、すべてのインタラクションをログに記録する能力、そして予測可能な価格設定を持つことが求められます。このニーズを満たすために、Databricksは プロビジョニングされたスループットエンドポイント を、各種の高性能基盤モデル（全ての主要なラマモデル、DBRX、ミストラルなど）で提供しています。しかし、最新で最も性能の高い微調整されたLlama 3.1と3.2のバリアントを提供することはどうでしょうか？NVIDIAの Nemotron 70Bモデル は、Llama 3.1の微調整されたバリアントで、多様なベンチマークで競争力のあるパフォーマンスを示しています。Databricksの最近の革新により、
DatabricksがNVIDIA AIと高速コンピューティングでエンタープライズにAI革命を！ 🚀
人工知能（AI）とデータ分析の世界は、DatabricksとNVIDIAの協力により大きな推進力を得ることになります。この作業は、 DatabricksのMosaic AIプラットフォーム とNVIDIA AIの最先端の機能を組み合わせ、組織が大規模なAIとデータのワークフローを変革することを可能にします。 Mosaic AIの可能性を解き放つ Databricks Mosaic AIは、組織がデータレイクハウス上に高品質なエージェントシステムを構築し、デプロイすることを可能にします。これにより、エンタープライズデータを用いたモデルの安全なカスタマイズが可能となり、ドメイン固有の正確な結果を提供します。Mosaic AIは、オープンソースまたは商用モデルとシームレスに接続し、出力を評価し最適化するためのツールを提供し、迅速な開発ワークフローを実現します。データとAIモデル全体にわたる堅牢なガバナンスにより、顧客はAIアプリケーションとその出力に対する完全な可視性と制御を得ることができます。 NVIDIA Blac
Databricksが2024年AWSパートナーオブザイヤー賞を4部門で受賞しました 🎉
Databricksが2024年AWSパートナーオブザイヤー賞で複数の部門を受賞したことをお知らせできるのを大変嬉しく思います！✨ これらの受賞は、AWSとの強力なパートナーシップと、世界中のお客様に革新を提供し続ける当社の取り組みが評価された結果です。 以下の部門で特に高く評価されました： 🏆 受賞部門 インフラストラクチャ技術パートナーオブザイヤー 業界パートナーオブザイヤー - 広告 & マーケティングテクノロジー (AMT) 業界パートナーオブザイヤー - 消費財 航空宇宙 & 衛星技術パートナーオブザイヤー 🎖️ ファイナリスト部門 データ & 分析技術パートナーオブザイヤー...
予測型最適化でクエリが高速化＆TCO削減を自動で実現！
予測型最適化（Predictive Optimization, PO）は、データレイアウトをインテリジェントに最適化することで、Unity Catalogマネージドテーブルのパフォーマンスを向上させ、クエリ速度の大幅な改善とストレージコストの削減を実現します。一般提供開始以来、2,400社以上の顧客がPOを活用し、標準でデータレイアウトの自動最適化を実現しています。その成果は驚くべきものです。POは約14PBのデータを圧縮し、130PB以上のデータを効果的にクリーンアップ （バキューム）しました。この実績は、大規模なデータボリュームを効率的に管理・最適化できる能力を証明しています。 レイクハウスアーキテクチャ における予測型最適化が、ストレージコストを2倍削減し、クエリパフォーマンスを最大20倍向上させる方法をご覧ください。 予測型最適化: レイクハウス向け初のデータインテリジェンスメンテナンスソリューション Databricksの予測型最適化（Predictive Optimization）は、Unity Cat
クロスプラットフォームにおけるビューの共有がパブリックプレビューに なりました🚀
クロスプラットフォームにおけるビューの共有のパブリックプレビューを発表できることを嬉しく思います。 本日より利用可能なこの機能により、データプロバイダーは異なるプラットフォーム、クラウド、リージョン間でビューを共有できるようになり、オープンで相互運用可能なデータエコシステムを促進します。 ビュー共有はこれまでも便利な機能として利用されてきましたが、他のベンダーが提供する機能は同一プラットフォーム内に限定されることがほとんどでした。つまり、1つのプラットフォーム内でビューを共有することはできても、複数のプラットフォームやクラウド間での共有はできませんでした。この課題を解決するのが、Databricksのクロスプラットフォームビュー共有です。この機能を使用することで、異なる環境間でビューをシームレスに共有できるようになります。これは、データプロバイダーの影響範囲を広げるだけでなく、データ消費者にとってのベンダーロックインを回避し、コラボレーションをより簡単かつ迅速にする画期的な進化です。 クロスプラットフォーム共有は
製造業を変革する自動化されたワークフローの革命とは？
現代の製造業者にとって、効率化され自動化されたワークフローは、手動データ管理や設備のダウンタイムなどの課題を克服するために不可欠です。自動化されたワークフローを活用し、予測保守を可能に することで、製造業者は非効率性と廃棄物を減らすリアルタイムの生産洞察を得ることができます。データのサイロ化の排除と分析のスケーリング能力は、より良い意思決定を可能にし、増大する運用データの量をサポートします。データ駆動の風景では、自動化されたワークフローはビジネス成功のために不可欠となり、データ実践者が反応的な問題解決から積極的なイノベーションへとシフトすることを可能にします。 Databricks Workflows は、データ、分析、AIの統一されたオーケストレーションツールで、ETL、分析、機械学習パイプラインの自動化ワークフローを簡単に定義、管理、監視することで、データチームの増大する要求に対応するのに役立ちます。データインテリジェンスプラットフォームと完全に統合されたWorkflowsは、シンプルなワークフロー定義体験、高
マネージドAzureリソースへのアウトバウンドアクセスを包括的にカバーするAzure Private Linkの提供開始を発表！
Azure Private LinkがDatabricksサーバーレスおよびMosaic AIモデル提供ワークロード向けに一般提供（GA）となったことをお知らせします！ こ れにより、Databricks SQL、Jobs、Notebooks、Delta Live Tables、Mosaic AIモデル提供のCPU/GPUエンドポイントから、Azure Data Lake Storage（ADLS）やマネージドAzureリソースへのプライベート接続が可能になります。また、本日、Azure OpenAIやAzure SQLなど、 60以上のAzureファーストパーティリソース への新たなサポートも導入しました。今年初めに発表した DBSQLウェアハウスからAzure Storageへのプライベートリンクサポート に加え、さらに強化された内容となっています。 Azure Private Link は、クラウドストレージ、シークレット、SQLデータベース、AIモデルなどの顧客リソースへのアウトバウンドアクセスにおいて、パ
ノートブックの洞察をAI/BIダッシュボードで提示・共有する方法
私たちは、 Databricks Notebooks と AI/BI ダッシュボード間の新しい統合を発表することを嬉しく思います。これにより、ノートブックからの洞察を労力をかけずに共有可能な洗練されたダッシュボードに変換することができます。この機能は、Databricksプラットフォーム全体での作業に美しい、ローコードのダッシュボーディングを統合するための私たちの継続的な努力を反映しています。この統合により、ノートブックの分析をプロフェッショナルでインタラクティブなダッシュボードに表示し、 ビジネスユーザーやステークホルダーと簡単に共 有する ことができます。これは組織全体で可能です。 この統合はどのように機能しますか？ この新機能により、クエリ、パラメータ、ビジュアライゼーションを完備したSQLノートブックセルをAI/BIダッシュボードに統合できます。ノートブックでデータ分析を開始する柔軟性と、AI/BIダッシュボードを通じて洞察を提示し、共有する簡便さを、実践者に提供します。 データアナリストとして、ノートブッ
統計の予測最適化を発表
統計の予測最適化のゲーテッドパブリックプレビューを発表できることを嬉しく思います。Data + AI Summitで発表された 予測最適化 （ Predictive Optimization ） は、最適化プロセスを効率化するためのAI駆動のアプローチとして一般提供されています。予測最適化は現在、 重要なデータ レイアウトとクリーンアップ タスクをサポートしており、ユーザーからの早期フィードバックでは、日常的なデータ メンテナンスを大幅に簡素化する効果が高く評価されています。 自動統計管理の追加により、予測最適化は次のような進歩を通じて顧客に価値を提供し、操作を簡素化します。 データスキップ統計のインテリジェントな選択により、列順序管理の必要性が排除されます クエリ最適化統計の自動収集により、デー タロード後にANALYZEを実行する必要がなくなります 収集された統計情報はクエリ実行戦略に役立ち、平均してパフォーマンスの向上とコストの削減につながります 統計の影響 最新の統計情報を利用することで、パフォーマンスと総
UCXを使用したUnity Catalogアップグレードワークフローの自動化
組織がデータとAIのニーズに対してDatabricks Data Intelligence Platformをますます活用するにつれて、 Unity Catalog へのアップグレードは、プラットフォームの全潜在能力を引き出すための発見、ガバナンス、セキュリティを強化するための重要なステップです。Databricks Labsが開発した強力なツールであるUCXは、この遷移を自動化することでアップグレードプロセスを簡素化し、よりスムーズで効率的な旅を保証します。このブログでは、Unity Catalogへのアップグレード計画にUCXがどのように強力なパートナーとなるかを示します。 UCXとは？ UCX は、組織が非Unity CatalogワークスペースをUnity Catalogにアップグレードするのを支援するために設計されたオープンソースのDatabricks Labsプロジェクトです。このようなアップグレードの複雑さを直接理解している経験豊富なDatabricksの専門家チームによって開発されたUCXは、この