オープンAPIを用いてUnity Catalogのアセットに外部から安全にアクセスする
Unity CatalogのオープンAPI向けの資格情報の発行（クレデンシャルベンディング）のパブリックプレビューを発表できることを嬉しく思います。これにより、外部クライアントがオープンソースのUnity REST APIを通じてUnity Catalogの外部およびマネージドテーブルに安全にアクセスし、Iceberg REST Catalog APIを通じてUniForm対応テーブルにアクセスできるようになります。この機能は、Apache Spark™、DuckDB、Daft、PuppyGraph、StarRocks、Spice AI、Microsoft Fabric、Salesforce Data Cloud、Iceberg RESTカタログエンジンのようなTrinoやDremioなど、幅広いエンジンやツールとのシームレスな相互運用性を実現します。 データとAI資産のための業界唯一の統一されたオープンガバナンスソリューションとして、 Unity Catalog は、現代のデータとAIスタック全体での相互運用性
AIをよりアクセシブルに：Databricks上のMeta Llama 3.3で最大80％のコスト削減！
企業が高品質なAIアプリを提供するエージェントシステムを構築するにつれて、私たちはお客様に最高のコスト効率を提供するための最適化を続けています。Meta Llama 3.3モデルが Databricks Data Intelligence Platform で利用可能になったことを発表することを嬉しく思います。また、Mosaic AIの Model Serving の価格と効率性に大幅な更新が加えられました。これらの更新により、推論コストが最大80％削減され、AIエージェントを構築したり、バッチLLM処理を行っている企業にとって、以前よりも大幅にコスト効率が向上します。 コスト削減80%： 新しいLlama 3.3モデルと価格の引き下げにより、大幅なコスト削減を実現します。 推論速度の向上： レスポンスが40%速くなり、バッチ処理時間が短縮されることで、より良い顧客体験と迅速な洞察を実現します。 新しいMeta Llama 3.3モデルへのアクセス： Metaの最新技術を活用して、品質とパフォーマンスを向上させま
Unity Catalogに新機能！Hive MetastoreとAWS Glue Federationのパブリックプレビュー開始！
Hive Metastore（HMS）とAWS Glue Federationのパブリックプレビュー開始をお知らせします！ この新機能により、Unity CatalogはDatabricks内外に存在するHive MetastoreやAWS Glueに保存されたテーブルにシームレスにアクセスし、統一的なガバナンスを提供できるようになります。これは、Unity Catalogを通じてデータベース、データウェアハウス、カタログといった外部データソースを統一ガバナンスフレームワークの下にまとめる Lakehouse Federation ビジョンの重要な一歩となります。 形式や場所を問わず、すべてのデータを単一のプラットフォームから簡単に発見、ガバナンス、クエリ可能になり、組織全体のオープンなアクセスとコラボレーションを促進します。また、データインテリジェンスをすべてのデータソースに拡張することが可能になります。 このブログでは、HMSとAWS Glue Federationのメリット、仕組み、導入方法について解説しま
Databricks × AWS: re:Invent 2024を席巻した最強タッグ
素晴らしいパートナーシップとは何でしょうか？ DatabricksとAWSにとって、それは単に共に構築することだけではなく、ビジネスが共に成功することです。AWS re:Invent 2024では、このパワーハウスのデュオが大きく登場し、データとAIの革新の最前線に彼らの協力がある理由を証明しました。それは AWSのCEO、マット・ガーマンの基調講演 で強調されました。 今年はただ発表するだけでなく（たくさんありましたが）、DatabricksとAWSがどのように複雑な課題をよりシンプルで、より速く、より影響力のあるものにするかを世界に示すことでした。 AWS re:Invent 2024での圧倒的な存在感 Databricksは、参加者がre:Inventに到着した瞬間から声明を発表しました。空港の広告は、これから来るものの舞台を設定するために、感動的な顧客のストーリーを特集しました。ヴェネチアン・グランド・ラックスは、Databricksが会議、ハッピーアワー、NVIDIAがスポンサーの売り切れパーティー、そ
Databricks Generative AIパートナーアクセラレータとRAG PoC(Proof of Concepts: 実証実験) の紹介
今日の急速に進化する技術の風景では、生成型人工知能（GenAI）が組織の働き方を革新し、ビジネスに新たな可能性を開いています。最近の エコノミストの報告書 によると、1,100人の技術経営者、データエンジニア、データサイエンティスト、アーキテクトを対象に調査した結果、彼らのGenAIアプリケーションが製品化準備が整っていると考えているのはわずか37％です。主な課題は、サイロ、レイ テンシ、セキュリティなどのデータインフラストラクチャの問題であり、そのため、彼らのアプリケーションはビジネス特有の、正確で、よく管理された出力を提供することができません。 これらの課題に対処するため、組織は単一のモデルを展開することを超えて、包括的なエージェントシステムを展開しています。 それが私たちが Databricks Data Intelligence Platform を基盤にしたGenAIパートナーアクセラレーターの発表を楽しみにしている理由です。これは、組織がAIエージェントシステムを展開するのを助けます。これらのアクセラレ
ファインチューニングされたラマモデルに対するバッチ推論とMosaic AIモデル提供
序章 本番環境向け、スケーラブルでフォールトトレラントな生成型AIソリューションを構築するには、信頼性の高いLLMの利用可能性が必要です。あなたのLLMエンドポイントは、専用の計算をあなたのワークロードのために持つことで需要を満たす準備ができている必要があります。必要に応じて容量をスケーリングし、一貫したレイテンシを持ち、すべてのインタラクションをログに記録する能力、そして予測可能な価格設定を持つこ とが求められます。このニーズを満たすために、Databricksは プロビジョニングされたスループットエンドポイント を、各種の高性能基盤モデル（全ての主要なラマモデル、DBRX、ミストラルなど）で提供しています。しかし、最新で最も性能の高い微調整されたLlama 3.1と3.2のバリアントを提供することはどうでしょうか？NVIDIAの Nemotron 70Bモデル は、Llama 3.1の微調整されたバリアントで、多様なベンチマークで競争力のあるパフォーマンスを示しています。Databricksの最近の革新により、
DatabricksがNVIDIA AIと高速コンピューティングでエンタープライズにAI革命を！ 🚀
人工知能（AI）とデータ分析の世界は、DatabricksとNVIDIAの協力により大きな推進力を得ることになります。この作業は、 DatabricksのMosaic AIプラットフォーム とNVIDIA AIの最先端の機能を組み合わせ、組織が大規模なAIとデータのワークフローを変革 することを可能にします。 Mosaic AIの可能性を解き放つ Databricks Mosaic AIは、組織がデータレイクハウス上に高品質なエージェントシステムを構築し、デプロイすることを可能にします。これにより、エンタープライズデータを用いたモデルの安全なカスタマイズが可能となり、ドメイン固有の正確な結果を提供します。Mosaic AIは、オープンソースまたは商用モデルとシームレスに接続し、出力を評価し最適化するためのツールを提供し、迅速な開発ワークフローを実現します。データとAIモデル全体にわたる堅牢なガバナンスにより、顧客はAIアプリケーションとその出力に対する完全な可視性と制御を得ることができます。 NVIDIA Blac
Databricksが2024年AWSパートナーオブザイヤー賞を4部門で受賞しました 🎉
Databricksが2024年AWSパートナーオブザイヤー賞で複数の部門を受賞したことをお知らせできるのを大変嬉しく思います！✨ これらの受賞は、AWSとの強力なパートナーシップと、世界中のお客様に革新を提供し続ける当社の取り組みが評価された結果です。 以下の部門で特に高く評価されました： 🏆 受賞部門 インフラストラクチャ技術パートナーオブザイヤー 業界パートナーオブザイヤー - 広告 & マーケティングテクノロジー (AMT) 業界 パートナーオブザイヤー - 消費財 航空宇宙 & 衛星技術パートナーオブザイヤー 🎖️ ファイナリスト部門 データ & 分析技術パートナーオブザイヤー...
予測型最適化でクエリが高速化＆TCO削減を自動で実現！
予測型最適化（Predictive Optimization, PO）は、データレイアウトをインテリジェントに最適化することで、Unity Catalogマネージドテーブルのパフォーマンスを向上させ、クエリ速度の大幅な改善とストレージコストの削減を実現します。一般提供開始以来、2,400社以上の顧客がPOを活用し、標準でデータレイアウトの自動最適化を実現しています。その成果は驚くべきものです。POは約14PBのデータを圧縮し、130PB以上のデータを効果的にクリーンアップ（バキューム）しました。この実績は、大規模なデータボリュームを効率的に管理・最適化できる能力を証明しています 。 レイクハウスアーキテクチャ における予測型最適化が、ストレージコストを2倍削減し、クエリパフォーマンスを最大20倍向上させる方法をご覧ください。 予測型最適化: レイクハウス向け初のデータインテリジェンスメンテナンスソリューション Databricksの予測型最適化（Predictive Optimization）は、Unity Cat
クロスプラットフォームにおけるビューの共有がパブリックプレビューに なりました🚀
クロスプラットフォームにおけるビューの共有のパブリックプレビューを発表できることを嬉しく思います。 本日より利用可能なこの機能により、データプロバイダーは異なるプラットフォ ーム、クラウド、リージョン間でビューを共有できるようになり、オープンで相互運用可能なデータエコシステムを促進します。 ビュー共有はこれまでも便利な機能として利用されてきましたが、他のベンダーが提供する機能は同一プラットフォーム内に限定されることがほとんどでした。つまり、1つのプラットフォーム内でビューを共有することはできても、複数のプラットフォームやクラウド間での共有はできませんでした。この課題を解決するのが、Databricksのクロスプラットフォームビュー共有です。この機能を使用することで、異なる環境間でビューをシームレスに共有できるようになります。これは、データプロバイダーの影響範囲を広げるだけでなく、データ消費者にとってのベンダーロックインを回避し、コラボレーションをより簡単かつ迅速にする画期的な進化です。 クロスプラットフォーム共有は