Databricks SQLの新機能をチェック！
Databricks SQLがさらにシンプルに、速く、コストダウン！最新の新機能とパフォーマンス向上をお届けします。すでに7,000社以上の顧客がデータウェアハウスとして利用しており、Databricks史上最も急成長しているプロダクトです！ データウェアハウスの決定版 「レイクハウス」 Databricks SQLは、私たちが 2020年初頭 に提唱した レイクハウスアーキテクチャ に基づいて構築されています。このアプローチにより、コストが高く、独自仕様のデータウェアハウスはレガシーシステムになると予測し、実際に MIT Technology Insightsレポート では、74%の企業がすでにレイクハウスアーキテクチャを採用していることが示されています。多くの企業が利用するレイクハウスベースのデータプラットフォームは、最近発表された Forrester Wave for Data Lakehouses レポートでもレビューされ、Databricksは、現在の提供内容と戦略の両カテゴリで最高スコアを獲得し、リー
Databricks Partner Connectに最新の統合機能が登場！
私たちは、Databricks Partner Connectに3つの新しい統合が追加されたことを発表することを嬉しく思います。これは、パートナーのソリューションをあなたの Databricks Data Intelligence Platform のデータと統合し、ビジネスニーズに最適なものを簡単に実装できる一元化されたハブです。 私たちは、パートナーコネクトのデータガバナンス、データ取り込み、およびデータ準備と変換のカテゴリにパートナーを追加しました。 正確には、データガバナンスカテゴリーへの追加で、ユーザーはAIや分析の取り組みに不可欠な高いレベルのデータ品質と観測性を達成することができます。 Informaticaは、Partner ConnectのIngestionカテゴリーに現在存在し、シームレスなデータの取り込みと変換を促進します。 Alteryxは、Databricksとのデータ準備と変換機能を拡張し、AI駆動の洞察を加速し、ビジネスインテリジェンスプロセスを強化しました。 これらの統合により、組
Mosaic AI Gatewayに高度なセキュリティとガバナンス機能が登場！
私たちは、Mosaic AI Gatewayに新たな強力な機能を導入 できることを嬉しく思います。これにより、お客様がAIイニシアチブをさらに簡単に、そしてセキュリティやガバナンスを強化しながら加速させることが可能になります。 企業がAIソリューションの導入を急ぐ中で、セキュリティ、コンプライアンス、コストの管理がますます難しくなっています。そこで、昨年Mosaic AI Gatewayをリリースし、多くの企業がOpenAI GPT、Anthropic Claude、Meta Llamaモデルを含むさまざまなモデルのAIトラフィックを管理するために使用しています。 今回のアップデートでは、使用状況の追跡、ペイロードログの記録、ガードレール設定といった高度な機能が追加され、Databricksデータインテリジェンスプラットフォーム内のあらゆるAIモデルに対してセキュリティとガバナンスを適用できるようになりました。このリリースにより、Mosaic AI Gatewayは最も機密性の高いデータやトラフィックに対しても、プ
DatabricksとPineconeで実現する最先端RAGチャットボット構築
お客様と対話するインテリジェントなボットをビジネスに導入することを想像してみてください。チャットボットは一般的に、顧客と対話し、彼らに助けや情報を提供するために使用されます。しかし、通常のチャットボットは複雑な質 問に答えるのに苦労することがあります。 RAG とは Retrieval Augmented Generation (RAG) は、チャットボットが難しい質問を理解し、応答する能力を向上させる方法です。この生成AIデザインパターンは、大規模言語モデル（LLM）と外部知識の取得を組み合わせています。 これにより、リアルタイムデータを生成プロセス（推論時間）中にAIアプリケーションに統合することが可能になります。この文脈情報をLLMに提供することで、RAGは生成された出力の精度と品質を大幅に向上させます。 RAGを使用する利点の一部は次のとおりです： AIアプリケーションの精度と品質の向上: RAGがLLMにリアルタイムデータをコンテキストとして提供することで、AIアプリケーションの精度と品質が向上します。
よりパーソナライズされたマーケティングコンテンツの作成のための生成的AIワークフローの構築
パーソナライゼーションとスケールは、歴史的には相互に排他的でした。 ワン・トゥ・ワン・マーケティング や ハイパーパーソナライゼーション についての話題が多い一方で、私たちが作成できるマーケティングコンテンツの量には常に制限がありました。パーソナライゼーションは、マーケターの帯域幅が限られていたため、数万人または数十万人の顧客グループにコンテンツをカスタマイズすることを意味していました。生成的AIはそれを変え、コンテンツ作成のコストを下げ、スケールでのカスタマイズされたコンテンツを現実のものにします。 それを実現するために、私たちは製品の説明という標準的なコンテンツの単位を取り、顧客の好みと特性に基づいてカスタマイズするシンプルなワークフローを共有します。私たちの初期のアプローチはセグメントごとにカスタマイズするため、まだ本当のワン・トゥ・ワンではありませんが、より細かいコンテンツのバリエーションを作成する明確な可能性があり、近いうちにますます多くのマーケティングチームがこれらのアプローチを使用して、テーラーメイ
AI/BIダッシュボードの次世代インタラクティビティ
今年のData and AI Summitで最近 発表 されたように、 Databricks AI/BI は、非常に視覚的でインタラクティブなローコードAI/BIダッシュボードと、 AI/BI Genieによって駆動されるノーコード会話型分析を用いて、組織全体でビジネスインテリジェンスと分析を民主化します。このブログでは、AI/BIダッシュボードのパフォーマンスと対話性を向上させる新機能をいくつか紹介します。 これらの日々、非常にインタラクティブ（またはクリッ ク可能な）ビジネスインテリジェンスダッシュボードは必須です。これらは、ダッシュボードのユーザーがデータを動的に探索し、クリックごとに洞察をカスタマイズできるようにするため、不可欠です。これにより、ユーザーはデータに対するフォローアップの質問を行い、より早く、より情報に基づいた決定を下すことができます。これは、分析を通じて探索と問題解決を制限する静的なダッシュボードとは異なります。 このブログで取り上げる主な改善点は以下の通りです： クロスフィルタリング ：視
大規模データ取り込みの最適化方法
過去3ヶ月間、DatabricksのIngestionチームで製品管理インターンとして働く機会がありました。この期間中、私は データレイクハウスアーキテクチャ の理解を深める大規模で深く技術的なプロジェクトに取り組みました。私は、 LakeFlow Connect 、 Auto Loader 、 COPY INTO のような革新的な技術が、幅広いデータ形式とソースから効率的にデータを取り込む方法について、深く理解を深めることができました。この経験は、Databricksの文化的な原則が顧客のニーズを特定し、影響力のある解決策を作り出し、それを成功裏に市場に提供する能力を高めることで、私のプロダクトマネージャーとしての成長に変革をもたらしました。 Databricks Ingestionチーム データの取り込みは、よく データインテリジェンスプラットフォーム へのゲートウェイとなります。それはデータを単純かつ効率的に取り込むことに焦点を当てており、それが Unity Catalog や Workflows などの他
ゲームのためのLLMアシストセグメンテーション
セグメンテーションプロジェクトは、ゲームにおけるパーソナライゼーションの土台です。プレイヤー体験のパーソナライゼーションは、プレイヤーのエンゲージメントを最大化し、離脱を緩和し、プレイヤーの支出を増加させるのに役立ちます。パーソナライゼーションのメカニズムは、ネクストベストオファー、ゲーム内ストアの注文、難易度設定、マッチメイキング、サインポスト、マーケティング、再エンゲージメントなど、さまざまな形で存在します。理想的には、各プレイヤーの経験がユニークであることが望ましいですが、これは実現可能ではありません。代わりに、私たちはプレイヤーを一連のデータポイントでグループ化し、そのグループの体験をパーソナライズします。 このソリューションアクセラレータでは、まずLLMを活用して、特定のデータセットに対する適切なクラスタ数を決定します。まず、標準的で説明可能な機械学習技術、例えばK-meansクラスタリングを使用します。説明可能性は重要であり、クラスターへの信頼を築き、特定のプレイヤーに対してなぜその決定が下されたのか
重機メン テナンスへの洞察を革新するGenAI
重機械資産、例えば油田、農業用コンバイン、車両のフリートのメンテナンスは、グローバル企業にとって非常に複雑な課題をもたらします。これらの資産はしばしば世界中に広がっており、そのメンテナンススケジュールやライフサイクルは通常、企業全体のレベルで決定されます。主要なコンポーネントの故障は、1日あたり数百万ドルの収益損失をもたらすだけでなく、顧客への下流への影響も生じます。そのため、多くの企業が、これらの資産が毎日生成するテラバイト単位のデータから洞察を得るために、生成的AIに頼っています。これらの洞察は、停電を予測し、メンテナンス、修理、運用（MRO）のワークフローを改善することで、大幅 な時間とコストの節約を実現するのに役立ちます。 Kubrick は、 Databricksのコンサルティングパートナー として、業界を問わずクライアントと協力して、重機械のメンテナンス要件を予測し対応する能力を革新しています。これらの組織は、KubrickとDatabricksの技術と専門知識を活用することで、価値チェーン全体のビジネ
Databricksがエージェント評価の組み込みLLM判断に大幅な改善を発表
エージェント評価における改良された回答正確性判断機能 エージェント評価 は、Databricksの顧客がGenAIアプリケーションの品質を定義し、測定し、改善する方法を理解するのを可能にします。顧客データを扱う業界特有の文脈でのGenAIアプリケーションのML出力の品質を測定することは、新たな複雑さの次元 を持っています：入力は複雑なオープンエンドの質問を含むことがあり、出力は文字列マッチングメトリクスを使用して参照回答と簡単に比較できない長い形式の回答になることがあります。 エージェント評価は、2つの補完的なメカニズムでこの問題を解決します。最初の一つは、 組み込みのレビューUI で、人間の専門家がアプリケーションの異なるバージョンとチャットして生成されたレスポンスにフィードバックを提供することができます。二つ目は、 組み込みのLLMジャッジ のスイートで、自動的なフィードバックを提供し、評価プロセスを大量のテストケースにスケールアップすることができます。組み込みのLLMジャッジは、生成された回答が参照回答に対し