Intel Gaudi 2 AIアクセラレーターによるLLMトレーニングと推論
Databricksでは、お客様がデータのプライバシーやコントロールを犠牲にすることなく、ご自身のデータでジェネレーティブAIアプリケーションを構築し、展開できるようにしたいと考えています。 カスタムAIモデルのトレーニングをご希望のお客様には、簡単かつ効率的に、低コストでトレーニングできるようお手伝いします。 この課題に対処するための1つの手段は、MLハードウェアの最適化です。この目的のために、私たちはLLMスタックが様々なMLハードウェアプラットフォーム（例えば、NVIDIA [1][2]、AMD [3][4]）をシームレスにサポートできるよう、たゆまぬ努力を続けてきました。 本日は、AIトレーニングおよび推論市場におけるもう1つの主役、Intel® Gaudi® AIアクセラレーター・ファミリーについてご紹介します！ これらのアクセラレータは、AWS（第一世代のGaudi）、Intel Developer Cloud（Gaudi 2）、およびオンプレミス実装の場合はSupermicroとWiWynn（Gau
PySparkによるパラメータ化クエリ
PySparkは常にデータを問い合わせるための素晴らしいSQLとPython APIを提供してきました。 Databricks Runtime 12.1とApache Spark 3.4の時点で、パラメータ化されたクエリは、Pythonicプログラミングパラダイムを使用してSQLでデータをクエリする安全で表現力豊かな方法をサポートしています。 この投稿では、PySparkでパラメータ化されたクエリを作成する方法と、それがあなたのコードにとって良いデザインパターンである場合について説明します。 パラメータは、Sparkコードの再利用やテストを容易にするのに役立ちます。 また、良いコーディングの実践も奨励しています。 この記事では、PySparkのクエリをパラメータ化する2つの異なる方法を示します： PySpark カスタム文字列フォーマット パラメータマーカー 両方のタイプのPySparkパラメータ付きクエリの使い方を見て、組み込みの機能が他の選択肢よりも優れている理由を探ってみましょう。 パラメータ化されたクエリ
『Databricks Assistant for Help 』のご紹介
Databricks Assistant は、Databricks Notebooks、SQLエディタ、およびファイルエディタに統合さ れたコンテキストを認識するAIアシスタントであり、 UnityカタログでAIが生成したドキュメントを提供 します。 Databricks Assistant for Helpは、AIを使って学習、探索、検索、トラブルシューティング、サポートを受けるための新しい方法です。ユーザーはAIを活用してDatabricksのドキュメントを検索し、機能やエラーに関する質問に答えることができます。また、追加のサポートが必要な場合、サポートチームとの連絡をサポートすることもできます。Databricks Assistant for Helpはどのページからもアクセス可能で、ユーザー名の隣にあるトップナビゲーションバーにあります。 質問をしてみましょう アシスタントに質問することで、製品について学んだり、Databricksでチューニングされた知識でサポートを受けることができます。これらの質問の構成
Databricksによる建築製品業界の異常検知のための機械学習の活用
序章 異常検知はさまざまな業界で広く応用されており、企業部門では重要な役割を果たしています。 こ のブログでは、製造業での応用に焦点を当てます。 シミュレーションされたプロセスサブシステムの健全性監視を中心としたケーススタディを探求します。 さらに、主成分分析（PCA）のような次元削減手法を掘り下げ、そのようなシステムを本番環境に導入した場合の実際の影響を検証します。 実際の例を分析することで、Databricksをツールとして活用し、このアプローチをどのようにスケールアップして、広範なセンサーデータから価値ある洞察を抽出できるかを実証します。 LPビルディングソリューションズ（LP）は、建築業界を形成してきた50年以上の実績を持つ木材製品製造会社です。 北米と南米で事業を展開するLP社は、耐湿性、耐火性、耐シロアリ性を備えた建築製品ソリューションを製造しています。 LP社では、環境・衛生・安全（EHS）データとともに、ペタバイト級の過去のプロセスデータが長年にわたって収集されてきました。 このような大量の履歴デー
Mixtral 8x7B と Databricks モデルサーヴィングのご紹介
reviewed by saki.kitaoka 本日、Databricksは モデルサーヴィングで Mixtral 8x7Bをサポートすることを発表します。Mixtral 8x7BはスパースなMixture of Experts（MoE）オープン言語モデルで、多くの最先端モデルを凌駕するか、あるいはそれに匹敵します。最大32kトークン（約50ページのテキスト）の長いコンテキストを処理する能力を持ち、そのMoEアーキテクチャはより高速な推論を提供するため、RAG（Retrieval-Augmented Generation）やその他の企業ユースケースに理想的です。 Databricks Model Servingは、 プロダクショングレードのエンタープライズ対応プラットフォーム 上で、オンデマンド価格でMixtral 8x7Bへの即時アクセスを提供します。毎秒数千のクエリをサポートし、シームレスな ベクターストア 統合、自動化された品質 モニタリング 、統合 ガバナンス 、アップタイムのSLAを提供します。このエ
Databricksは、2023年ガートナー®マジッククアドラント™クラウドデータベース管理システムのリーダーに選ばれました。
私たちは、GartnerがDatabricksを2023年のGartner® Magic Quadrant™ for Cloud Database Management Systemsで3年連続のリーダーと認識したことを発表することを嬉しく思います。今年、Gartnerは19のベンダーを評価し、私たちはAmazon Web Services、Google Cloud PlatformでのDatabricks Data Intelligence Platform、そしてMicrosoftのAzure Databricksとしての第一パーティ製品として認識されることを光栄に思います。 レポートの無料コピーを ここ からダウンロードしてください。 Databricksでは、お客様へのこだわりが引き続き私たちの革新と製品ロードマップを推進しており、 データインテリジェンスプラットフォーム を急速に拡大して、真にData +...
NVIDIA TensorRT-LLMとDatabricks推論スタックを統合する
この半年間、私たちはNVIDIAと協力して、彼らの新しいTensorRT-LLMライブラリを最大限に活用してきました。 TensorRT-LLMは、ウェブサーバと統合するための使いやすいPythonインタフェースを提供し、LLMによる高速で効率的な推論パフォーマンスを実現します。 この投稿では、NVIDIAとの協力が特に重要であった主要分野をいくつか紹介します。
Unity Catalogがもたらす価値は何か？
Reviewed by saki.kitaoka ガバナンスは、データとAI製品が正確なガイドラインと標準に従って一貫して開発され、維持されることを保証します。 アーキテクトのための設計図であり、一貫性、ガイドライン、標準によってソリューションとデータビジョンに命を吹き込みます。 反復可能なワークフロー管理により、データエンジニアのためのスケールとスピードを実現します。 データサイエンティストのためのAIモデルを共同で構築し、運用することで、スケールの大きな運用を可能にします。 データ資産を広く共有し、すべての人に利益をもたらすと同時に、必要なときには非公開にする、データ管理者のためのセキュリティです。 データとAI資産に基づくビジネス洞察の透明性を備えた、経営幹部にとっての信頼です。 また、 Databricks Unity Catalogを 使用することで、業務効率を高めることができます。 このブログでは、企業がユニファイド・ガバナンス・ソリューションを標準化する前に直面する多くの課題の概要を説明し、テクノロ
Databricksをユーザが容易に利用できるようにするために、新しいIDとアクセス管理の機能強化を発表
Databricks のセットアップとスケールを簡素化する新しいアイデンティティとアクセス管理機能をご紹介します。Unity Catalogは Databricks Data Intelligence Platform におけるガバナンスの中心にあります。Unity Catalogの一部であるIDおよびアクセス管理機能は、以下の原則に基づいて設計されています： オンボーディング、管理、コラボレーションのための、セキュアでスケーラブル、かつ汎用的なアイデンティティおよびアクセス管理を構築します。 直感的で拡張可能な監査対応パーミッションを使用して、顧客がDatabricksへのアクセスを容易に制御できるようにします。 ブラウザおよび API アクセスのための、ワールドクラスで拡張性の高い認証を開発し、顧客およびパートナーが Databricks Data Intelligence Platform のパワーをシンプルかつ安全に活用できるようにします。 このブログでは、既存のアイデンティティおよびアクセス管理機能につ
Databricksの小売業向けデータ・インテリジェンス・プラットフォームがNRF 2024に登場！
NRFでDatabricksのエグゼクティブ/ソートリーダーとのミーティングをリクエストしてください！ 毎年1月、世界中の小売企業のリーダー数千人が、ニューヨークのジャビッツ・センターに集い、リテールズ・ビッグ・ショーに参加します。NRFは、リーダーたちが同業者からソート・リーダーシップを聞き、パートナーと会い、イノベーションの世界で最新かつ最高のものを目にする機会です。 私たちは、AIがあらゆるところに活用されることを期 待しています。すでに多くの企業が、パンフレットだけではわからない顧客のマインドシェアを獲得するために、製品名をAIに適した名前に変更し始めています。しかし、クリエイティブなブランディングだけでなく、AIを単なるコンセプトから製品化することにも課題があるのが現実です。 そのため今年は、画期的なデータ・インテリジェンス技術を中心に多くの議論が交わされることが予想されます。適切なデータ・プラットフォームがあれば、AIは在庫プランナーから商品プランナーまで、あらゆる役割に真に民主化することができます。