序章 4カ月前、AMDが ジェネレーティブAIのための有能なプラットフォームとして 登場し、AMD Instinct GPUを使用してLLMを簡単かつ効率的に訓練する方法を実証したことを紹介した。 今日、我々はヒットが続いていることに興奮している！ AMD GPUのコミュニティでの採用は拡大している： Laminiの ようなAIスタートアップは、AMD MI210およびMI250システムを使用して、カスタムLLMの微調整とデプロイを行っており、 Morehは 1200個のAMD MI250 GPUを使用して、同社のプラットフォーム上で221Bのパラメータ言語モデルをトレーニングすることができた。 さらに、 AI2のOLMoの ようなオープンソースのLLMも、AMD GPUの大規模クラスタ上でトレーニングされている。 一方、AMDでは、 ROCmソフトウェア・プラットフォームが バージョン5.4から5.7にアップグレードされ、FlashAttention用のROCmカーネルが...

翻訳：Ryo Hasegawa. - Original Blog Link ビジネスリーダーは皆、同じ質問をしています： データとAIに関する自社の計画を加速させるにはどうすればいいのか？ビジネスをリスクにさらすことなく、大規模な言語モデル（LLM）を活用するにはどうすればいいのか？そして、これらのシステムからできるだけ早く価値を得るにはどうすればいいのか？ 誰もが、誇大広告による混乱を回避し、自社のデータをどのように収益化し、前例のないスピードのテクノロジーを活用できるかを把握したいと考えています。より多くの業務を自動化し、より付加価値の高い業務に集中できるようにしたいからです。古いデータの照会にとどまらず、より良い未来像を得たいと考えています。セキュリティ・リスクを最小限に抑えながら、可能な限りコストを削減したい。そしてもちろん、今すぐ結果を出したいのです。 しかし、データとAIに関しては、成功のための戦略は企業ごとに異なるでしょう。私たちはDatabricksのフィールドCTOとして、データスタックをモダナ

翻訳：Ryo Hasegawa. - Original Blog Link このBlogシリーズの パート1 では、Databricksがどのように企業のデータとAIから価値を引き出すプロセスを開発、管理、運用を可能にするかについて説明しました。今回は、チーム構成、チームダイナミクス、責任について焦点を当てます。ターゲット・オペレーティング・モデル（TOM）を成功させるためには、組織内のさまざまな部署やチームが協力し合う必要があります。 Databricksに入社する前、私はコンサルティングに携わり、クラウドネイティブからオープンソースまで、様々な業界や様々なテクノロジースタックを使ってAIプロジェクトに携わってきました。基礎となるテクノロジーは異なりますが、これらのアプリケーションの開発と実行に関わる役割はほぼ同じでした。チーム内の1人が、作業の規模や複雑さに応じて複数の役割を担うことができることも事実です。 エンジニアリング、データサイエンス、アナリストのような異なるチームや異なる役割を持つ人々が、同じツール

翻訳：Ryo Hasegawa. - Original Blog Link Databricksのミッションは「データ分析とAIを民主化する」ことです。このステートメントは、データエキスパートの日常業務に意味を与えるだけでなく、今日のデータとAI分野において、スケールすることが難しいという現状を反映した適切なものと言えます。 McKinsey 、 Deloitte 、 Accenture などによる複数の独立した調査や研究ノートも、同じ結論を示しています。データとAIの需要と関心はかつてないほど高まっていますが、ほとんどの企業はデータとAIをスケールしてエンタープライズレベルの価値をを達成するのに苦労しているのは事実です。 2022年にアクセンチュアが発表した「 AI成熟に関するアート 」と呼ばれるレポートもそのひとつで、強力な競争優位性を実現し、データおよびAIの達成者と呼べる企業は、調査対象となった1,200社のうち、わずか12％に過ぎないことが示されました。つまり、88％の企業がデータとAIの本当の価値を引

翻訳：Junichi Maruyama. - Original Blog Link SAPが最近発表したDatabricksとの戦略的パートナーシップは、SAPの顧客の間で大きな興奮を呼んでいる。データとAIのエキスパートであるDatabricksは、SAP HANAとDatabricksを統合することで、アナリティクスとML/AI機能を活用するための魅力的な機会を提供します。このコラボレーションの大きな関心を受け、私たちはディープダイブ・ブログ・シリーズに着手することになりました。 多くのお客様のシナリオでは、SAP HANAシステムは、SAP CRM、SAP ERP/ECC、SAP BWなど、さまざまなソースシステムからのデータ基盤の主要なエンティティとして機能しています。そして今、この堅牢なSAP HANA分析サイドカーシステムをDatabricksとシームレスに統合し、組織のデータ機能をさらに強化するエキサイティングな可能性が生まれました。SAP HANA（HANA Enterprise Editionラ

翻訳：Saki Kitaoka. - Original Blog Link Databricks がデータ処理業者として国際標準化機構 (ISO) 27701 認証を取得したことをお知らせします。この認証は、プライバシーに対する当社のコミットメントを反映したものであり、顧客データを取り扱う際のDatabricksのプライバシー慣行について、第三者による検証をお客様に提供するものです。 ISO/IEC 27701:2019とは何ですか？ ISO 27701認証は、ISO/IEC 27001のプライバシー管理拡張版であり、組織のコンテキスト内でプライバシー情報管理システム（PIMS）を確立、実装、維持、および継続的に改善するためのガイダンスを提供します。この規格への準拠は、DatabricksのPIMSが欧州一般データ保護規則（GDPR）、カリフォルニア州消費者プライバシー法（CCPA）、およびその他のデータプライバシー規制への準拠をサポートしていることを示すものです。 Databricksの認定についてさらに詳しく

翻訳：Saki Kitaoka. - Original Blog Link データドリブンな企業にとって、データアナリストはデータから洞察を引き出し、それを意味のある形で提示する上で重要な役割を担っています。しかし、多くのアナリストは、本番用のワークロードを自動化するために必要なデータオーケストレーションに精通していない可能性があります。アドホックなクエリをいくつか実行すれば、直前のレポート用に適切なデータを迅速に作成できますが、データチームは、さまざまな処理、変換、検証タスクを適切な順序で確実に実行する必要があります。適切なオーケストレーションが行われないと、データチームはパイプラインの監視、障害のトラブルシューティング、依存関係の管理ができなくなります。その結果、当初は即効性のある価値をビジネスにもたらしたアドホックなクエリセットが、それらを構築したアナリストにとって長期的な頭痛の種になってしまいます。 パイプラインの自動化とオーケストレーションは、データの規模が大きくなり、パイプラインの複雑さが増すにつれて

翻訳：Saki Kitaoka. - Original Blog Link GoogleのVaswaniらによるトランスフォーマーに関する画期的な論文( seminal paper on transformers by Vaswani et. al. )が発表されて以来、大規模言語モデル（LLM）は生成AIの分野を支配するようになりました。間違いなく、OpenAIの ChatGPT の登場は、多くの必要な宣伝をもたらし、個人的な使用と企業のニーズを満たすものの両方で、LLMの使用に対する関心の高まりにつながりました。ここ数ヶ月の間に、Googleは Bard を、Metaは Llama 2 モデルをリリースし、大手テクノロジー企業による激しい競争を示しました。...

翻訳：Saki Kitaoka. - Original Blog Link AIモデルを導入してみたものの、実世界で予想外の結果が出たという経験はありませんか？ モデルのモニタリングは、そのデプロイと同じくらい重要です。そこで、AIモデルのモニタリングと診断を簡素化するInference Tablesをご紹介します。Inference Tablesを使用すると、 Databricks Model Serving エンドポイントからの入力と予測を継続的にキャプチャし、Unity Catalog Delta Tableに記録することができます。その後、Lakehouse Monitoringなどの既存のデータツールを活用して、AIモデルを監視、デバッグ、最適化できます。 推論テーブルは、LakehouseプラットフォームでAIを実行する際に得られる価値の素晴らしい例です。複雑さやコストを追加することなく、デプロイされたすべてのモデルでモニタリングを有効にすることができます。これにより、問題を早期に検出し、再トレーニン