Original Blog : Spark Connect Available in Apache Spark 3.4 翻訳： junichi.maruyama 昨年、Data and AI SummitでSpark Connectが 紹介 されました。最近リリースされたApache SparkTM 3.4の一部として、Spark Connectは一般的に利用できるようになりました。また、最近Databricks ConnectをSpark...

Introducing MLflow 2.3: Enhanced with Native LLM Support and New Features 翻訳： junichi.maruyama MLflow は月間 1,300 万ダウンロードを超え、エンドツーエンドの MLOps の主要なプラットフォームとしての地位を確立しており、あらゆる規模のチームがバッチおよびリアルタイム推論用のモデルを追跡、共有、パッケージ化、およびデプロイできるようにしました。MLflowは、何千もの組織で日々採用され、多様なプロダクション機械学習アプリケーションを推進しており、産業界と学界から500人以上の貢献者からなる活発なコミュニティによって活発に開発されています。 今日、私たちはこのオープンソースの機械学習プラットフォームの最新版であるMLflow 2.3を発表することができ、大規模言語モデル（LLM）の管理・導入能力を向上させる革新的な機能が満載されていることに興奮しています。この強化されたLLMサポートは、以下のような形で提供さ

Original: How We Performed ETL on One Billion Records For Under $1 With Delta Live Tables 翻訳: junichi.maruyama 今日、DatabricksはETL（Extract、Transform、Load）の価格とパフォーマンスの新しい標準を打ち立てました。お客様は10年以上前からDatabricksをETLパイプラインに使用していますが、従来のETL技術を使用してEDW（Enterprise Data Warehouse）のディメンションモデルにデータを取り込む場合、クラス最高の価格とパフォーマンスを公式に実証しています。 そのために、データ統合、つまり一般にETLと呼ばれるもののための最初の業界標準ベンチマークである TPC-DI...

Original Blog : Introducing Apache Spark™ 3.4 for Databricks Runtime 13.0 　 (翻訳： junichi.maruyama ) 本日、 Databricks Runtime 13.0 の一部として、Databricks上で Apache Spark™ 3.4...

Original Blog : Retail in the Age of Generative AI 翻訳： junichi.maruyama Generative AI（生成AI）とは？ ChatGPTのような大規模言語モデル（LLM）は、Generative AI（生成AI）という大きなトピックとともに、最近大きな注目を集めている。ユーザーが提供したプロンプトに対して、一見思慮深く、十分な情報を持った、さらには人間のような応答を生成するその能力は、本当に驚くべきものです。多くの企業がこれらをゲームチェンジするテクノロジーとして認識しており、ChatGPTを開発したOpenAIのような組織は、この話題を利用して収益をあげています。 このAIの新しい波を理解するために、まずその定義から始めましょう。Generative AIとは、文章や画像、音楽など、一見独創的で新しい創造物を生み出すことができる技術です。これらのAIは、すでに行われたことを繰り返すだけではありません。大量の事例をもとに学習させたモデルは、人間が

Original Post： Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM 翻訳： Takaaki Yayoi 2週間前、ChatGPTのような人間のインタラクティブ性(指示追従性)を示すように、$30以下でトレーニングされた大規模言語モデル(LLM)である Dolly をリリースしました。本日、 研究と商用利用 にライセンスされた、人の手で生成された指示データセットでファインチューンされた、史上初のオープンソース、指示追従LLMである Dolly 2.0 をリリースします。...

Original Blog : Synthetic Data for Better Machine Learning 翻訳： junichi.maruyama この1年で最も話題になった、 ChatGPT や DALL-E のような生成AIの進化を試したことがある人も多いでしょう。これらのツールは、複雑なデータを消費し、より多くのデータを生成することで、驚くほど知的なもののように感じられるのです。これらやその他の新しいアイデア（ diffusion models 、 generative adversarial networks 、GAN）は、遊んでみると楽しく、恐ろしいとさえ感じます。...

Original Blog : The Executive’s Guide to Data, Analytics and AI Transformation, Part 2: Identify and prioritize use cases 翻訳： junichi.maruyama 本連載は、データおよびAIの変革イニシアチブを率いるシニアエグゼクティブと重要な洞察と戦術を共有するための複数回シリーズのパート2です。シリーズのパート1は こちら...

Original Blog : Announcing General Availability of Cluster Policies 翻訳： junichi.maruyama この度、クラスターポリシーが一般公開されることになりました。 Why Databricks cluster policies? Databricksのクラスタポリシーによって、管理者は以下のことが可能になります： エンドユーザーのクラスタ構成を制御することで、コストを抑えることができます。 エンドユーザーによるクラスタ作成の効率化 コスト管理のためにワークスペース全体にタグ付けを強制する。 Databricksは、個人利用、共有利用、ジョブという3つの一般的なユースケースに対して、あらかじめ設定されたクラスターポリシーを提供します。管理者は、独自のポリシーをカスタマイズしたり、あらかじめ設定されたオプションを編集することも可能です。 How to...