Original: Hybrid Cloud Solutions with Databricks and Dell ECS storage 翻訳: junichi.maruyama 先週行われたDell Technologies World 2023のオープニングキーノートから、デルとDatabricksの 戦略的パートナーシップの発表 がありましたのでご紹介します。私たちの共同のお客様は、パブリッククラウド、オンプレミス、プライベートクラウドを問わず、 Databricks Lakehouse Platform から Dell's...

Original: Unleashing the Power of the Databricks Marketplace for Media and Entertainment - featuring LiveRamp 翻訳: junichi.maruyama 今日のデータ主導の状況において、企業はデータを統合し、オーディエンスのプロフィールを豊かにする有意義なインサイトを導き出すという課題に直面しています。従来のデータ統合手法では、複雑さや非効率さを招き、うまくいかないことも少なくありません。しかし、新しい Databricks Marketplace で利用できる主要なデータ連携プラットフォームであるLiveRampと、Databricks Lakehouseの変革的な機能により、組織はデータ集約を簡素化し、データセット間のオーディエンスを容易に結びつけることができます。 データアグリゲーションへの挑戦...

Original: Adaptive Query Execution in Structured Streaming 翻訳: junichi.maruyama Databricks Runtimeでは、 Adaptive Query Execution (AQE) は、クエリ実行中にランタイム統計を使用してバッチクエリを継続的に再適正化するパフォーマンス機能です。Databricks Runtime 13.1以降、 ForeachBatch Sinkを使用するリアルタイムストリーミングクエリも、 Project Lightspeed の一環として、AQEを活用して動的再最適化を行います。...

Original: Handling "Right to be Forgotten" in GDPR and CCPA using Delta Live Tables (DLT) 翻訳: junichi.maruyama ここ数十年でデータ量は爆発的に増加し、各国政府は個人データに対する個人の保護と権利を強化するための規制を設けています。 General Data Protection Regulation （GDPR）と...

Original: Better LLMs with Better Data using Cleanlab Studio 翻訳: junichi.maruyama この投稿とそれに付随する ノートブック と チュートリアルビデオ は、 Cleanlab Studio を使用して、大規模言語モデル（LLM、基礎モデルとも呼ばれる）のパフォーマンスを、それらが微調整されるデータを改善することによって改善する方法（ Data-centric AI （DCAI）とも呼ばれるアプローチ）を示します。事例として、LLMの最も一般的な使用例の1つである、テキスト分類のためのモデルのファインチューニングを、Stanford politeness...

Original: Welcoming bit.io to Databricks: Investing in the Developer Experience 翻訳: saki.kitaoka この度、bit.ioがDatabricksの一員となったことをお知らせできることを嬉しく思います。 Databricksでは、組織が最も困難な問題をデータで解決できるようにすることに常に重点を置いています。そのためには、すべてのデータ実務者やチームにパワフルでシンプルなツールを提供し、簡単に導入でき、毎日楽しく使えるようにする必要があります。 bit.ioは、非常にユーザーフレンドリーなインターフェース、摩擦のないサインアップ体験、わかりやすいワークフローを提供することで、その存在を際立たせてきました。また、bit.ioのチームは、現代の開発者やデータエンジニアのニーズを深く理解していることも証明しました。Databricksでは、共同創業者のAdam FletcherとJonathan Mortensenとチームがその専

Original: Easy Ingestion to Lakehouse with File Upload and Add Data UI 翻訳: junichi.maruyama Lakehouseへのデータ取り込みは、多くの組織にとってボトルネックとなり得ますが、Databricksを使用すれば、様々なタイプのデータを迅速かつ容易に取り込むことができます。小さなローカルファイルでも、データベース、データウェアハウス、メインフレームなどの大規模なオンプレミスストレージプラットフォームでも、リアルタイムストリーミングデータでも、その他のバルクデータ資産でも、DatabricksはAuto Loader、COPY INTO、Apache Spark™ API、設定可能なコネクタなどの幅広い取り込みオプションであなたをサポートします。また、ノーコードまたはローコードアプローチをご希望の場合は、Databricksはインジェストを簡素化する使いやすいインターフェイスを提供します。 データインジェストブログシリーズの第

Original: The Great Unlock: Large Language Models in Manufacturing 翻訳: junichi.maruyama 製造業は、自動化を進め、オペレーションを可視化し、製品・技術開発を加速させるための新しい方法を常に模索しています。そのため、企業は常に深い技術的進歩の最前線にいることが求められます。製造業で最近見られる技術的進歩のひとつに、Generative AI、特にLarge Language Models（LLM）の利用があります。Generative AIは、既存のデータから認識したパターンに基づいて新しいユニークなデータを作成することができますが、LLMはさらに一歩進んで、複雑な情報を理解・整理し、人間のような対話を生成する能力を備えています。 製造業では、接続された車両、工場、建物、作業員によって生成される大量の複雑な非構造化データ（センサー、画像、ビデオ、テレメトリ、LiDARなど）が発生しますが、その多くは、データをリアルタイムでストリー

Original: What is a MMM and why does it matter for marketers? 翻訳: junichi.maruyama MMM（Marketing or Media Mix Modeling）とは、企業が複数のチャネルにまたがるマーケティングキャンペーンの効果を特定・測定するためのデータ駆動型の方法論です。MMMの目的は、企業が広告やマーケティング戦略について十分な情報に基づいた意思決定を行うことを支援することです。MMMは、テレビ、ソーシャルメディア、Eメールマーケティングなど、さまざまなチャネルのデータを分析することで、どのチャネルが売上やその他のビジネス成果に最も貢献しているかを判断します。外部イベントや指標を含めることで、意思決定者は外部要因（祝日、経済状況、天候など）の影響をよりよく理解し、広告費だけの影響を誤って過大評価することを防ぐことができます。 MMMを使用することで、企業はどのマーケティングチャネルが最もエンゲージメント、売上、または収益を促進して