画像とメタデータの活用して商品の名寄せを実現するには
翻訳：Saki Kitaoka. - Original Blog Link 商品マッチングは、多くの小売企業や消費財メーカーにとって不可欠な機能です。サプライヤーがオンライン・マーケットプレイスで新商品を販売する際、入荷する商品は既存の商品カタログの商品と比較されます。サプライヤーは、小売業者のウェブサイトに掲載されている商品リストを比較し、表示されている内容が契約条件と一致していることを確認します。小売業者はお互いのウェブサイトをスクレイピングし、価格比較のために商品を一致させることがあります。また、サプライヤーは、小売業者やサードパーティのデータから、より上位の商品アグリゲートと、販売する個々のSKUを照合する必要があります。多くの組織にとって、この作業は時間がかかり、正確ではありません。 この作業を行う上での主な課題は、同じ商品でも組織によってラベル表示が異なることです。表示される商品名、説明文、または顧客と商品との結びつきをよくするための箇条書きの特徴リストの小さな差異が、正確な一致を不可能にすることがあ
Lateral Column Alias (LCA) のサポートについて
翻訳：Junichi Maruyama. - Original Blog Link Apache SparkとDatabricksの新しいSQL機能のサポートをご紹介できることを嬉しく思います： Lateral Column Alias (LCA)です。この機能は、同じSELECTリスト内で先に指定した式を再利用できるようにすることで、複雑なSQLクエリを簡素化し、多くの場合、ネストしたサブクエリや共通テーブル式（CTE）を使用する必要性を排除します。このブログポストでは、この機能の使用例と、SparkとDatabricksのユーザーにもたらす利点について説明します。 Lateral Column エイリアス (LCA) サポートとは？ Lateral Column Alias (LCA) は、同じSELECTリスト内で先に指定した式を再利用する機能をユーザーに提供します。 この機能は、以下に示す例を通してより良く理解することができます。以下は単純なクエリです：...
Apache Spark™ 3.5のご紹介
翻訳：Junichi Maruyama. - Original Blog Link 本日、Databricks Runtime 14.0の一部として、Databricks上でApache Spark™ 3.5が利用可能になったことを発表いたします。Spark 3.5のリリースに多大な貢献をしていただいたApache Sparkコミュニティに深く感謝いたします。 Sparkをこれまで以上にアクセスしやすく、多用途で効率的なものにするという我々のミッションに沿った今回のアップデートには、以下のような新機能と改良が盛り込まれています： The English SDK for Apache Spark enables users to...
新しいLLMOps機能を備えたMLflow 2.7のご紹介
翻訳：Junichi Maruyama. - Original Blog Link MLflow 2のLLMOpsサポートの一環として、MLflow 2.7のプロンプト・エンジニアリングをサポートする最新のアップデートをご紹介します。 インタラクティブなプロンプト・インターフェイスでLLMプロジェクトの実行可能性を評価する プロンプトエンジニアリングは、ユースケースが大規模言語モデル（LLM）で解決できるかどうかを迅速に評価するための優れた方法です。MLflow 2.7 の 新しいプロンプト・エンジニアリング UI を使用すると、ビジネス関係者はさまざまなベースモデル、パラ メータ、プロンプトを試して、出力が新しいプロジェクトを開始するのに十分有望かどうかを確認できます。新規のブランク・エクスペリメントを作成するか（既存のエクスペリメントを開く）、「新規実行」をクリックするだけで、インタラクティブなプロンプト・エンジニアリング・ツールにアクセスできます。プレビューに参加するには、 こちら からサインアップしてくだ
DatabricksとAzure DevOpsでスケーラブルなAIをエッジにもたらす
翻訳：Junichi Maruyama. - Original Blog Link 製造業における機械学習とAIの機会は、 計り知れません 。 消費者の需要 と生産のより良い整合性から、 工程管理、歩留まり予測、欠陥検出 の改善まで、 予知保全 、 出荷最適化 、 もっともっと 、ML/AIはメーカーがビジネスを運営する方法を変革する用意があり、これらのテクノロジーは インダストリー4.0構想における主要な注力分野 となっている しかし、この可能性を実現することに課題がないわけではありません。機械学習と AI...
Databricks Unityカタログのシステムテーブルを使用したLakehouseセキュリティ監視の改善
翻訳：Junichi Maruyama. - Original Blog Link データフォ ワード組織にとってレイクハウスがますますミッションクリティカルになるにつれて、予期せぬイベント、停止、セキュリティインシデントが新たな予期せぬ方法で業務を頓挫させるリスクも高まっています。Databricks は いくつかの重要な観測可能性機能 を提供し、顧客がこの新しい脅威のセットを先取りし、かつてないほどレイクハウスを可視化できるように支援します。 セキュリティの観点から、組織が現代社会に適応する方法の 1 つは、 ゼロ トラスト アーキテクチャ (ZTA) モデルに従うことによって、「信頼せず、常に検証する」という原則に頼ることです。このブログでは、 Databricks Lakehouse Platform 上でZTAを始める方法を紹介し、一連のSQLクエリとアラートを自動生成するDatabricks Notebookを共有します。もしあなたが普段このようなことにTerraformを使っているのであれば、...
RFMセグメンテーションとコンポーザブルCDPによる小売パーソナライゼーション
Check out our Solution Accelerator for RFM Segmentation for more details and to download the notebooks . 翻訳：Junichi Maruyama. - Original Blog Link...
レイクハウスからデータを活性化： Databricks VenturesがHightouchに投資した理由
翻訳：Saki Kitaoka. - Original Blog Link 現代の企業がデータへの投資を倍増させていることは周知の事実です。データへの投資は、あらゆる業種・業界の企業にとって競争力をもたらす深い顧客インサイトを明らかにするものです。 私たちは、レイクハウスが組織の中心に位置し、企業がビジネスチームの日常業務でこれらのインサイトを活用できるようになる未来を確信しています。そのため、Databricks Venturesは本日、データ活性化プラットフォームのリーディングカンパニーであるHightouchへの戦略的投資( strategic investment in Hightouch )を発表しました。この投資は、Hightouchの最近の $38 million funding round の一部であり、私たちのパートナーシップを拡大し、 the Databricks Lakehouse 上でネイティブに構築された...
LoRAによる効率的なファインチューニング：大規模言語モデルの最適パラメータ選択ガイド
翻 訳：Junichi Maruyama. - Original Blog Link ニューラルネットワークベースの技術や大規模言語モデル（LLM）研究の急速な進歩に伴い、企業は価値生成のためのAIアプリケーションにますます関心を寄せている。これらの企業は、分類、要約、シーケンス間タスク、制御されたテキスト生成など、テキスト関連の課題に対処するために、生成および非生成の両方で、さまざまな機械学習アプローチを採用している。組織はサードパーティのAPIを選択することもできるが、独自のデータでモデルを微調整することで、ドメイン固有の適切な結果を提供し、安全な方法でさまざまな環境に展開可能な、費用対効果の高い独立したソリューションを可能にする。 ファインチューニングの戦略を選択する際には、効率的なリソース利用と費用対効果を確保することが重要です。このブログでは、このようなパラメータ効率的な手法の中で、間違いなく最も一般的で効果的なバリエーションであるLoRA（Low Rank Adaptation）について、特にQLoRA
大規模言語モデル（LLM）を用いた商品レビューの自動分析
Check out our LLM Solution Accelerators for Retail for more details and to download the notebooks. 翻訳：Junichi Maruyama. - Original Blog Link 会話AIはここ数カ月で多くのメディアの注目を集めたが、大規模言語モデル（LLM）の能力は会話のやり取りをはるかに超えている。クエリ応答、要約、分類、検索など、あまり目立たない機能にこそ、多くの組織が労働力を強化し、顧客体験をレベルアップするための直接的な機会を見出している。...