コネクテッドカーのデータ革命で勝者と敗者を分けるもの
"よりスマートフォンに近い自動車を作ることが未来です。 アップルやすべてのスマートフォン企業が通話を変えたように、私たちも乗り心地を変えようとしています。" - ジム・ファーレイ（フォード・ モーターCEO） 自動車をスマートフォンに例えたジム・ファーレイの例えは、すべての自動車会社にとっての現実です。 現代の自動車は、複数のセンサーモダリティ、150もの電子制御ユニット（ECU）、1億行を超えるコードを通じて、毎日1,000倍以上のデータを生成しています。 コネクテッド・ビークルの成長（2030年までに世界で販売される新車の95％）に伴い、コネクテッド・ビークル・データを収益化し、よりパーソナライズされたサービス、付加価値の高いデジタル・オファー、エコシステムの収益化によって差別化を推進することは、すべての自動車会社にとって戦略上不可欠です。 コネクテッド・ビークル・データの収益化のパイのサイズは膨大です。 2030年までに、新しいサブスクリプション主導型サービスは、平均して自動車1台あたり年間310ドルの増分経
よりスマートな製造：生成AIの合理化におけるガバナンスの役割
人工知能（AI）は、企業が生産し、顧客が接するあらゆる製品やサービスに組み込まれるようになるでしょう。 生成AIによって、私たちは今、あらゆる企業の競争優位に貢献するデータ & AIイニシアチブへの期待が高まる時代に突入しています。 データガバナンスは、企業が競争上の優位性を生み出し、それを維持するために成功するためには、絶対に欠かせないものです。 今日のダイナミックな状況において、データガバナンスの重要性を見過ごすことはできません。 なぜかというと、優れたAIは優れたデータから生まれるからです。 適切なガバナンスがなければ、良いデータを確保することはできません。 しかし、データガバナンスには大きな問題があります。 「プリンセス・ブライド」で有名なハリウッドのキャラクター、イニゴ・モントーヤから引用します。「データガバナンス...。あなたはこの言葉を使い続けています。 私は、それはあなたが思っているような意味ではないと思います！」。これは、データガバナンスという用語があまりに不定形になりすぎて、それが何な
製造業における洞察：低レイテンシーのセンサーデータでのストリーミング積分の計算
データエンジニアは、複雑でノイズの多いデータから洞察を引き出すために、数学と統計学に頼っています。 最も重要な領域は微積分です。微積分では、積分（最も一般的には曲線下の面積を計算すること）が得られます。 これは、レートを表す多くのデータを統合して有用な測定値を生成できるため、エンジニアにとって便利です。 例えば ポイント・イン・タイムのセンサーの測定値は、一度統合されると、 時間加重平均 を生成することができます。 車両速度の積分は、 移動距離 の計算に使用できます。 データ転送量 は、ネットワーク転送速度を統合したものです。 もちろん、ほとんどの生徒はある時点で積分の計算方法を学びますし、計算自体もバッチで静的なデータでは簡単です。 しかし、機器のパフォーマンスしきい値に基づくアラートの設定や、ロジスティクスのユースケースにおける異常の検出など、ビジネス価値を実現するために低レイテンシーで増分的な積分計算を必要とする一般的なエンジニアリングパターンがあります。 ポイント・イン・タイム測定： 計算に使用される積分
米国最大級の自動車メーカーがDatabricksでデータをビジネス価値に変える
この記事は、 Kin + Carta のデータサイエンスディレクター、Andrew Mullinsとの共同執筆である。 テレマティクスから自動運転車に至る新技術の台頭により、自動車業界ではデータとAIがイノベーションの舵を切っており、メーカー各社は、革新的な技術を採用して正確かつ効率的に前に進むために急速にギアをシフトしている。その先頭に立つのは、16万5000人の従業員を擁し、自動車のエンジニアリング、設計、技術の限界に挑むことに注力しているアメリカ最大級の自動車メーカーである。 IT、データをフルに活用しようとする機知に富んだ他の企業同様、この米国の大手自動車会社も、大量にある未加工データを価値あるビジネス上の洞察に変える必要があることを認識していた。最新のクラウドプラットフォームとAIを搭載したデータソフトウェアを組み合わせることで、同ブランドはデータをより適切に管理できるようになっただけでなく、自社の製品に適していると思われる箇所でイノベーションを推進することもできるようになった。 データドリブンのモダナ
Delta Lakeを用いたバーコード・トレーサビリティによるリコール管理
最近のデータによると、製品の欠陥によるリコールキャンペーンは増加の一途をたどっている。さらに、風評リスクや事業継続リスクは、各リコールが「底なしの穴」であることのマイナス面の可能性を示している。製品リコールは、あらゆる規模の伝統的な製造企業だけの問題ではなく、製薬会社など製品を生産するあらゆる企業に関連する。この記事では、複数の生産工場の上にある中央のデルタ湖が、問題解決のサイクルタイムを短縮することで、影響を受ける被害を劇的に減らすのに役立つ理由を論じる。さらに、運用上の欠陥を検出するためにプロセスグラフを走査するための実例を含むソリューション・アクセラレータを紹介する。 効果的なリコール管理のためのデータ分析の課題と可能性 リコールについて メーカーが製品を生産し、顧客に出荷している状況において、重大な品質問題が発見され、どちらか一方から製品の返品を要求されることを製品リコールという。例えば、メルセデスは燃料ポンプに欠陥があったとして約14万4千台をリコールし（ こちらを 参照）、BSHは爆発の恐れがあるガス
Databricks Lakehouseプラットフォームのブルームバーグ・データを活用したサプライチェーンの混乱とESGリスク管理
このブログは、私たちが提携している業界をリードするデータ・プロバイダーやマーケットプレイスのデータ・プロバイダーを紹介するブログ記事の第一弾です。 ブルームバーグの協力者であるマイケル、マリス、ドンには、この旅を通してのサポートとこのブログへの貢献に感謝する。 サプライチェーンの回復力は、企業に とってますます重要になってきている。 調達マネジャーは、サプライチェーン・ネットワーク全体にわたって透明性のある監視を維持し、潜在的なリスクを認識していなければならない。 近年、サプライチェーンは多くの混乱に直面しており、世界的な大流行によって引き起こされた混乱は、労働者を自宅に留め置き、世界中のサプライチェーンを麻痺させた。 企業がパンデミック（世界的大流行）から脱却するにつれ、リーダーたちは次の大きな混乱にどう備えるべきかを自問自答している。 マッキンゼー・アンド・カンパニーが 2022年に発表した、製造業を対象にした調査報告書によると、過去12ヶ月間にサプライチェーンのリスク管理を新たに実施した企業は全体の3分の2に
ソリューション・アクセラレーターのご紹介： 製造業のためのLLM
翻訳：Saki Kitaoka. - Original Blog Link GoogleのVaswaniらによるトランスフォーマーに関する画期的な論文( seminal paper on transformers by Vaswani et. al. )が発表されて以来、大規模言語モデル（LLM）は生成AIの分野を支配するようになりました。間違いなく、OpenAIの ChatGPT の登場は、多くの必要な宣伝をもたらし、個人的な使用と企業のニーズを満たすものの両方で、LLMの使用に対する関心の高まりにつながりました。ここ数ヶ月の間に、Googleは Bard を、Metaは Llama 2 モデルをリリースし、大手テクノロジー企業による激しい競争を示しました。...
DatabricksとAzure DevOpsでスケーラブルなAIをエッジにもたらす
翻訳：Junichi Maruyama. - Original Blog Link 製造業における機械学習とAIの機会は、 計り知れません 。 消費者の需要 と生産のより良い整合性から、 工程管理、歩留まり予測、欠陥検出 の改善まで、 予知保全 、 出荷最適化 、 もっともっと 、ML/AIはメーカーがビジネスを運営する方法を変革する用意があり、これらのテクノロジーは インダストリー4.0構想における主要な注力分野 となっている しかし、この可能性を実現することに課題がないわけではありません。機械学習と AI...
MapInPandasとDelta Live Tablesで一般的でないファイル形式を大規模に処理する
翻訳：Junichi Maruyama. - Original Blog Link 様々なファイル形式 最新のデータエンジニアリングの世界では、 Databricks Lakehouse Platform は信頼性の高いストリーミングおよびバッチ data pipelines の構築プロセスを簡素化します。しかし、曖昧なファイル形式や一般的でないファイル形式を扱うことは、Lakehouseへのデータ取り込みにおいて依然として課題となっています。データを提供する上流のチームは、データの保存と送信方法を決定するため、組織によって標準が異なります。例えば、データエンジニアは、スキーマの解釈が自由なCSVや、ファイル名に拡張子がないファイル、独自のフォーマットでカスタムリーダーが必要なファイルなどを扱わなければならないことがあります。このデータをParquetで取得できないかとリクエストするだけで問題が解決することもあれば、パフォーマンスの高いパイプラインを構築するために、よりクリエイティブなアプローチが必要になることも
グレート・アンロック: 製造業における大規模言語モデル
Original: The Great Unlock: Large Language Models in Manufacturing 翻訳: junichi.maruyama 製造業は、自動化を進め、オペレーションを可視化し、製品・技術開発を加速させるための新しい方法を常に模索しています。そのため、企業は常に深い技術的進歩の最前線にいることが求められます。製造業で最近見られる技術的進歩のひとつに、Generative AI、特にLarge Language Models（LLM）の利用があります。Generative AIは、既存のデータから認識したパターンに基づいて新しいユニークなデータを作成することができますが、LLMはさらに一歩進んで、複雑な情報を理解・整理し、人間のような対話を生成する能力を備えています。 製造業では、接続された車両、工場、建物、作業員によって生成される大量の複雑な非構造化データ（センサー、画像、ビデオ、テレメトリ、LiDARなど）が発生しますが、その多くは、データをリアルタイ ムでストリー