Databricksによる建築製品業界の異常検知のための機械学習の活用
序章 異常検知はさまざまな業界で広く応用されており、企業部門では重要な役割を果たしています。 このブログでは、製造業での応用に焦点を当てます。 シミュレーションされたプロセスサブシステムの健全性監視を中心としたケーススタディを探求します。 さらに、主成分分析（PCA）のような次元削減手法を掘り下げ、そのようなシステムを本番環境に導入した場合の実際の影響を検証します。 実際の例を分析することで、Databricksをツールとして活用し、このアプローチをどのようにスケールアップして、広範なセンサーデータから価値ある洞察を抽出できるかを実証します。 LPビルディングソリューションズ（LP）は、建築業界を形成 してきた50年以上の実績を持つ木材製品製造会社です。 北米と南米で事業を展開するLP社は、耐湿性、耐火性、耐シロアリ性を備えた建築製品ソリューションを製造しています。 LP社では、環境・衛生・安全（EHS）データとともに、ペタバイト級の過去のプロセスデータが長年にわたって収集されてきました。 このような大量の履歴デー
サンタクロースもAIフィーバー
サンタクロースは北極株式会社のCEOとして、世界で最も複雑なサプライチェーン、製造、物流業務を監督しています。 毎年、サンタと最高執行責任者（COO）であるサンタ夫人、そして妖精さんのチームは、世界中の子どもたちから届く何百万通もの手紙を読み、「いたずらっ子リスト」や「いい子リスト」と照らし合わせ、彼らが欲しいプレゼントを登録し、そして何百万ものプレゼントを作り、たった一晩ですべてを届けなければなりません。 サンタとそのクルーはこれらを簡単に行なっているように見せていますが、運営上は悪夢のような作業であり、依然として大部分が手作業で行われています。そのため、他の多くのビジネスリーダーと同様、サンタも AIがどのように役立つ かを知りたがっていました。そこで彼はDatabricksに助けを求めました。 Foundation Model API などのDatabricksツールと、合成データ生成や名前付きエンティティ認識などのテクニックを使って、サンタに宛てた子供たちの手紙を分析し、それぞれの子供が欲しいプレゼントを
LoRAによる効率的なファインチューニング： 大規模言語モデルの最適パラメータ選択ガイド
翻訳：Junichi Maruyama. - Original Blog Link ニューラルネットワークベースの技術や大規模言語モデル（LLM）研究の急速な進歩に伴い、企業は価値生成のためのAIアプリケーションにますます関心を寄せている。これらの企業は、分類、要約、シーケンス間タスク、制御されたテキスト生成など、テキスト関連の課題に対処するために、生成および非生成の両方で、さまざまな機械学習アプローチを採用している。組織はサードパーティのAPIを選択することもできるが、独自のデータでモデルを微調整することで、ドメイン固有の適切な結果を提供し、安全な方法でさまざまな環境に展開可能な、費用対効果の高い独立したソリューションを可能にする。 ファインチューニングの戦略を選択する際には、効率的なリソース利用と費用対効果を確保することが重要です。このブログでは、このようなパラメータ効率的な手法の中で、間違いなく最も一般的で効果的なバリエーションであるLoRA（Low Rank Adaptation）について、特にQLoRA
パンプキンパイにAIはない、でもあるはずだ：MLとAIを使って斬新なアプリケーション体験を提供する
Original: There’s No AI in Pumpkin Pie, But There Should Be: Delivering Novel Application Experiences Using ML & AI 翻訳: junichi.maruyama ホリデーシーズンが到来し、私たちの体を温め、ウエストラインに挑戦する、豊かでおいしい食べ物がたくさん出てきました。Databricksでは、ホリデーシーズンをより楽しくするために、少し楽しみながら、素晴らしいレシピをお客様と共有したいと思いました。しかし、Databricksである以上、AIを活用してそれを実現する必要がありました。 Databricksを使ったAIのシンプルさを実際に見せるために、私たちは「最高のパンプキンパイを作るにはどうしたらいいか」というトップオブマインドな課題を解決することにしました。このブログ記事では、Databricks...