データエンジニアのための Databricks Assistant のヒントとコツ
生成AI革命はチームの働き方を変えつつあり、Databricks Assistantはこれらの進歩を最大限に活用しています。会話型インターフェイスを介してデータをクエリできるため、 Databricksワークスペース内での生産性が向上します。アシスタントは Databricks用のデータインテリジェンスエンジンであるDatabricksIQ を搭載しており 、データのセキュリティを確保し、応答が正確で、企業の詳細に合わせて調整されていることを確認します。 Databricks Assistantを使用すると 、タスクを自然言語で記述して、開発者のエクスペリエンスを中断することなく、複雑なコードを生成、最適化、またはデバッグできます。 この投稿では、ブログ「 Databricks Assistantを最大限に活用するための5つのヒント 」 を拡張し 、アシスタントが退屈な作業の排除、生産性と没入感の向上、価値実現までの時間の短縮によってデータエンジニアの生活をどのように改善できるかに焦点を当てます。さまざまなデータ
R開発者にレイクハウスを：Databricks Connectがsparklyrで利用可能に
CRAN 上の sparklyr の 最新リリースに Databricks Connect のサポートが導入されたことをお知らせできることを嬉しく思います。R ユーザーは、リモートの RStudio Desktop、Posit Workbench、またはアクティブな R ターミナルやプロセスから、Databricks のクラスタリングと Unity Catalog にシームレスにアクセスできるようになりました。今回のアップデートにより、R ユーザーであれば誰でも、わずか数行のコードで Databricks を使ってデータアプリケーションを構築できるようになりました。 Sparklyr と Python...
2023年データ＋AIの現状：企業はAI新時代にどう備えるか？
Original : The 2023 State of Data + AI: How Businesses Are Preparing for the New Age of AI 翻訳： junichi.maruyama 昨年末にChatGPTが公開されて以来、大規模言語モデル（LLM）への関心が歴史的に高まり、この話題は避けて通れないものとなっています。LLMの技術は比類ない速さで向上しているだけでなく、企業もかつてないほど独自のモデルを構築しています。今や、予測モデルはミッションクリティカルな業務を支え、過去にさかのぼってのレビューではなく、未来を見通す窓を組織に与え、より迅速で無駄のない業務を支援します。 この新しいコンピューティング革命の端緒となった今、私たちは、企業がこの変革においてどのような状況にあるのか、また、どのようなプラットフォームやツールを活用しているのかを正確に知りたいと考えました。9,000社以上のグローバルなDatabricksのお客様からの匿名化された利用データを分析することで、私た
Apache Spark™ と R によるユーザー定義関数の最適化と実用化 —ミネソタ・ツインズにおける投球シナリオのスケーリング–Part 2
序章 Part 1 では 、ミネソタ・ツインズの BOG（Baseball Operations Group） が、選手の成績をより正確に評価するために、過去 1,500 万回の投球ごとに 2 万回、合計 3,000 億回のシミュレーションを実行する必要があったことをお話ししました。BOG のアイディアはシンプルです。 過去 1,500 万回の投球から選手の成績をイメージ化できれば、各選手の分布に従った 3,000 億球のシミュレーションデータからは、より鮮明なイメージと信頼性の高い評価が得られることが想定できます。 このデータは、より多くの勝利を生み出してクラブの収益を上げることを目的とするコーチや人事の決定に影響を与えます。 データを生成・記録するスクリプトと機械学習モデルは全て R...
ミネソタ・ツインズにおける投球シナリオのスケーリング - Part 1
野球の試合における統計分析 メジャーリーグベースボール（MLB）では、投球フォーム、球種や回転数などの投球内容、各選手の打球の動作に至るまで、1 回の投球当たり数十メガバイトのデータが生成されています。1 試合、1 シーズンの間に、これらのデータからいかにして実践可能な気づきを導き出すのでしょうか。2019 年度アメリカン・リーグ中地区優勝チームのミネソタ・ツインズ内の BOG（Baseball Operations Group）は Databricks を導入しています。このブログでは、BOG が Databricks を活用して膨大なセンサーデータを収集し、各投球のシミュレーションを数千回、数万回と実行し、実践可能な気づきを迅速に導き出し、選手の成績の分析やパフォーマンスの改善、競合の偵察、才能評価の改善に役立てる方法を紹介します。ミネソタ・ツインズではさらに、分析サイクルを高速化し、得られた気づきを素速くコーチ陣に伝達することで、試合中の戦略におけるリアルタイム性を高める方法を模索しており、それについても解