🏆第1回 DatabricksアジアパシフィックLLMカップ優勝者発表🥇
Databricksがアジア太平洋地域で初めて開催した大規模言語モデル（LLM）カップの優勝者を発表できることを嬉しく思います。この大会には、10カ国以上の1,000人を超えるデータおよびAIの実務家が参加しました。 2023年10月から12月にかけて、参加者はDatabricksを使用してLLMを活用したアプリケーションを構築し、実際のビジネス課題を解決するために招待されました。 参加者を成功に導くため、ハッカソンに先立ち、LLM構築に関する自習型学習ワークショップと、Databricksのソリューションアーキテクトによる専用トレーニングを提供しました。 応募作品は、創造性、ビジネスへの適用可能性、関連性、取組みの完成度、LLMアーキテクチャの拡張性などに基づいて評価されました。 インパクトのあるプロジェクトが数多くあった中で、電気通信とサイバーセキュリティにおける組織の重要な課題に取り組む革新的なアイデアを持つ2つのチームが際立っていました。 受賞チームのイノベーションは、適切なテクノロジーによってチームがい
データインテリジェンスプラットフォームのための信頼できるデータを：Databricks VenturesがAnomaloに投資
信頼性が高く、正確で、信用できるデータは、企業におけるあらゆるデータアプリケーションにとって最も重要な要件です。 Databricksのお客様は、自動化された洞察と顧客体験のためにデータへの依存度を高めているため、データ品質は基本的に必要不可欠なものとなっています。 重要なことは、データ品質の問題が、データとAIの価値を最大化する上で、企業が直面する最大の障壁の1つであるということです。 最近の ある調査によると、IT意思決定者の91%が自社のデータ品質を向上させる必要があると考えており、77%が自社のビジネスデータに対する信頼が不足していると回答しています。 Databricks Venturesは、このような顧客の重要なニーズに対応するため、長年のデータ品質パートナーである Anomaloの シリーズBラウンドへの 投資を発表します。私たちがアノマロ・チームと知り合ったのは約3年前。 当初から、チームの優秀さ、革新的で使いやすい製品、技術革新のペース、そしてAnomaloのAIを搭載した自動品質監視機能を導入
業界初のジェネレーティブAIエンジニア学習パスウェイと認定資格を発表しました
本日、データおよびAIの実務家がジェネレーティブAIで成功するためのリソースを確保できるよう、業界初の ジェネレーティブAIエンジニアの 学習パスウェイと認定を発表します。 Databricksでは、ジェネレーティブAIが実務家と組織の革新と生産性向上に貢献し続けることを認識していますが、実務家が成功するためにはスキルアップと再 スキルが必要です。 この新しいトレーニングは、データサイエンティスト、機械学習エンジニア、開発者がジェネレーティブAIの旅の途中で出会うための3つの学習コンポーネントで構成され、DatabricksジェネレーティブAIエンジニアアソシエイト認定試験でクライマックスを迎えます。 Generative AI Engineer Learning Pathway& 認定資格 ジェネレーティブAIのスキルアップの必要性 ジェネレーティブAIとその応用は急速に進歩し続けています。 ハーバード・ビジネス・レビュー』誌 は、このテクノロジーによって、これまでにない加速度的なペースで専門知識に対する
『データ＋AI』戦略：人材に焦点をおいて
この記事はシリーズの一部です。 パート1： データ＋AIの三位一体：人材、プロセス、 プラットフォームをご覧ください。 人工知能（AI）や大規模言語モデル（LLM）の導入を急ぐあまり、多くのビジネスリーダーやテクニカルリーダーは、根本的なITの見直しにばかり目を向け、このテクノロジーが従業員や将来の働き方にもたらす大きな変化を過小評価しがちです。 プロセスを調整し、適切なプラットフォームを導入する技術的な作業は不可欠ですが、企業内でデータとAIの文化を成功させるには、経営層からエントリーレベルの従業員に至るまで、従業員の賛同も必要です。 すべての従業員が、データとAIを最優先する戦略が各自の役割にもたらす価値、それが生み出すビジネス上の成果、そして最終的には、それが解き放つキャリアの可能性を理解できるようにすることで、ビジネスリーダーは、変化への抵抗を抑え、モダナイゼーションの旅が力強くスタートするよう支援する社内チャンピオンを生み出すことができます。 人材に関する計画について、心に留めておくべきいくつかの成功戦
DatabricksによるGenAIの構築とカスタマイズ：LLMとその先へ
ジェネレーティブAIは、ビジネスに新たな可能性をもたらし、組織全体で力強く受け入れられています。 最近の MIT Tech Reviewの レポートによると、調査対象となった600人のCIO全員がAIへの投資を増やしており、71％が独自のカスタムLLMやその他のGenAIモデルの構築を計画していると回答しています。 しかし、多くの組織では、自社のデータで学習させたモデルを効 果的に開発するために必要なツールが不足している可能性があります。 ジェネレーティブAIへの飛躍は、単にチャットボットを導入するだけではありません。 この変革の中心は、 データレイクハウス の出現です。 このような高度なデータアーキテクチャは、GenAIの可能性を最大限に活用する上で不可欠であり、データとAI技術の迅速かつコスト効率の高い、より広範な民主化を可能にします。 企業が競争上の優位性を確保するためにGenAIを活用したツールやアプリケーションへの依存度を高める中、基盤となるデータインフラは、これらの先進技術を効果的かつ安全にサポートでき
Databricks SQL Year in Review（Part1）：AIに最適化されたパフォーマンスとサーバーレス・コンピューティング
本記事は、2023年の Databricks SQLの 主な進歩分野 を振り返るブログ・シリーズのパート1で、最初の記事ではパフォーマンスに焦点を当てています。 データウェアハウスのパフォーマンスは、特に計算時間がコストを左右する現代のSaaSの世界では、より応答性の高いユーザーエクスペリエンスと優れた価格/パフォーマンスを実現するために重要です。 私たちは、Databricks SQLのパフォーマンスを向上させるとともに、AIを活用することで手作業によるチューニングの必要性を低減させるために努力してきました。 AIに最適化されたパフォーマンス 最新のデータウェアハウスは、新しいデータ、より多くのユーザー、または新しいユースケースが入ってくるたびに、知識豊富な管理者が継続的に手動で調整する必要があるワークロード固有の構成で満たされています。 これらの"ノブ" は、データの物理的な保存方法から、コンピ ュータの利用方法やスケーリング方法まで多岐にわたります。 この1年間、私たちはDatabricksの データインテリ
小売業のためのジェネレーティブAI：スキル開発を通じてトップラインの成長を促進
COVID以来、"大辞任" について、 世界経済フォーラムによる 詳細な分析を含め、数え切れないほどの記事が書かれています。 この調査でわかった重要なことのひとつは、自発的に仕事を辞 める人をこれ以上増やさないためには、企業は従業員を職場に引き込む努力をしなければならないということです。 結局のところ、従業員はどの企業にとっても最も貴重な資産であり、従業員が退職すると、同僚や企業全体に打撃を与えます。 しかし、従業員のエンゲージメントを調査するとなると、中核となるリソースとしてデータに頼る企業はほとんどありません。 この5年間で、アナリティクスや機械学習を利用して、顧客やサプライチェーンに関するより深く広範な洞察を得る経営者は増えましたが、従業員に関するデータはまだ不足していることが多いのです。 その代わりに、人事担当者は採用やコーチング、育成に重点を置く傾向があり、意思決定のためにデータの代わりに"直感" を使う必要があります。 ビジネス界で最も秘匿されている秘密の1つは、人的資本データを解き放つことが成長とコス
通信業界向けデータインテリジェンスプラットフォームのご紹介
通信業界は、100年以上の歴史の中で最も大きな成長（と変化）の時期にあります。 世界的なトラフィックの激増、顧客からのサービス向上への期待、より多くのネットワーク機器の必要性により、ネットワーク管理はより複雑で高コス トになっています。 さらに、顧客がより質の高いサービスやより良い顧客体験（CX）を求めるようになると、ニーズが満たされない場合に解約する可能性が高くなるというデータもあります。 その結果、通信サービスプロバイダー（CSP）は、サービスと運用コストの削減、優れた顧客体験の開発と維持、収益拡大の機会の特定、安全で信頼性の高いサービスによる規模の拡大を支援するために、データとAIのユースケースに注目しています。 並大抵のことではありません。 このことを示すには、5G、IoT、エッジコンピューティング、AIなど、ビッグデータの新時代を迎えたデジタル技術の爆発的な普及を見れば明らかです。 例えば、 シスコのVNI（Visual Networking Index）グローバルモバイルデータトラフィック予測 によると
SIEM検知ルールの進化：シンプルから洗練への旅
サイバー脅威とそれに対抗するツールはより洗練されたものになっています。 SIEMは20年以上の歴史があり、その間に大きく進化してきました。 当初はパターンマッチングと閾値ベースのルールに依存していたSIEMは、より高度なサイバー脅威に対処するために分析能力を向上させました。 「検知成熟度曲線」と呼ばれるこの進化は、セキュリティ運用が単純な警告システムから脅威の予測分析が可能な高度なメカニズムへと移行したこ とを示しています。 このような進歩にもかかわらず、最新のSIEMは、大規模なデータセットや長期的な傾向分析、機械学習による検出のためのスケーリングという課題に直面しており、複雑化する脅威要因の検出と対応に対する組織の能力が問われています。 そこでDatabricksがサイバーセキュリティチームを支援します。 Apache Spark™、MLflow、およびDeltaテーブルを搭載したDatabricksの統合アナリティクスは、企業の最新のビッグデータと機械学習のニーズを満たすために、コスト効率よく拡張できます。
製造業における洞察：低レイテンシーのセンサーデータでのストリーミング積分の計算
データエンジニアは、複雑でノイズの多いデータから洞察を引き出すために、数学と統計学に頼っています。 最も重要な領域は微積分です。微積分では、積分（最も一般的には曲線下の面積を計算すること）が得られます。 これは、レートを表す多くのデータを統合して有用な測定値を生成できるため、エンジニアにとって便利です。 例えば ポイント・イン・タイムのセンサーの測定値は、一度統合されると、 時間加重平均 を生成することができます。 車両速度の積分は、 移動距離 の計算に使用できます。 データ転送量 は、ネットワーク転送速度を統合したものです。 もちろん、ほとんどの生徒はある時点で積分の計算方法を学びますし、計算自体もバッチで静的なデータでは簡単です。 しかし、機器のパフォーマンスしきい値に基づくアラートの設定や、ロジスティクスのユースケースにおける異常の検出など、ビジネス価値を実現するために低レイテンシーで増分的な積分計算を必要とする一般的なエンジニアリングパターンがあります。 ポイント・イン・タイム測定： 計算に使用される積分