データ文化の構築により、チームのパフォーマンスを向上させる方法
データ文化の定義は組織によって異なります。データ文化とは、組織がデータ中心になることを可能にする、共有された価値観、態度、行動のことです。Databricksでは、洞察の獲得、データ主導の意思決定、ビジネスパフォーマンスの向上、AIの実現を通じてデータ文化を考えています。データ文化を持つことはデータエグゼクティブの間で一般的なトピックになりつつありますが、多くの組織はまだそこに至っていません。 業績を加速する上でデータ中心の文化を持つことの重要性を示す研究は数多くあります。 Forrester 社は、「意思決定のための洞察力を高めるためにデータを使用している組織は、2桁成長を達成する可能性が約3倍高い」と述べています。同様に MIT は、「データ重視の企業文化は、収益の増加、収益性の向上、経営効率の改善につながる」と述べています。 データ文化の醸成における課題 企業はデータ文化の構築が重要だと考えているかもしれませんが、それを成功に導くには多くの課題があります。最も一般的な落とし穴は、1）既存の労働力におけるデー
DatabricksがAWS ISV Partner of the Yearを受賞しました
Databricksが北米のAWS ISV Partner of the Yearを受賞したことをお伝えできることを嬉しく思います。 この賞は、AWSを利用してコストを削減し、俊敏性を高め、イノベーションを加速させているトップISVパートナーを表彰するものです。 今回の受賞は、AWSとシームレスに統合されたシンプルで統合されたデータ・インテリジェンス・プラットフォームを提供する我々のパートナーシップと能力の強さを裏付けるものです。 Databricks はまた、以下の賞の最終選考にも残り、業界や地域を問わずデータとアナリティクスの専門性を実証したことが評価されました： ISVデータ＆アナリティクス・パートナー・オブ・ザ・イヤー - グローバル インダストリー・パートナー・オブ・ザ・イヤー - リテール& コンシューマー・パッケージド・グッズ - グローバル インダストリーパートナー・オブ・ザ・イヤー - 広告・マーケティング部門 -...
独自データを用いたカスタムLLMは、価値ある知的財産を保護しながら、いかにして業務を飛躍的に向上させることができるか？
大規模言語モデル（ LLM ）は企業の世界を熱狂させ、誰もがその利点を利用したいと考えている。実際、 DatabricksとMIT Technology Reviewがテクノロジー・リーダーを対象に行った最近の調査 によると、企業の47％が今年のAI予算を25％以上増やすと見込んでいる。 このような勢いにもかかわらず、多くの企業は、LLM、AI、機械学習が自社の組織内でどのように利用できるのか、まだ正確には分かっていない。プライバシーやセキュリティに関する懸念は、この不確実性をさらに大きくしている。情報漏洩やハッキングが発生すれば、多額の財務的損失や風評被害を招き、規制当局の監視の目にさらされる可能性があるからだ。 しかし、AIイノベーションを取り入れることで得られる報酬は、リスクをはるかに上回る。適切なツールとガイダンスがあれば、組織は非公開でコンプライアンスに準拠した方法でAIモデルを迅速に構築し、拡張することができる。ジェネレーティブAIが多くの企業の将来に影響を与えることを考えると、モデルの構築とカスタマ
[ゲスト投稿:Tecton]レイクハウスにおけるリアルタイムの不正検知
不正行為の代償は計り知れない。 2022年には、不正行為の1つであるカード非携帯型不正行為が、米国だけで約60億ドルの損失をもたらした。 連邦取引委員会によると、米国における詐欺のトップ5は以下の通りである 1 ： 偽者 オンラインショッピング 賞品、懸賞、宝くじ 投資 ビジネスと仕事の機会 すでに多くの企業が、リアルタイムの不正防止と検知を大規模に自動化するためにAIを活用し始めている。 しかし、これは詐欺師が絶えず新しい方法を考え出し、発見をすり抜ける、猫とネズミのゲームなのだ。 AIモデルは常に進化し、最も新鮮なデータを入力として取り込む必要があるため、機能の鮮度とモデル開発のスピードが成功に不可欠となる。 このブログでは、Tecton on Databricksを活用してリアルタイム不正検知システムを構築するための主な方法をご紹介する。 最後に実際の例をいくつか挙げているので、読んでみてほしい！ MLフィーチャーパイプラインの拡張 不正は、膨大で大量のネットワーク（1秒間に何千ものトランザクションがあると
『ラーニングフェスティバル』でデータ＋AIキャリアを加速させましょう
データ＋AIのキャリアを加速させるロールベースの学習を通じたスキルアップ Databricks は、データ、アナリティクス、AIの各分野における学習者向けの技術トレーニングの作成と反復に長年を費やし、スキルアップや再スキルを目指す個人、チーム、組織がアクセスしやすく適切なコンテンツを利用できるようにしています。 データ、アナリティクス、AIにおけるAI/MLと役割の爆発的な増加に伴い、多くの組織で新しいテクノロジーを採用する必要性が加速しています。 2022年から2025年にかけて、AIに関わる 9,700万件の雇用が 創出されると予測されています。 これは、スケーラブルな方法で人材をスキルアップさせるというユニークな課題を提示しています。 Databricksの『ラーニングフェスティバル』であなたのキャリアを高めよう Databricksのバーチャルラーニングフェスティバルは、データエンジニアリング、データサイエンス、データアナリティクスの各コースを、 お客様、見込み客、パートナーの ために構築し、スキルアップと
AI生成ドキュメンテーションのためにオーダーメイドLLMを作成する
これは、大規模言語モデル（LLM）を使用して、Unityカタログのテーブルとカラムのドキュメントを自動的に生成するものです 。 私たちは、この機能がお客様から好評をいただいていることに身の引き締まる思いです。 現在、 Databricksのテーブルメタデータ更新の80％以上がAI支援による ものです。 このブログポストでは、既製のSaaSベースのLLMを使用したハッカソンプロトタイピングから、より良く、より速く、より安いオーダーメイドのLLMの作成まで、この機能を開発した私たちの経験を紹介します。 この新しいモデルの開発には、2人のエンジニア、1ヶ月、1,000ドル未満の計算コストしかかかりませんでした(！) 私たちは、これらの学習がGenAIの幅広いユースケースに当てはまると考えているので、参考にしていただければ幸いです。 さらに重要なのは、オープンソースLLMの急速な進歩を利用できるようになったことです。 AIが作成した文書とは？ 各データ・プラットフォームの中心には、データセット（多くの場合テーブル形式）の
Databricksワークフローにおけるコントロールフロー強化のお知らせ！
多段階のデータやAIプロセス、パイプラインをオーケストレーションする上で重要な要素は、制御フローの管理です。 このため、 Databricks Workflowsの コントロールフロー機能に投資を続けています。この機能により、お客様は複雑なワークフローをより適切に制御し、高度なオーケストレーションシナリオを実装することができます。 数ヶ月前、私たちは ワークフローにモジュール式のオーケストレーションを 定義する機能を導入しました。これにより、お客様は複雑なDAGを分解して、より良いワークフロー管理、再利用性、チーム間でのパイプラインの連鎖を実現することができます。 本日、Lakehouseのオーケストレーションにおける次のイノベーションを発表できることを嬉しく思います。 タスクの条件付き実行 条件実行は、"If/else 条件タスクタイプ" と、"Run if dependencies" の2つの機能に分けることができます。これらを組み合わせることで、ユーザーはワークフローで分岐ロジックを作成し、パイプライン内の
サイバーセキュリティ・レイクハウス Part 4: データ正規化戦略
この4部構成のブログ・シリーズ "Lessons learned from building Cybersecurity Lakehouses," では、サイバーセキュリティ・データ用のレイクハウスを構築する際に、組織がデータ・エンジニアリングで直面する多くの課題について議論し、それを克服するために私たちが現場で使用したソリューション、ヒント、コツ、ベスト・プラクティスを紹介する。 パート1では 、まず統一されたイベントのタイムスタンプ抽出から始めた。 パート 2では、ログの取り込みの遅れを発見し、対処する方法について見てきた。 そして パート3では 、半構造化された機械生成データの解析方法に取り組んだ。 このシリーズの最終回では、サイバーアナリティクスの最も重要な側面の1つである、 共通の情報モデルを使用したデータの正規化について 説明します。 このブログが終わるころには、サイバーセキュリティ・レイクハウスにデータを正規化する際に直面するいくつかの問題と、それを克服するために使用できるテクニックについて、しっか
Azure DatabricksでAzure コンフィデンシャル コンピューティング（ACC）サポートが一般提供開始しました
本日、 Azure Databricksの Azureコンフィデンシャル・コンピューティング （ACC）サポートの一般提供を 発表 できることを嬉しく思います！ Azureコンフィデンシャル・コンピューティングのサポートにより、顧客はAMDベースのAzureコンフィデンシャル仮想マシン（VM）で使用中またはメモリ内のデータを保護することで、Databricks上で機密性とプライバシーを高めたエンドツーエンドのデータプラットフォームを構築できます。 この種のデータ保護は、静止データ用の 顧客管理キーや 、転送中のデータ用のTLS暗号化付き プライベートリンクなど 、既存のAzure Databricksコントロールを使用した機密データの保護を補完するものです。 その結果、Azure コンフィデンシャル VM上で稼働するAzure Databricksクラスタは、包括的なエンドツーエンドの暗号化ソリューションによって保護され、ライフサイクル全体を通じてデータを保護します。 ワークロードを実行するACC VMを選択する
データ・インテリジェンス・プラットフォーム
「 ソフトウェアが世界を食べている 」という見方が、現代のハイテク産業を形成してきました。今日、ソフトウェアは、私たちが身につける時計から、家、車、工場、農場まで、私たちの生活のいたるところにあります。Databricksでは、まもなく AIがすべてのソフトウェアを食べるようになる と考えています。つまり、過去数十年の間に構築されたソフトウェアがインテリジェントになり、データを活用することで、より賢くなるということです。 その影響は膨大かつ多様で、カスタマーサポートから医療、教育まであらゆる分野に影響を及ぼします。このブログでは、AIがデータ・プラットフォームをどのように変えるかについて、私たちの見解を述べます。データ・プラットフォームに対するAIのインパクトは漸進的なものではなく、データへのアクセスを大幅に民主化し、手作業による管理を自動化し、カスタムAIアプリケーションのターンキー作成を可能にするという根本的なものであると主張します。 これらすべてを可能にするのが、組織のデータを深く理解する統合プラットフォー