企業のAI化を真の意味で加速する「モデルリスクマネジメント」
EYのMario Schlener、Wissem Bouraoui、Tarek Elguebalyには、このジャーニーを通してのサポート、このブログとソリューションアクセラレータへの貢献に対して特別な感謝を申し上げます。 Original: Model Risk Management, a true accelerator to corporate AI 翻訳: junichi.maruyama モデルリスク管理(MRM) - 金融サービス業界の多くのモデル開発者やデータサイエンティストにこれほどの不安をもたらす3文字の頭字語は稀である。MRMは、ガバナンスとコンプライアンスチームが、誤ったモデルや誤用されたモデルによって引き起こされる悪影響を慎重に特定し、軽減するための規律である。人工知能(AI)や機械学習(ML)モデルに限らず、AI/MLモデルは銀行で管理されているモデルのごく一部であり、その範囲はエンドユーザーのコンピューティングアプリケーション、複雑な統計パッケージ、ルールベースのプロセスにも容易に及ぶ。
カスタマーサービスとサポートで大規模言語モデル革命を推進する
Original : Driving a Large Language Model Revolution in Customer Service and Support 翻訳: junichi.maruyama 独自のLLM対応ボットを作りたいですか?エンドツーエンドのソリューションアクセラレータを こちら からダウンロードしてください OpenAI’s ChatGPT , Google’s Bard...
Azure DatabricksのAzure Confidential Computingサポートに関するパブリックプレビューのお知らせ
Original : Announcing the Public Preview of Azure Databricks support for Azure confidential computing 翻訳: junichi.maruyama 私たちは、 Azure Databricks が Azure confidential computing...
2023年データ+AIの現状:企業はAI新時代にどう備えるか?
Original : The 2023 State of Data + AI: How Businesses Are Preparing for the New Age of AI 翻訳: junichi.maruyama 昨年末にChatGPTが公開されて以来、大規模言語モデル(LLM)への関心が歴史的に高まり、この話題は避けて通れないものとなっています。LLMの技術は比類ない速さで向上しているだけでなく、企業もかつてないほど独自のモデルを構築しています。今や、予測モデルはミッションクリティカルな業務を支え、過去にさかのぼってのレビューではなく、未来を見通す窓を組織に与え、より迅速で無駄のない業務を支援します。 この新しいコンピューティング革命の端緒となった今、私たちは、企業がこの変革においてどのような状況にあるのか、また、どのようなプラットフォームやツールを活用しているのかを正確に知りたいと考えました。9,000社以上のグローバルなDatabricksのお客様からの匿名化された利用データを分析することで、私 た
一部の地域でDatabricks SQL Serverlessの一般利用開始を発表しま す!
Original: Announcing the General Availability of Databricks SQL Serverless ! 翻訳: saki.kitaoka 本日、AWSおよびAzureの一部地域でDatabricks SQLのサーバーレスコンピューティングが一般利用可能になったことを発表することを大変嬉しく思います! Databricks SQL (DB SQL) サーバーレスは、インスタントでエラスティックなコンピューティングによる最高のパフォーマンスを提供し、コストを削減し、インフラの管理ではなくビジネスへの最大の価値提供に注力できるようにします。GA(一般提供)により、Databricksからの最高レベルの安定性、サポート、エンタープライズ対応を、Databricks Lakehouse Platform上のミッションクリティカルなワークロードに対して期待することができます。 このブログ記事では、DB SQL...
Databricksがファイルサイズの自動最適化によりクエリパフォーマンスを最大2.2倍向上させた方法
Original : How Databricks improved query performance by up to 2.2x by automatically optimizing file sizes 翻訳:saki.kitaoka テーブルファイルサイズの最適化は、長い間データエンジニアにとって必要だが複雑なタスクでした。テーブルの適切なファイルサイズに到達すると、大幅なパフォーマンス向上が実現しますが、これは伝統的に深い専門知識と大量の時間投資を必要としていました。 最近、Databricks SQLのためのPredictive I/O( Predictive I/O...
Databricks Notebooks向けの新しいデバッグ機能:Variable Explorer
Original: New debugging features for Databricks Notebooks with Variable Explorer 翻訳: saki.kitaoka 今日、Databricks NotebookのPython向けにVariable Explorer(変数エクスプローラ)の一般利用可能を発表することを非常に嬉しく思います。Variable Explorerを使用すると、Databricksのユーザーはノートブック内で定義されたすべての変数を一目で確認したり、ワンクリックでDataFramesを調査・探索したり、pdbを用いてPythonコードをインタラクティブにデバッグすることが可能になります。 ノートブックの変数を確認する Variable Explorerは、ノートブックセッションで利用可能なすべての変数を表示します。すべてのシンプルな変数タイプについて、名前、タイプ、値が表示されます。 Variable Explorerは、SparkとPandasのDataFra
Apache SparkによるCOMTRADEファイルを用いたグリッドエッジ分析の高速化
この ソリューションアクセラレータ とブログは、シュナイダーエレクトリック 社との共同作業により作成されました。Schneider Electric Distinguished Technical Expert であり、COMTRADE-2013 規格の改訂に焦点を当てた IEEE/IEC Dual Logo Maintenance Team の幹事を務める Dan Sabin 氏に、その専門知識を提供していただいたことに感謝します。 Original : Accelerating Grid-Edge Analytics...
機密データを保護するために、HabuとDatabricksはどのように連携しているか
Original : How Habu Integrates With Databricks to Protect Sensitive Data 翻訳:saki.kitaoka 先日、 Databricks との提携を発表( announce )し、すべてのLakehouseにマルチクラウドデータクリーンルームコラボレーション機能を提供することを発表しました。Databricksとの統合は、 Databricks's Lakehouse technology とHabuのクリーンルームオーケストレーションプラットフォームの長所を組み合わせ、クラウドやデータプラットフォーム間でのコラボレーションを可能にし、コラボレーションによるデータサイエンス作業のアウトプットをビジネス関係者に提供するものです。このブログポストでは、以下の質問に答えることで、HabuとDatabricksがどのようにこれを実現しているかを説明します: データクリーンルームとは何ですか? Databricksの既存のデータクリーンルーム機能は何です
Apache Spark Structured Streamingでレイテンシが1秒未満になりました
Original: Latency goes subsecond in Apache Spark Structured Streaming 翻訳: saki.kitaoka Apache Spark Structured Streaming は、オープンソースのストリーム処理プラットフォームの代表格です。 the Databricks Lakehouse Platform のストリーミングを支える中核技術でもあり、バッチ処理とストリーム処理のための統一APIを提供しています。ストリーミングの採用が急速に進む中、多様なアプリケーションがストリーミングを活用してリアルタイムな意思決定を行いたいと考えています。これらのアプリケーションのうち、特に運用型のアプリケーションでは、より低いレイテンシーが要求されます。Sparkの設計は、高いスループットと使いやすさを低コストで実現する一方で、サブセカンドレイテンシーに最適化されていません。 本ブログでは、Structured Streamingの固有の処理レイテンシーを低減す