強化されたワークフローUIがデバッグ時間を短縮し、生産性を向上
データチームは問題のトラブルシ ューティング、パッチの適用、失敗したワークロードの再起動に多くの時間を費やしています。エンジニアが一日中、自分のワークロードの調査とデバッグに費やすことは珍しくありません。 これで、データエンジニアが自分の仕事の問題を監視し、診断するのがより簡単になりました。これらの機能により、ジョブの実行が失敗したり、通常よりも長い時間がかかったりしたとき、失敗の理由を理解し、問題の根本原因を迅速に修復することができます。 タイムラインビューでのジョブの実行の視覚化 データエンジニアとして、ワークロードを最適化する最初のステップは、時間がどこで費やされているかを理解することです。複雑なデータワークフローでは、針を干草の山から探すような感じになることがあります。新しいタイムラインビューは、ジョブの実行をタイムライン上の水平バーとして表示し、タスクの依存関係、持続時間、ステータスを示します。これにより、DAGの実行におけるボトルネックや大幅な時間消費エリアを素早く特定することができます。タスクがどのよ
ビートを逃さない: Databricksワークフローにおけるモニタリングとアラートの新機能を発表
翻訳:Junichi Maruyama. - Original Blog Link この度、 Databricks Workflows の監視・観測機能が強化されました。これには、すべてのプロダクションジョブの実行を一箇所で確認できる新しいリアルタイムインサイトダッシュボード、すべてのワークフローに対する高度で詳細なタスクトラッキング、問題が発生する前に問題をキャッチするための新しいアラート機能などが含まれます。これらの素晴らしい新機能の目標は、あらゆるスキルレベルのデータ実務者の生産性を最適化しながら、すべてのプロダクション・ワークフローを全体的に把握できるようにすることで、日々の業務を簡素化することです。 Databricks Workflows は、Databricks Lakehouse Platformと完全に統合された、データ、アナリティクス、MLのワークロードのための、使いやすく、信頼性の高い、完全に管理されたオーケストレーションソリューションです。直感的なUIを備えているため、すべてのデータ実務者