メインコンテンツへジャンプ

Apache SparkによるCOMTRADEファイルを用いたグリッドエッジ分析の高速化

Dan Sabin
コルトン・ペルチェ
Eric Golinko
Nichole Lu
Share this post

このソリューションアクセラレータとブログは、シュナイダーエレクトリック社との共同作業により作成されました。Schneider Electric Distinguished Technical Expert であり、COMTRADE-2013 規格の改訂に焦点を当てた IEEE/IEC Dual Logo Maintenance Team の幹事を務める Dan Sabin 氏に、その専門知識を提供していただいたことに感謝します。

Original : Accelerating Grid-Edge Analytics using COMTRADE Files with Apache Spark

翻訳: junichi.maruyama 

 

安定した電力供給は、現代の私たちの生活に欠かせないものです。しかし、電力網は常に進化しており、設立から100年以上経った現在では、発電事業者が確立された規格を遵守することが不可欠となっています。規格を遵守することで、送電線、配電線、変電所、変圧器など、送電網を構成する部品が協調して働き、予測可能で高品質な電力を消費者に届けることができます。

電力供給が規格に適合するよう、変電所には保護リレー、デジタル故障記録装置、位相測定器(PMU)、電力品質モニターなどのインテリジェント電子機器(IED)が配置され、グリッドを流れる電力の特性を詳細に監視しています。これらのIEDは、電圧、電流、電力、周波数、位相角、実効値、高調波などの電気量を迅速にサンプリングし、導出します。電圧降下や故障などの異常事態を検知すると、IEDは異常事態の発生直前と発生中の測定値を業界標準のCOMTRADEファイルとしてバンドルします。このファイルは、異常事態を診断し修正するために不可欠な要素です。

COMTRADEファイルフォーマットは、1991年にIEEE Std C37.111でInstitute of Electrical and Electronics Engineersによって「Common Format for Transient Data Exchange for Power Systems」として初めて規定されました。IEEEは、進化する技術要件に直面してフォーマットの関連性を維持するために、1999年と2013年に改訂を承認しました。2013年版は国際電気標準会議と共同で完成し、IEC 60255-24:2013として同時発行されました。

現在、様々な専門ソフトウェアパッケージがCOMTRADEフォーマットのファイル解析をサポートしていますが、これらのソフトウェアパッケージは通常、単一プロセスでデータを処理しています。電子・電気工学の分野で機械学習の利用を検討する実務者が増え、データ量が増加し続ける中、Apache Sparkのような分散コンピューティングシステムでCOMTRADEデータをサポートする必要性が高まっています。

COMTRADEファイルについて

電気工学分野の多くの組織が、膨大な量の COMTRADE データを蓄積している。一つのイベントを記録するために、COMTRADEフォーマットは、様々な読み取り値の解釈に影響を与えるより高いレベルの詳細と読み取り値自体に、それぞれ記録される必須の構成(.cfg)ファイルと必須のデータ(.dat)ファイルの作成を指定する。特定の電気的障害を取り巻くファイルのコレクションには、追加のファイル(ヘッダーファイルや情報ファイルなど)が含まれることがあるが、これらはオプションであり、常に捕捉されるわけではない。

これらのファイルの構造が可変であるため、設定ファイルを含めることが必要である。さらに、COMTRADE ファイルに格納された複数の測定値を、何秒、何分、何時間にもわたって読み取る必要がある場合もある。このように、COMTRADEファイルの読み取りは、汎用的なデータ・分析プラットフォームでは困難な課題となっています。Pythonのオープンソースであるcomtradeライブラリのような専門的なライブラリは、個々のデータセットの読み取りを支援するために登場しましたが、大量のこれらのファイルを読み取ることは依然として困難です。

Apache SparkでCOMTRADEファイルを利用する

ありがたいことに、Apache Sparkのような最新の分析プラットフォームは、非常に拡張性に富んでいます。ユーザー定義の関数を通じて、様々なファイルからのデータを専用のライブラリを使って読み込み、統一されたデータ出力のセットを返すことができます。複雑なデータ構造をサポートすることで、上位の構成要素と下位の読み取り要素の関係を尊重しながら、アナリストがデータ構造の異なる部分の要素に簡単にアクセスできるような方法で、このデータを返すことができます。

このデータは、COMTRADE のネイティブデータ構造により近い形で保持することができるが、多くのアナリストは、構成の詳細を 1 つのテーブルに、低レベルの読み取りを別のテーブルに分離するなど、さらに単純化することで、情報自体の整合性に影響を与えることなく機械学習演習で使用するデータの取得を単純化できることに気づくだろう。このパターンを採用することで、組織はこれらのデータファイルをより多くのアナリストやデータサイエンティストが利用できるようになり、新しい斬新な分析アプローチを模索することができるようになります。

実践してみる

このパターンを実証するために、私たちはCOMTRADE形式のデータの使用に焦点を当てたソリューションアクセラレータを開発しました。COMTRADE形式のファイルを大量に集め、Databricksプラットフォームで動作するApache Sparkを使用して、これらのファイルにアクセスし、大規模に処理する方法を実証しています。これらのファイルから抽出されたデータは、アクセスしやすい小さなテーブルに保存され、これらのテーブルのデータは、データサイエンティストと組み合わせて働く電気エンジニアによって最近普及している畳み込みニューラルネットワークのアプローチを使用して、簡単な故障検出モデルを訓練するために利用されます。発電、電力供給、電力品質、電力利用を専門とする組織が、このアクセラレータで実証されたパターンを取り入れ、COMTRADE情報資産をより活用できるようにすることが期待されます。

Download now

Databricks 無料トライアル

関連記事

異常検知でエネルギーロスを未然に防ぐ

Original Blog : Anomaly Detection to Prevent Energy Loss 翻訳: junichi.maruyama 電力会社におけるエネルギー損失は、主に不正と漏電の2つに分類されます。不正(またはエネルギー窃盗)は悪意があり、メーターの改ざん、隣家への盗聴、さらには住宅地での商用負荷(栽培ハウスなど)の実行など、さまざまな可能性があります。メーターの改ざんは、従来は担当者が手作業でチェックしていましたが、最近のコンピュータビジョンの進歩により、ライダーやドローンを使ってチェックを自動化することができます。 エネルギー漏れは、通常、配管の破損など物理的な漏れを指すことが多いですが、より顕著な問題を含んでいることもあります。例えば、ヒートポンプ式の住宅では、冬に窓を開けっ放しにしておくと、異常なエネルギー消費を引き起こすことがあります。消費者をコスト上昇から守り、エネルギーを節約するためには、このような状況に対応する必要がありますが、人間優先のアプローチでは、エネルギー損失を

製造業向けレイクハウス

April 4, 2023 シヴ・トリサルSam SteinyBala Amavasai による投稿 in 業界
Original Blog : The Lakehouse for Manufacturing 翻訳: junichi.maruyama あらゆる業界が、生成的AI、データ共有、生産性、予測分析といったトピックについてどう考えるかが問われています。しかし、これは製造業において特に何を意味するのでしょうか?なぜこのようなシフトが重要なのでしょうか?なぜ、未来がそれに左右されるのでしょうか? 製造業は、次のSKU、機械、自動車、飛行機といった主要な生産単位を効率的に提供するだけでなく、より高い成長性、より安定した収益源、外部ショックに対するより高い回復力といった、より高い拡張性を示すテクノロジー対応のビジネスを提供することに常に焦点を当て、ビジネスを再構築しています。 この業界は膨大な量のデータ(小売、メディア、金融サービスなどの業界の2~4倍)を生成し、このデータは今後5年間で200~500%と推定される指数関数的な速度で成長しています。この膨大なデータの増加は、コネクテッドワーカー、ビル、車両、工場から発せられる
業界一覧へ