SAP FedMLを使用してSAP HANAデータをDatabricksに取り込む最速の方法

翻訳：Junichi Maruyama.  -  Original Blog Link

SAPが最近発表したDatabricksとの戦略的パートナーシップは、SAPの顧客の間で大きな興奮を呼んでいる。データとAIのエキスパートであるDatabricksは、SAP HANAとDatabricksを統合することで、アナリティクスとML/AI機能を活用するための魅力的な機会を提供します。このコラボレーションの大きな関心を受け、私たちはディープダイブ・ブログ・シリーズに着手することになりました。

多くのお客様のシナリオでは、SAP HANAシステムは、SAP CRM、SAP ERP/ECC、SAP BWなど、さまざまなソースシステムからのデータ基盤の主要なエンティティとして機能しています。そして今、この堅牢なSAP HANA分析サイドカーシステムをDatabricksとシームレスに統合し、組織のデータ機能をさらに強化するエキサイティングな可能性が生まれました。SAP HANAとDatabricksを接続することで、企業はSAP HANAに保存されている豊富で統合されたデータを活用しながら、Databricksの高度な分析と機械学習機能（MLflow、AutoML、MLOpsなど）を活用することができます。この統合により、企業は貴重な洞察を引き出し、SAPシステム全体でデータ主導の意思決定を推進する可能性が広がります。

Databricks で SAP HANA のテーブル、SQL ビュー、計算ビューにアクセスするには、複数の方法があります。しかし、最も手っ取り早い方法は、PyPiリポジトリからインストールできるSAP Federated ML Pythonライブラリ（FedML）を使用することです。最も大きな利点は、SAP FedML パッケージが Databricks 用のネイティブ実装を持っており、"execute_query_pyspark('query') "のようなメソッドで SQL クエリを実行し、取得したデータを PySpark DataFrame として返すことができることです。

SAP HANAとDatabricksの統合から始めよう。

このDatabricksとの統合をテストするために、SAP HANA 2.0がAzureクラウドにインストールされた。

Installed SAP HANA info in Azure:

以下は、この統合のさまざまなステップを示すハイレベルなワークフローです。

SAP FedMLを使用してSAP HANAの計算ビューとテーブルからDatabricksにデータを抽出する詳細な手順については、添付のnotebook を参照してください。

上記の手順を実行したら、SAP HANA接続情報を含むconfig_jsonを使用してDbconnectionを作成します。

db = DbConnection(dict_obj=config_json)

FedMLのexecute_query_pyspark APIを使用してデータフレームを作成し、スキーマ、テーブル名を指定して以下のようにセレクトクエリを渡します。

df_sap_ecc_hana_vbap = db.execute_query_pyspark('SELECT * FROM "ECC_DATA"."VBAP"')

計算ビューからデータを取得するには、次のようにしなければならない：
例えば、この計算ビューは内部スキーマ"_SYS_BIC "で作成されます。

このコードスニペットは、"df_sap_ecc_hana_cv_vbap "という名前のPySparkデータフレームを作成し、SAP HANAシステムの計算ビュー（この場合はCV_VBAP）からそのデータフレームに入力します。

df_sap_ecc_hana_cv_vbap = db.execute_query_pyspark('SELECT * FROM "_SYS_BIC"."ecc-data-cv/CV_VBAP"')

PySparkデータフレームを生成した後は、探索的データ分析（EDA）や機械学習/人工知能（ML/AI）のためにDatabricksの無限の機能を活用することができる。

上記のデータフレームをまとめると

このブログではSAP FedML for SAP HANAに焦点を当てていますが、同様の目的でsparkjdbc、hdbcli、hana_mlなどの代替方法が利用可能であることは注目に値します。

Notebook link