効果的なキャンペーンは、商品の売上を増やし、在庫を処分し、顧客を増やし、新商品を紹介することで、企業の収益を向上させることができます。キャンペーンには、オフラインまたはオンラインチャネルを通じた販売促進、クーポン、リベート、季節割引などが含まれます。
そのため、キャンペーンを綿密に計画 し、その効果を確実にすることが重要です。キャンペーンが販売成績に与える影響を分析することも同様に重要です。効率的な分析により、企業は過去のキャンペーンから学び、今後の販売促進を改善することができます。
チャレンジとモチベーション： 過去のデータを分析し、マーケティングキャンペーンのために正確な機械学習予測を行うことは、非常に困難なことです。それぞれのキャンペーンには独自の指標があり、それぞれのケースに合った分析アプローチを適応させる必要があります。さらに、キャンペーンではさまざまなデータソースやプラットフォームを利用するため、データ形式や構造も多種多様になります。これらの多様なソースからのデータを統合データセットに統合することは困難であり、徹底的なデータ統合とクレンジング手順を必要とします。データの正確性を確保し、時間枠を調整し、予測に関連する特徴を設計することが不可欠であり、これがこの分析作業の複雑さをさらに高めています。
解決策 そこで、ビジネス・データ・ファブリック・アーキテクチャをサポートするソリューションが、すべてをより簡単かつ効率的にします。
SAP Datasphere は、SAP BTP 上に構築された包括的なデータサービスであり、ビジネス・データ・ファブリック・アーキテクチャの基盤です。SAP Datasphere の分析モデルを使用することで、これらの複数のソースからのデータを重複させることなく整合させることができます。キャンペーンの効果を評価する重要な指標の1 つは、クリック数やインプレッション数を含むトラフィック指標です。キャンペーンにまつわるすべての指標をストリームし、収集し、統合する効率的な方法を持つことが重要です。
Databricksデータインテリジェンスプラットフォーム は、企業がすべてのデータとAIを効果的に管理、活用、アクセスできるようにします。レイクハウス・アーキテクチャをベースに構築されたこのプラットフォームは、データとAIにまたがる統合ガバナンス・レイヤーと、ETL、SQL、機械学習、BIにまたがる単一の統合クエリ・エンジンを備え、データレイクとデータウェアハウスの最良の要素を組み合わせることで、コスト削減とデータおよびAIイニシアチブの迅速な実現を支援します。Unityカタログは、構造化データ、非構造化データ、機械学習モデル、ノートブック、ダッシュボード、ファイルをさまざまなクラウドやプラットフォームで効率的に管理できるようにします。Unity Catalogを通じて、データサイエンティスト、アナリスト、エンジニアは、信頼性の高いデータとAI資産を発見、アクセス、コラボレーションするためのセキュアなプラットフォームを得ることができます。この統合されたガバナンスアプローチは、合理的な方法で規制コンプライアンスを確保しながら、データとAIの両方のイニシアチブを加速します。
Figure 1: SAP/Databricks platforms Joint Architecture SAP DatasphereとDatabricks Platformは、高度なアナリティクス、予測、360o キャンペーン分析のためのキャンペーン費用に対する売上高の比較を通じて、ビジネスデータに価値をもたらします。
Figure 2: End to End data flow キャンペーン分析には3つのデータソースがあります：
a. 販売履歴データ ：このデータはSAP S/4HANAの財務データから生成され、過去の販売情報の豊富なソースを提供します。
b.キャンペーンデータ ：このデータは、SAP Marketing Cloud システムから取得し、さまざまなマーケティング キャンペーン戦略とその結果に関する洞察を提供します。
c.クリックストリームデータ ：Kafka経由でDatabricksにストリーミングされるクリックストリームデータは、リアルタイムのユーザーインタラクションをキャプチャし、分析を強化します。
2つの異なるプラットフォームにまたがるキャンペーンデータの包括的な分析について探ってみましょう。SAP Datasphere は、各プラットフォームの強みを活かして、さまざまな SAP システムのデータを統合します。Databricksは強力な機械学習機能でキャンペーン効果を予測し、Databricks SQLは洞察に満ちたビジュアライゼーションで理解を深めます。
1. クリックストリームデータのストリームと収集 Apache Spark™によるDatabricksネイティブの構造化ストリーミング機能を使用し、Apache Kafkaとシームレスに統合できます。 Kafka コネクタを使用すると、Clickstream データをリアルタイムでデータベースにストリーミングして分析できます。 以下は、Kafkaトピックに接続し、そこから読み取るためのコードスニペットと、詳細なドキュメントへのリンク です。
df = (spark.readStream
. format ( "kafka" )
.option( "kafka.bootstrap.servers" , "<server:ip>" )
.option( "subscribe" , "<topic>" )
.option( "startingOffsets" , "latest" )
.load()
)2. SAP Datasphere 分析モデルとのデータの統合と調和 SAP Datasphereの統一された多次元分析モデルは、SAPソースからのセールスおよびキャンペーンデータと、DatabricksのClickStreamを重複することなく仮想的に結合するのに役立ちます。販売履歴 & キャンペーンデータへのアクセスに役立つ様々な SAP ソースを SAP Datasphere に 接続する方法については、こちら を参照してください：
Figure 3: Unified data model in SAP Datasphere 3. SAP FedMLを使用した営業予測用Databricksプラットフォームへのデータ連携 Databricks 用の SAP FedML python ライブラリを使用すると、機械学習シナリオのために SAP Datasphere から Databricks にデータを連携させることができます。このPythonライブラリ（FedML）はPyPiリポジトリからインストールします。"execute_query_pyspark('query')" のようなメソッドで SQL クエリを実行し、取得したデータを PySpark DataFrame として返すことができます。ここにコード・スニペットを示しますが、詳細な手順については添付のノートブック を参照してください。
from fedml_databricks import DbConnection
#Create the Dbconnection using the config_json which carries the SAP
#Datasphere connection information.
db = DbConnection(dict_obj=config_json)
df_sales = db.execute_query_pyspark( 'SELECT * FROM "SALES"
."SALES_ORDERS"' ) 4. Databricks上のAI AIアプリケーションアーキテクチャ
さらに、私たちのアプリケーションは、Databricks が管理するバージョンの MLflow を利用し、Experiments を通じてモデルの反復とモデルのメトリクスを追跡します。フィーチャーエンジニアリングクライアントは、"フィーチャーを意識した" 方法で、最適なモデルをモデルレジストリに登録することをサポートし、アプリケーションが実行時にフィーチャーを検索できるようにします。Feature Engineeringクライアントにはバッチスコアリングメソッドも含まれており、推論を行う前にトレーニング時と同じ前処理を行います。これらの機能はすべて、運用と保守が容易で堅牢なMLアプリケーションを作成するために連携します。 また、DatabricksはGitリポジトリと統合し、MLOpsのベストプラクティスを通じてエンドツーエンドのコードとモデルの管理を実現します。
特徴とモデルの詳細
5. Databricks SQLでの可視化 Databricks SQL は、急速に進化するデータウェアハウスとして際立っており、多彩なビジュアライゼーションのための堅牢なダッシュボード機能を備えています。印象的なダッシュボードをカスタマイズして作成し、過去のデータ分析から前のステップで行われたML分析後の予測的洞察へとシームレスに移行します。私たちは最近、Lakeviewダッシュボード（ブログ ）を発表しました。ビジュアライゼーションが向上し、レンダリングが最大10倍速くなりました。Lakeviewは、Databricksに直接アクセスできない組織内のコンシューマーとの共有や配布に最適化されています。ユーザーフレンドリーなインターフェースと統合されたデータセットで設計を簡素化します。さらに、ガバナンスと透明性を強化するために、ビルトインのリネージ情報を提供するプラットフォームと統合されます。
Figure 4: Campaign effectiveness(Prediction) Dashboard on Databricks SQL 6. 結果を SAP Datasphere に書き戻し、キャンペーン指標と売上予測を比較 SAP FedML は、予測結果を SAP Datasphere に書き戻す機能も提供しており、SAP の履歴販売データと SAP キャンペーンマスターデータに対して、統一されたセマンティックモデルでシームレスに結果を並べることができます。
EDAとML分析がデータフレームに対して実行された後、推論結果は SAP Datasphere に保存できます。
create_table API コールを使用して、SAP Datasphere にテーブルを作成できます。
db.create_table( "CREATE TABLE DS_SALES_PRED (CUSTOMERNAME Varchar(20),
PRODUCTLINE Varchar(20), STATUS Varchar(20), PRODUCTCODE Varchar(20),
SALES FLOAT, Predicted_SALES FLOAT)
" ) insert_into_table メソッドを使用して、予測結果を SAP Datasphere のDS_SALES_PREDテーブルに書き込みます。ここで、ml_output_dataframeは、MLモデルの予測結果の出力です。詳しくは機械学習ノートをご覧ください。
db.insert_into_table( 'DS_SALES_PRED' , ml_output_dataframe) 7. SAP SAP Analytics Cloudでの可視化 この統一モデルはSAP Analytics Cloudに公開され、強力なセルフサービスツールと可視化機能を通じて、ビジネスユーザーが効率的なアナリティクスを実行できるよう支援します。
Figure 5: Campaign effectiveness Dashboard on SAP SAC 概要 Databricks Data Intelligence Platform と SAP Datasphere は互いに補完し合い、複雑なビジネス上の問題を解決するために連携することができます。例えば、マーケティングキャンペーンの効果を予測・分析することは企業にとって不可欠であり、両プラットフォームはその達成を支援することができます。SAP Datasphereは、SAP S/4HANAやSAP Marketing Cloudなど、SAPの重要なシステムからデータを集約することができます。一方、Databricks PlatformはSAP Datasphereと統合し、さまざまなソースからデータを取り込むことができます。さらに、DatabricksはAI用の強力なツールを提供しており、マーケティングキャンペーンデータの予測分析に役立ちます。詳細な分析と可視化は、Databricks SQL Lakeviewダッシュボードを使用して行うことができます。
詳細なノートをチェックしてください： データエンジニアリングノートブック：このノートブック では、SAP Datasphere からデータを取り込むための SAP FedML と、すべてのデータセットのモデリング Campaign+Sales+Clickstream について説明します。 機械学習ノートブック：このノートブック では、MLflow、Feature Store、モデルのトレーニング/予測などのDatabricks上での機械学習について説明します。 
