Traitement des événements complexes
Qu'est-ce que le traitement des événements complexes (CEP) ?
Le traitement des événements complexes, également appelé traitement des événements, de flux ou de flux d'événements, consiste à utiliser la technologie pour interroger des données avant de les stocker dans une base de données ou, dans certains cas, sans les stocker. Le traitement des événements complexes est un outil organisationnel qui permet d'agréger une grande quantité d'informations différentes. Il identifie et analyse en temps réel les relations de cause à effet entre les événements. Le CEP compare en continu les événements entrants à un modèle pour fournir des informations sur les activités, ce qui permet d'agir de façon proactive et efficace.
Les événements complexes sont généralement associés à des événements commerciaux importants (des opportunités ou des menaces, notamment), et supposent un traitement en temps réel ou en quasi-temps réel.
Le traitement des événements complexes a plusieurs domaines d'application :
- La surveillance de l'activité commerciale vise à identifier les problèmes et les opportunités à un stade précoce en supervisant les processus commerciaux et certaines ressources critiques.
- Les réseaux de capteurs sont utilisés pour la surveillance des installations industrielles. Ils produisent généralement des mesures numériques brutes (température, niveaux de fumée, etc.).
- Les données de marché, comme le cours des actions ou des matières premières, doivent être dérivées d'une pluralité d'événements et de leurs relations par le CEP.
Les outils courants du traitement des événements complexes :
- Apache Spark Streaming, utilisé par Databricks
- Apache Flink, utilisé par data Artisans
- Apache Samza, utilisé par LinkedIn
- Apache Storm, utilisé par Twitter
- Hadoop/MapReduce.
- Amazon Kinesis Analytics
- Microsoft Azure Stream Analytics, Stream Insight
- Fujitsu Software Interstage Big Data Complex Event Processing Server
- IBM Streams, Operational Decision Manager (ODM)
- Oracle Stream Analytics et Stream Explore
Le traitement des événements complexes est principalement utilisé pour satisfaire un impératif clé : une latence minimale. On s'attend généralement à ce qu'elle soit de l'ordre de quelques millisecondes, mais on peut passer en dessous du seuil de la milliseconde entre l'arrivée d'un événement et son traitement. Le volume d'événements entrants par seconde est très élevé. Il faut compter avec des centaines d'événements par seconde, voire plusieurs milliers. Les modèles d'événements à détecter sont complexes : certains reposent sur des relations temporelles, d'autres sur des relations spatiales.