Processamento de eventos complexos

O que é processamento de eventos complexos (CEP)?

O processamento de eventos complexos (CEP), também conhecido como evento, stream ou processamento de stream de eventos, usa técnicas para consultar dados antes de armazená-los em um banco de dados ou, em alguns casos, até mesmo sem armazená-los. O processamento de eventos complexos é uma ferramenta de organização útil para agregar muitas informações diferentes e identificar e analisar relações de causa e efeito entre eventos em tempo real. O CEP combina eventos coletados de forma contínua com padrões, fornecendo insights sobre os eventos e tomando ações eficazes de forma proativa.

Eventos complexos exigem respostas em tempo real ou quase em tempo real e normalmente estão relacionados a eventos de negócios importantes (como oportunidades ou ameaças).

Principais usos do processamento de eventos complexos (CEP)

• Monitoramento de atividades de negócios: monitora processos de negócios e outros recursos críticos para detecção precoce de problemas e oportunidades.
• Redes de sensores: usadas para monitorar instalações industriais — normalmente, são derivadas de medições brutas (temperatura, fumaça etc.).
• Dados de mercado: como preços de ações e commodities, devem ser derivados de vários eventos e de suas relações por meio do CEP.

Ferramentas mais comuns usadas para processamento de eventos complexos

• Apache Spark Streaming no Databricks
• Apache Flink usado em Data Artisans
• Apache Samza no LinkedIn
• Apache Storm no Twitter
• Hadoop/MapReduce.
• Amazon Kinesis Analytics
• Microsoft Azure Stream Analytics, Stream Insight
• Fujitsu Software Interstage Big Data Complex Event Processing Server
• IBM Streams, Operational Decision Manager [ODM]
• Oracle Stream Analytics e Stream Explore

O processamento de eventos complexos é usado principalmente para atender aos seguintes requisitos: a baixa latência é essencial — normalmente, espera-se que a latência seja de alguns milissegundos ou menos, mas o tempo desde a chegada do evento até o processamento pode ser de apenas um milissegundo ou menos. Um volume bastante alto de eventos de entrada por segundo — normalmente, espera-se que centenas ou até milhares de eventos ocorram por segundo. Os padrões de eventos detectados são complexos e dependem de correlações temporais ou espaciais.