Nousot e Xcel Energy: Utilizando IA e Inteligência Geoespacial para Mitigação de Desastres Naturais

Para empresas de utilidades como a Xcel Energy, a mitigação de incêndios florestais é fundamental para proteger a infraestrutura elétrica e minimizar o risco de eventos de ignição relacionados à utilidade. As estratégias de mitigação típicas incluem gestão de vegetação, fortalecimento da rede, avaliações de risco, desligamentos de energia para segurança pública (PSPS) e aproveitamento de tecnologias avançadas como IA e sensores. Um desafio comum para este caso de uso é a análise de dados geoespaciais em conjunto com os dados estruturados disponíveis. A análise geoespacial envolve o estudo de dados vinculados a locais específicos na Terra, o que é crucial para entender vários fenômenos e interações. Exemplos comuns incluem aplicativos de navegação, fotos geotagged e mapas meteorológicos. No entanto, trabalhar com dados geoespaciais apresenta desafios em relação à privacidade de dados e rastreamento de localização, a necessidade de ferramentas de software complexas para lidar com vários formatos de dados (como GeoJSON e Shapefile), e a gestão de grandes conjuntos de dados que podem ser computacionalmente intensivos. Além disso, desafios em torno da precisão e distorção podem surgir ao mesclar dados de diferentes fontes devido a sistemas de coordenadas variáveis e unidades de medida. Apesar dessas complexidades, os dados geoespaciais desempenham um papel vital na estratégia e operações da Xcel Energy. Para aproveitar totalmente esses dados vitais, é necessária uma solução que supere esses desafios para permitir a integração eficaz e análise de insights geoespaciais para lidar com riscos de incêndios florestais.

Casos de uso

A mitigação de incêndios florestais é uma iniciativa importante para a Xcel Energy, com $500 milhões investidos em atividades de mitigação de incêndios florestais desde 2020. A Xcel Energy propôs uma estratégia multifacetada em seu Plano de Mitigação de Incêndios Florestais 2025-2027 para o Colorado, que inclui manutenção e atualizações do sistema, medidas preventivas operacionais e ampla consciência situacional. Esses esforços dependem de modelos avançados de aprendizado de máquina e geoespaciais para calcular métricas de risco de incêndio florestal com base em previsões meteorológicas em tempo real. Em colaboração com a Nousot, a Xcel Energy usa a Plataforma de Inteligência de Dados Databricks e bibliotecas geoespaciais como a indexação H3 para transformar dados meteorológicos complexos em saídas tabulares simplificadas. Esses dados otimizados suportam fluxos de trabalho de aprendizado de máquina eficientes e abrem portas para soluções de IA generativa para contextualizar e consultar informações geoespaciais. Essas tecnologias permitem insights de risco mais rápidos e precisos para as equipes de meteorologia e ativos. A iniciativa aumenta a cobertura dos dados de interrupção de energia da Xcel Energy analisados em 3,3X, melhora a precisão em 4,1X, enquanto reduz o tempo de processamento em 64X.

Usando a funcionalidade Spatial SQL e H3 do Databricks, somos capazes de processar terabytes de dados meteorológicos geoespaciais, o que permite uma tomada de decisão de alto impacto mais rápida.

— Rob Foster, Principal Cientista de Dados, Xcel Energy

Realizando Análise Geoespacial na Plataforma Databricks

O poder de realizar análises geoespaciais na Plataforma Databricks está no alto desempenho, precisão e escalabilidade da solução. A Xcel Energy pode processar e analisar de forma mais eficiente centenas de grandes arquivos meteorológicos - muitos contendo várias bandas de dados - em menos de uma hora. Esta façanha teria sido praticamente impossível com sistemas GIS legados. Essa capacidade permite que os stakeholders de meteorologia e gestão de ativos tomem decisões informadas e oportunas para mitigar o risco de incêndios provocados por ativos elétricos. Em 2025, a Xcel Energy planeja aproveitar as saídas tabulares deste processo para treinar modelos de aprendizado de máquina que podem ajudar a prever riscos de incêndio e interrupções de energia.

O seguinte exemplo demonstra como a Plataforma Databricks suporta análises geoespaciais, usando o Índice de Potencial de Incêndio em Áreas Silvestres (WFPI) calculado pelo Serviço Geológico dos Estados Unidos (USGS). O USGS libera 7 dias de previsões WFPI todos os dias, que a Xcel Energy usa como parte de sua modelagem de risco de incêndio florestal aritmética e IA. Um mapa das medições WFPI nos Estados Unidos é mostrado na Figura 1 abaixo. Pixels amarelos e vermelhos indicam alto risco de incêndio, verde mostra risco menor, e áreas cinza/brancas representam regiões não medidas como terras agrícolas ou neve. Considerando a natureza sensível dos dados de ativos da Xcel Energy, este exemplo usa o Estado de Oregon como um proxy (Xcel Energy não opera em Oregon).

Os dados de imagem geoespacial geralmente cobrem áreas enormes, como mostrado na Figura 1. Realizar a indexação H3 em resoluções de grão fino em uma área tão grande pode ser computacionalmente caro e muitas vezes desnecessário; a Xcel Energy só precisa processar as áreas geográficas nas quais seus ativos residem. Para resolver isso, o próximo passo é "recortar" a imagem inicial e focar nas áreas de interesse. Em seguida, calculamos os valores do Índice de Potencial de Incêndio em Áreas Selvagens (WFPI) para cada hexágono H3 na resolução desejada dentro da área de interesse. Esses valores H3 podem então ser armazenados em Delta Live Table ou visualizados com bibliotecas Python. Mantendo o exemplo do estado de Oregon, a Figura 2 é uma visualização dos níveis de risco WFPI cortados e indexados para um dia específico de verão. Note que a visualização pode ser gerada em um Notebook Databricks ou em Apps Databricks.

Para ilustrar a resolução espacial do H3, vamos dar um zoom na área destacada pela caixa verde.

Na resolução H3 7, cada hexágono cobre aproximadamente 5,16 quilômetros quadrados com um comprimento lateral de cerca de 1,41 km.

Muitos recursos da visualização são personalizáveis; neste exemplo, os valores potenciais de incêndio medidos são mapeados para as mesmas cores da imagem original. Observe os contrastes acentuados de cor entre os hexágonos adjacentes. Essas variações no WFPI destacam a precisão possibilitada pelo sistema de indexação H3.

Esse mesmo processo é repetido para várias previsões e observações meteorológicas, juntamente com vários tipos de ativos da Xcel Energy. O resultado é uma coleção de dados ambientais e de ativos, todos no mesmo domínio H3. Esses dados servem como uma base sólida para treinar modelos ML e GenAI. Existem várias áreas de impacto para o Wildfire AI. Estes incluem o uso de Modelos de Linguagem Grande (LLMs) para revisar notas de ordens de trabalho e relatórios de interrupção de equipes de campo para determinar se ocorreu um evento de ignição, como faíscas. As faíscas são geralmente devido ao contato com vegetação seca, fios caídos ou equipamentos com defeito, e podem possivelmente iniciar incêndios. Os LLMs são registrados no MLflow para desenvolvimento, rastreamento de experimentos e gerenciamento. Os LLMs podem ser produzidos para inferência em tempo real com o Mosaic AI Model Serving. Esta abordagem alimentada por GenAI alcança 100% de completude de dados para eventos de interrupção, uma melhoria transformadora em relação ao processo manual anterior, que capturou apenas 30% - eliminando lacunas críticas de dados, economizando horas de pessoal e aprimorando as capacidades operacionais. Vários outros modelos de IA/ML estão atualmente sendo projetados para prever e simular uma série de cenários, incluindo a previsão da probabilidade de ignição de ativos. As interações com os dados H3 usando linguagem natural são facilitadas com ferramentas Databricks como AI/BI Genie e AI Functions.

Esta abordagem escala facilmente no Databricks e desbloqueia a IA acelerando a entrega do modelo de ML.

— Cindy Hoffman, Diretora de Estratégia de Dados, Xcel Energy

Ao integrar análises geoespaciais na Plataforma Databricks, a Nousot equipa a Xcel Energy com a precisão e escalabilidade necessárias para abordar proativamente os riscos de incêndios florestais. Esta solução capacita a empresa a tomar decisões rápidas e informadas, baseadas em análises de risco localizadas e processamento eficiente de dados climáticos complexos, melhorando tanto a segurança da comunidade quanto a eficiência operacional.

Soluções Databricks

A Plataforma de Inteligência de Dados Databricks aborda as limitações dos lagos de dados tradicionais em análises e transações, bem como os altos custos e inflexibilidade dos armazéns de dados. É altamente escalável para todos os tipos de dados, enquanto suporta transações ACID para confiabilidade e versionamento de dados e aplicação de esquema para consistência. O Catálogo Unity melhora a gestão de dados ao fornecer controle centralizado para acesso, auditoria e gestão de metadados de dados estruturados e não estruturados, bem como modelos de ML e IA. Além disso, a plataforma suporta computação sem servidor para rápida disponibilidade em Armazéns SQL e Notebooks, enquanto o Photon Engine aumenta significativamente o desempenho da consulta. O Databricks também facilita configurações de carga de trabalho flexíveis e atualizações oportunas por meio de seus Fluxos de Trabalho, Jobs e Delta Live Tables, todos integrados no Catálogo Unity para melhor visibilidade da linhagem e transformações de dados.

Por que Databricks para Análise Geoespacial?

Além de suas avançadas capacidades de armazenamento de dados, versionamento e governança, a Plataforma Databricks possui vários recursos que suportam cargas de trabalho geoespaciais.

SQL Espacial

Atualmente em pré-visualização privada, a Databricks oferece mais de 70 funções SQL Espaciais para trabalhar com dados vetoriais como coordenadas, pontos, linhas e polígonos. O acesso às funções de pré-visualização pode ser solicitado através deste formulário. Este novo recurso dá aos usuários fácil acesso a dados geoespaciais complexos através da linguagem de dados SQL, em vez de exigir habilidades proprietárias.

Indexação de Grade

A indexação de grade geoespacial é uma técnica que organiza dados espaciais em uma grade para melhorar o desempenho e facilitar a recuperação. Entre vários sistemas de indexação, o H3 Global Grid Indexing é recomendado por sua capacidade de escalar com alto desempenho.

Desenvolvido e de código aberto pela Uber, o H3 modela a superfície da Terra usando uma hierarquia de grades hexagonais (com alguns pentágonos). Oferece 16 níveis de resolução, com números de resolução mais baixos indicando áreas geoespaciais maiores. Por exemplo:

• Resolução 0: Área média da célula de 4,3 milhões de quilômetros quadrados
• Resolução 15: Área média da célula de 0.895 metros quadrados

Essa flexibilidade permite que as empresas selecionem a granularidade de resolução mais adequada às suas necessidades. Databricks suporta Indexação de Grade Global H3 através de funções SQL H3, com mais de 30 funções atualmente disponíveis para processamento simplificado de dados geoespaciais. A Figura 5 ilustra um exemplo de indexação H3.

Análise Geoespacial Avançada

Rasters (como mapas de previsão do tempo e imagens de satélite) podem ser mais difíceis de trabalhar. Em um raster, cada pixel na imagem representa uma medição sobre uma área geoespacial específica. Por exemplo, o conjunto de dados climatológicos ERA5 contém estimativas de variáveis climáticas atmosféricas, terrestres e oceânicas com uma resolução espacial de 30km por pixel. O projeto NOAA Operational Model Archive and Distribution System (NOMADS) permite o compartilhamento de dados e modelos de várias agências e instituições, como previsões atmosféricas em várias resoluções diferentes. Rasters dessas agências podem conter várias camadas ou bandas de dados no mesmo arquivo, o que significa que pode haver bandas separadas para temperatura da superfície, velocidade do vento e umidade relativa, e estar em uma variedade de formatos de arquivo, incluindo GeoTIFF, NetCDF, GRIB e HDF4/5.

A biblioteca databricks-mosaic da Databricks Labs suporta a interação com esses tipos de arquivos complexos, bem como o suporte raster emergente de um projeto sucessor, spatial-utils. Databricks-mosaic é uma extensão geoespacial escalável para Apache Spark™ que reúne as capacidades de vários frameworks de código aberto. A biblioteca tem funções para ler metadados de arquivos e bandas, extrair as bandas desejadas e realizar indexação H3 em rasters, bem como fazer medições (mínimo, máximo, média ou mediana) de valores de pixel dentro de cada célula H3. Este processo transforma rasters complexos em dados tabulares simples.

Suporte para bibliotecas comuns

A Plataforma Databricks suporta o uso de muitas bibliotecas geoespaciais baseadas em Python de terceiros, como Shapely, GeoPandas, Rasterio, Sedona e Xarray. Uma biblioteca mais recente que está ganhando popularidade é a Analytics Toolbox for Databricks gratuita da CARTO, que combina funções nativas do Databricks e Sedona e funções fornecidas pela CARTO. O GeoAnalytics Engine da Esri no Databricks é outra opção poderosa, enquanto as visualizações são suportadas por bibliotecas como matplotlib, Plotly, Cartopy e Kepler.gl. Usando Painéis Databricks e Apps Databricks para servir gráficos, tabelas e mapas fornece uma interface simples para os usuários obterem insights e explorarem os dados.

​A ​Databricks​ tem inovado na vanguarda de dados e IA​ desde a sua criação. ​Através de nossos investimentos contínuos​, juntamente com grandes parceiros como a Nousot, ​os clientes​ estão usando nossa Plataforma de Inteligência de Dados ​para ​lidar eficientemente com a ingestão, processamento, análise, construção de modelos e necessidades de serviço à medida que ampliam os casos de uso espaciais​.

— Michael Johns, Líder Especialista em Geoespacial, Databricks

Expansão de Casos de Uso

Seja trabalhando com dados de ponto ou rasters complexos, a Databricks é uma plataforma ideal para análises geoespaciais. O caso de uso de mitigação de incêndios florestais da Xcel Energy também é aplicável a outras iniciativas, como previsão do tempo, resposta a tempestades, gestão de vegetação, mitigação de riscos, previsão de demanda, mobilidade humana, planejamento de infraestrutura, operações de varejo e agricultura de precisão.

A análise geoespacial no Databricks oferece a oportunidade de entregar valor comercial quantificável, capitalizando os ativos da solução e reduzindo os custos tradicionais de O&M.

— Giacomo Listi, Líder de Prática de Energia & Utilidades, Nousot

Databricks continua a investir em suas capacidades geoespaciais, com suporte para dezenas de funções SQL geoespaciais, indexação H3 e poderosas bibliotecas de código aberto. Essas soluções fornecem uma base sólida para a construção de modelos GenAI e ML com contexto e consciência espacial.

A Nousot é uma parceira de consultoria Databricks focada em entregar casos de uso de IA e análises orientadas por resultados de negócios. Sua prática de Energia & Utilidades adapta soluções aos desafios específicos deste setor, proporcionando transformação em previsão de demanda de energia, resultados de casos de tarifas, medidor inteligente AMI, engajamento do cliente GenAI, mitigação de incêndios florestais, resiliência da rede, conformidade regulatória acelerada GenAI, e mais.

Este post do blog foi co-autoria de Caleb Morrison & Giacomo Listi (Nousot), Cindy Hoffman & Rob Foster (Xcel Energy), e Michael Johns (Databricks).

Se você tem casos de uso que gostaria de discutir, entre em contato com a Nousot em [email protected]

(This blog post has been translated using AI-powered tools) Original Post