IGS Energy utilise l’IA et le ML pour simplifier les prévisions et la détection des anomalies

IGS Energy s’engage à construire un avenir plus vert. Dans le cadre de sa mission visant à mettre à la disposition de tous une énergie fiable, abordable et propre, IGS propose diverses solutions énergétiques durables, notamment de l’électricité renouvelable, du gaz naturel neutre en carbone et de l’énergie solaire. En tant que fournisseur d’énergie retail dans le Midwest, IGS fournit de l’électricité et du gaz naturel à plus d’un million de clients américains, qu’il s’agisse de professionnels ou de particuliers. 

« Les données sont essentielles à notre mission, car elles nous aident à rendre nos offres plus fiables et plus compétitives pour nos clients », souligne Dan Shah, Manager of Data Science chez IGS Energy. Lorsque son ancien système sur site n’a plus été en mesure de faire face à l’énorme quantité de données à traiter quotidiennement, IGS a cherché à mettre en œuvre une plateforme data évolutive et robuste. En intégrant Snowflake au cœur de son infrastructure de données, IGS est parvenu à atteindre plusieurs objectifs commerciaux en matière d’IA et de ML, allant de la prévision de la demande à la détection d’anomalies.

Bien que les données soient essentielles à la mission d’IGS, l’entreprise s’appuyait auparavant sur une ancienne infrastructure de données on‑premise qui limitait la capacité de l’équipe à accomplir son travail au quotidien de manière précise et efficace. « L’ensemble de nos flux de travail dépendaient les uns des autres », explique Dan Shah. « Si un maillon de la chaîne se brisait, il était difficile de le dissocier du reste. De plus, nous rencontrions de nombreuses difficultés lorsqu’il s’agissait d’améliorer le processus. »

Ces défis étaient particulièrement problématiques lorsqu’il s’agissait de prévoir la demande, qui représente une partie essentielle de l’activité d’IGS et exige la plus grande précision. « Nous prenons des décisions d’achat en matière d’énergie tous les jours, et ces décisions nécessitent des prévisions », insiste Dan Shah. Ces transactions vont des décisions à long terme concernant l’achat et la vente d’énergie aux transactions sur le marché « day‑ahead » de l’énergie, qui permet aux acteurs du marché d’acheter ou de vendre de l’électricité en gros un jour avant le jour d’exploitation afin d’éviter la volatilité des prix.

Les modèles de prévision optimisés par le ML d’IGS nécessitent de grandes quantités de données, notamment des informations sur la météo, l’historique de la consommation d’énergie, les détails des comptes et les dates des contrats. Dans la mesure où les prix de gros de l’électricité varient selon l’heure de la journée, l’entreprise doit prévoir la consommation d’électricité horaire pour la durée du contrat d’un client, qui peut s’étendre sur plusieurs années. Les données produites au cours de ce processus peuvent atteindre 40 à 50 milliards de lignes et dépasser le téraoctet. « Si un problème survient en amont lors de la prévision, le processus ne fonctionne pas et nous risquons de perdre beaucoup d’argent », ajoute Dan Shah.

IGS s’est ensuite tourné vers Snowflake pour trouver une solution évolutive et flexible. « Le Data Cloud semblait être le moyen le plus rentable et le plus rapide de stocker, d’interroger et d’utiliser cet énorme volume de données », explique Dan Shah. « Snowflake a joué un rôle important dans notre volonté de rendre les données plus utiles, interprétables et exploitables », conclut‑il.

Grâce à Snowflake, l’équipe de Dan Shah a créé son modèle de prévision de la demande « nouvelle génération ». « La prévision de la demande est généralement plus précise au niveau le plus granulaire », explique Dan Shah. « Toutefois, nous utilisions un modèle prédictif par compte et compte tenu des nombreux comptes clients, cela entraînait des frais généraux colossaux. » IGS est donc passé de l’entraînement d’un modèle par client à l’entraînement d’un modèle unique et unifié dans Snowflake : un changement qui a permis de réduire la complexité et de maintenir une grande précision tout en réduisant les coûts d’entraînement de 75 %.

« Auparavant, le processus d’entraînement de tous ces modèles et de génération de prévisions prenait une demi‑heure », souligne Dan Shah. « Désormais, le modèle unifié de Snowflake est très rapide. Quelques minutes suffisent pour générer des prévisions pour des centaines de milliers de clients. Cette rapidité et cette simplicité nous permettront de débloquer des capacités supplémentaires pour l’entreprise, comme la simulation et la prévision de scénarios. »

Selon Dan Shah, les avantages potentiels de leur modèle de prévision alimenté par Snowflake surpassent largement IGS. « Nous sommes convaincus que cette approche pourrait fonctionner en dehors du secteur de l’énergie, par exemple dans le secteur du retail ou de la chaîne d’approvisionnement », précise Dan Shah. « Ce modèle s’applique à tous les secteurs d’activité dans lesquels la prévision constitue un défi en raison du nombre de prévisions qui doivent être créées. »

En plus de fournir de l’énergie renouvelable via le réseau public, IGS propose également l’installation de panneaux solaires sur les toits. Une fois ces derniers installés, l’entreprise surveille leur production d’énergie pour s’assurer de leur bon fonctionnement.

Auparavant, IGS détectait manuellement toute anomalie de performance, en exportant les moyennes de production historiques de son serveur SQL on‑premise vers une feuille Excel, puis en les comparant à la production. Toutefois, ce processus manuel prenait beaucoup de temps et n’était pas suffisamment précis. « Il est essentiel de détecter ces anomalies pour que nos clients puissent profiter d’une expérience satisfaisante de leurs panneaux solaires », insiste Dan Shah. « Avant Snowflake, nous étions confrontés à un risque de faux négatifs, c’est‑à‑dire que nous passions à côté d’anomalies, mais aussi à un risque de faux positifs, ce qui signifiait que nous avions beau employer les grands moyens, nous ne trouvions aucun problème. »

L’équipe de Dan Shah s’est par la suite tournée vers Streamlit pour mettre au point son idée d’un modèle optimisé par le ML qui utilise les données météorologiques et les spécifications des panneaux solaires pour prédire les performances insuffisantes. Grâce à la facilité d’utilisation de Streamlit, l’équipe est parvenue à créer une première application de détection d’anomalies pour les parties prenantes internes en seulement deux semaines. « Streamlit a permis à nos data scientists d’effectuer certaines tâches d’ingénierie, de développer des modèles avec Snowpark et notre activité », explique Dan Shah. « C’est un outil simple qui leur permet d’accomplir leurs tâches de data science sans avoir à s’inquiéter de travailler en dehors de leur écosystème. »

Tout en se tournant vers l’avenir, Dan Shah et son équipe continuent de rechercher de nouvelles façons innovantes de générer de la valeur grâce aux données. Dans cette optique, Snowflake est un partenaire clé, qu’il s’agisse d’exploiter la valeur de l’IA et du ML ou de générer de nouvelles opportunités commerciales avec la Marketplace Snowflake. « La Marketplace Snowflake représente un avantage considérable », explique Dan Shah. « Elle fait abstraction de l’extraction, du chargement et de la transformation (ETL) des données ainsi que de la maintenance des schémas, ce qui nous permet d’accéder facilement à une grande variété d’ensembles de données de haute qualité et de les utiliser, le tout dans notre environnement Snowflake, associé à nos données. »  

À l’avenir, IGS envisage également d’explorer la question de l’utilisation de données géospatiales et démographiques pour identifier les bâtiments susceptibles de constituer de bons candidats pour des solutions d’énergie renouvelable.