B4
Savoir mettre en œuvre de la Business Intelligence dans une entreprise. Connaître et appliquer les principes de data mining. Maîtriser la sécurité des données.
Savoir mettre en œuvre de la Business Intelligence dans une entreprise
La Business Intelligence (BI) est un ensemble de processus, d'applications et de technologies qui permettent de collecter, de stocker, d'analyser et de restituer des informations sur l'activité de l'entreprise. La BI permet de transformer les données en informations, puis en connaissances, pour aider les décideurs à prendre des décisions éclairées.
Koloka
Dans ce projet j'ai pu mettre en avant des graphiques sur des données pertinentes pour le business continuity mais aussi pour prévenir sur des sinistres avec des systèmes d'alertes.
On peut monitorer le cluster Kubernetes avec Grafana et Prometheus pour avoir une vue d'ensemble sur l'état du cluster et des applications qui tournent dessus. On peut aussi avoir des alertes en cas de problème sur le cluster ou sur les applications.
Je peux aussi observer la base de données et ses réplications pour être sûr que les données sont bien synchronisées et qu'il n'y a pas de problème de cohérence.
CIMO
Il s'agit du projet exclusivement basé sur la Business Intelligence. Dans ce projet il y avait deux parties :
- Apprendre, transposer et transmettre les connaissances sur la Business Intelligence, en particulier sur l'environnement Fabric de Microsoft.
J'ai une vue d'ensemble sur le processus de Business Intelligence, de la collecte des données à la restitution des informations.
J'ai donc rédiger un document en plus de l'officiel en me concentrant sur le module Real Time Analytics (opens in a new tab).
- Extraire, transformer et charger les données pour les rendre exploitables, ainsi que de les visualiser.
Pour cela j'avais comme tâche de transformer les données brutes, c'est à dire, typiquement si une colonne est de plusieurs types, il fallait l'éclater en plusieurs colonnes.
Ensuite lorsque les données sont dans un état de meilleure qualité, il a fallu faire des tratement de claclus tout en préservant le svaleurs originales.
J'ai utilisé un notebook en python pour faire cela :
Voici les éléments que j'ai réalisé avec le module Real Time Analytics de Microsoft Fabric :
Voici un dashboard que j'ai réalisé avec Power BI :
Connaître et appliquer les principes de data mining
Le data mining est une technique d'analyse de données qui permet d'extraire des informations utiles à partir de grandes quantités de données. Le data mining utilise des algorithmes et des modèles statistiques pour identifier des tendances, des corrélations et des modèles cachés dans les données.
Voyage Apprenant
Pour cette partie, je vais présenter pouvoir utiliser le projet du voyage apprenant.
J'ai notamment réaliser deux partie du projet qui était la mise en place de deux modèle d'IA en local.
Le but était d'utiliser ces modèles statistiques afin d'automatiser des processus chronophages et pouvoir ressortir des éléments pertinents.
J'ai donc travailler sur le code pour intégrer un modèle de computer vision afin d'analyser les objets présents dans des images et pouvoir les identifier dans un texte donné. Puis j'ai utilisé un modèle qui permet de ressortir l'émotion d'un visage.
Voici un apercçu des block de code que j'ai réalisé :
Maîtriser la sécurité des données
La sécurité des données est un enjeu majeur pour les entreprises, qui doivent protéger leurs données contre les attaques et les fuites. La sécurité des données consiste à mettre en place des mesures de protection pour garantir la confidentialité, l'intégrité et la disponibilité des données.
Koloka
Dans le projet Koloka, j'ai dû penser à différentes mesures de sécurité pour protéger les données de l'application. J'ai mis en place des règles de sécurité pour protéger l'accès aux données sensibles au niveau de l'infrastrcture.
La partie DevSecOps, avec DAST & SAST et les tests unitaires, d'intégration et de charge.
J'ai configuré pour qu'il y ait un chllenge mode pour accéder à l'application, pour éviter les attaques par force brute.
Ici, j'ai empêché les adresses IP autres que Suisses d'accéder à l'application.
J'ai notammenet mis en place un reverse proxy pour protéger l'accès à l'application (aussi pour mettre en place le certificat SSL) et un firewall pour filtrer les requêtes entrantes. J'ai mis en place un système de monitoring pour surveiller l'état de l'application et des ressources.
J'ai aussi un opérateur k8s pour postgresql, qui me permet de mettre en place des backups automatiques et de restaurer les données en cas de problème.
Emerging technologies
Dans ce projet, au premier topic, j'ai mis en place un service mesh avec Istio au sein d'un cluster k8s. Pourquoi ? Souvent, quand on a un cluster k8s, on a plusieurs applications qui tournent dessus. Ces applications communiquent entre elles, et parfois on a besoin de contrôler ces communications. Par exemple, on peut vouloir chiffrer les communications entre les applications, ou bien on peut vouloir limiter l'accès à certaines applications. C'est là qu'intervient Istio. Istio est un service mesh qui permet de contrôler les communications entre les applications. Il permet de chiffrer les communications, de limiter l'accès aux applications, de monitorer les communications, etc.
Article réflexif
Dans mon article réflexif, j'aborde les accès basés sur les rôles et les permissions.
J'explique les différents types d'accès, les avantages et les inconvénients de chaque type d'accès, et comment mettre en place des accès basés sur les rôles et les permissions.
Voici un extrait de mon article réflexif :
