ELK-Stack Production Deployment Monitoring
Cyber Security
Semester programme:Infrastructure
Project description
Main question: "How can the Fontys Innovation Lab and dataspaces components be monitored and deployed to production?"
As part of the ELK-Stack monitoring solution project. For this project the monitoring group works with the partner Fontys Innovation Lab. This group is obligated to come up with a monitoring solution using Elasticsearch, Logstash, and Kibana (ELK-Stack). The Shared Applied Research Hub is currently not monitoring the various layers of the dataspaces. This is a management and security issue. The previous group has concluded that ELK-Stack is the best suited monitoring solution for this problem.
This group is responsible for the deployment of ELK-Stack and researching how the Dataspace project can be monitored and its components. The goal is to collect, process and visualize log data from different sources, so that deviations and problems can be detected and resolved quickly.
Context
Het project richt zich op het ontwikkelen van een monitoringoplossing voor het Fontys Innovation Lab en de verschillende componenten van dataspaces, met behulp van de ELK-Stack (Elasticsearch, Logstash, Kibana).
De Shared Applied Research Hub monitort momenteel niet de verschillende lagen van de dataspaces, wat een probleem vormt voor zowel het management als de beveiliging. Het vorige team heeft geconcludeerd dat de ELK-Stack het beste geschikt is voor het monitoren van deze infrastructuur. De verantwoordelijkheid van dit team is het implementeren van de ELK-Stack en het onderzoeken hoe het Dataspace-project en de componenten effectief gemonitord kunnen worden, met als doel het verzamelen, verwerken en visualiseren van logdata uit verschillende bronnen om afwijkingen en problemen snel te kunnen detecteren en oplossen.
Results
Het project heeft met succes een monitoringoplossing geïmplementeerd voor het Fontys Innovation Lab en dataspaces met de ELK-stack (Elasticsearch, Logstash, Kibana). De logs van Keycloak (authenticatie) en syslog (servers) worden nu verzameld, verwerkt en gevisualiseerd om afwijkingen en problemen snel te detecteren.
About the project group
- DOT-framework
- ELK-stack monitoring
- 2 tot 3 dagen per week
- Wekelijkse stand-ups
- Data Pipelines
- Terraform IAC