Stage ICT – Elasticsearch dashboards steunend op Informatica ETL-logfiles

Stage - zomer 2019 - Gent/Brussel

Stage ICT – Elasticsearch dashboards steunend op Informatica ETL-logfiles

Stage - zomer 2019 - Gent/Brussel

Wat houdt deze vacature in?

Het bedrijf Informatica biedt meerdere producten aan gefocust op data integratie en ETL (Extract, Transform, Load). Hun vlaggenschip Informatica PowerCenter wordt intensief gebruikt binnen KBC voor dagelijkse en maandelijkse dataverwerking in allerlei domeinen binnen de bank. Performantie, consistentie en correctheid staan hierbij centraal.  Om deze aspecten verder te verbeteren kan automatische logfile analyse een belangrijke rol spelen.
Elasticsearch is een populaire search engine gebaseerd op Lucene en wordt ontwikkeld door het bedrijf Elastic. Samen met Logstash (datacollectie en logverwerking engine), Kibana (analytics en visualizatieplatform) en Beats (verzameling van lightweight data shippers) biedt Elastic een geïntegreerde oplossing aan genaamd de Elastic Stack. De Elastic Stack wordt al uitgebreid gebruikt binnen KBC voor allerhande topics (firewalls, security, system management, risk calculation engines, …). Elastic is in korte tijd een wereldspeler geworden, kijk maar naar alle use-cases op hun site: https://www.elastic.co/use-cases/.

Het doel van deze stage is om ook de logfiles van Informatica automatisch in real-time te verwerken tot krachtige visuele dashboards via de bestaande Elastic Stack binnen KBC. Hierbij kom je in aanraking met diverse teams binnen KBC wiens uiteenlopende requirements verwerkt moeten worden tot één oplossing.


Waar? We zijn een flexibele organisatie. Deze stageopdracht kan zowel worden uitgewerkt in Brussel als in Gent. Je bent vrij om te kiezen welke locatie het makkelijkst bereikbaar is voor jou.


Wanneer? We zijn op zoek naar een student die deze opdracht in de zomer van 2019 kan uitwerken (4 tot 6 weken).

Wat verwachten we van jou?

De opdracht bestaat uit meerdere onderdelen. Voor elk onderdeel is er ruim voldoende ondersteuning en ervaring binnen KBC om feedback te krijgen of vragen aan te stellen.


Als eerste moeten de nodige logbestanden via Filebeat, een onderdeel van Beats, vanuit meerdere servers en directories aangeleverd worden tot een centrale locatie, een bestaande Apache Kafka opstelling. Dit moet correct en in real-time gebeuren met minimale impact op de bronsystemen. Hierbij zijn er twee soorten logfiles. Enerzijds zijn er de logfiles van de scheduler binnen KBC die de PowerCenter jobs opstart en anderzijds is er de logging van PowerCenter zelf. In een eerste fase zal er gefocust worden op de logfiles van de scheduler. Pas als dit goed verloopt zullen ook de logfiles van PowerCenter opgepikt worden.


Vanuit de centrale Kafka locatie moet daarna één Logstash-configuratie alle binnenkomende bestanden verrijken tot verrijkte JSON-documenten. Deze verrijking gebeurt in overleg met de verschillende partijen wiens logbestanden verwerkt moeten worden. Denk hierbij als simpel voorbeeld aan het toevoegen van een ERROR-tag indien de loglijn het woord “error” bevat.
De verrijkte JSON-documenten moeten vervolgens doorgestuurd worden naar Elasticsearch. Daar worden de files geïndexeerd. Ook hier is extra configuratie nodig: welke velden uit de verrijkte JSON-documenten stellen getallen voor, welke datums, welke URL’s enz.


Het laatste onderdeel omvat het visualiseren van deze verrijkte documenten door krachtige visualisaties en dashboards te construeren binnen Kibana. Het einddoel van dit onderdeel is het zo makkelijk mogelijk maken voor de eindgebruikers van de betrokken partijen om hun processen te analyseren. Welke fouten of waarschuwing komen het vaakst voor? Welke patronen kunnen ze herkennen? Waar zitten de bottlenecks?  Waarom is een proces veel trager dan vroeger? Optioneel kan ook gekeken worden voor automatische alerting via mail en automatische rapportering naar de eindgebruikers via PDF-extracties.

What's in it for you?

  • Kennismaking met KBC, één van de marktleiders binnen de financiële wereld
  • Introductie tot Informatica ETL en PowerCenter, een wereldwijd gebruikte ETL-tool
  • Uitgebreide werkervaring met de Elastic Stack, een stack die wereldwijd aan populariteit aan het winnen is
  • Geweldige werkomgeving met enthousiaste collega’s en veel bestaande kennis
  • Interessante uitdaging die weinig ervaring vereist

We zijn op zoek naar

Een enthousiaste collega die weet van aanpakken. Iemand die met zijn geleverde werk mensen gelukkig wil maken. Interesse in de Elastic Stack is een absolute must! Kennis van reguliere expressies is een sterk voordeel maar niet noodzakelijk. Kennis van Perl kan van pas komen maar is ook geen vereiste.

  • Student Master of Bachelor Industrieel Ingenieur Informatica/ICT
  • Student Professionele Bachelor Toegepaste Informatica

Nog vragen?

Heb je nog vragen over de functie-inhoud? Contacteer dan de recruiter: karen.vankelecom@kbc.be
Raadpleeg zeker de Frequently Asked Questions van andere ‘Makers’. Daar ontdek je ook hoe je de status van je sollicitatie zelf kan opvolgen.

Gepubliceerd op 24/04/2019

Word jij ook een maker? Solliciteer nu

Vul onderstaande velden in, voeg je CV toe en klik op 'sollicitatie doorsturen'.
Alle velden moeten ingevuld worden. 

Bladeren…
Laad een pdf-document op, maximum 10 Mb.
KBC gebruikt cookies om je surfervaring aangenamer te maken. Zo kan KBC ook beter inspelen op je behoeften en voorkeuren. Door verder te surfen ga je akkoord met het gebruik van deze cookies. Meer info? Of wil je geen cookies?Klik hier.