Kunden
Deutsche Bank – Entwicklung Pyspark Transaktion Framework
In der Rolle des Softwarearchitekt/en und Entwickler wurde innerhalb der Pyspark Spezifikation ein Framework entwickelt, das die Transformationen und Transaktionen der Datenprozesse mit der Quelle eines bereits existierenden Datalakes synchronisiert und benötigte AFC Spezifikationsdaten in ein separiertes Datalake transformiert.
Hierfür wurde auf Basis von Pyspark ein konfigurierbares Framework entwickelt, das die Datentransformationsaufgaben automatisiert in das Workflowmanagement integrierte.
AFC ist eine Software zur Bankbetrugserkennung und wurde durch einen externen Hersteller bezogen.
Hierfür wurde auf Basis von Pyspark ein konfigurierbares Framework entwickelt, das die Datentransformationsaufgaben automatisiert in das Workflowmanagement integrierte.
AFC ist eine Software zur Bankbetrugserkennung und wurde durch einen externen Hersteller bezogen.
Ziel
Datentransfers von Hadoop/Spark Cluster Daten in die Zielarchitektur der AFC Applikation, um KI Prozesse der AFC Anwendung zur Betrugserkennung zu prozessieren.
Die Einführung von AFC entsprach Bank regulatorischen Maßnahmen.
Strategie
- Softwarearchitekturkonzeption mit Class UML
- Code Implementierung und Erweiterung der PySpark DSL
- Testdriven Entwicklungszyklen
- Coaching weniger erfahrener Softwareprozessentwickler
- Ermittlung der Datenherkunft
- Bereinigung der Datastreams während der Extraktionen
- Beratung zur Skalierung der Spark Prozesse
- Definition der Customer Streaming Functions
- Performance Verbesserung der Transaktionen
- Datenqualitätstests
- Konzeption der Releasemanagementstrategien
Durchführung
Beratung und Coaching der internen Mitarbeiter, Mitarbeit im Entwicklungsteam, Lead für das Entwicklungsteam, Architekturberatung zum Softwaredesign
Benefits für das Unternehmen
- brachte mehr Performanz, verbesserte die Liquidität
Architektur
- wurde modularisiert, wurde erweitert, wurde neu konzeptioniert, wurde auf die Machbarkeit der Anforderungen geprüft
Technische Benefits
- die Systemkomponente/n wurden produktiv gesetzt, die Software konnte in Time entwickelt werden, die Anbindung an die Cloud Ressourcen war erfolgreich, durch die Testintegration wurde der Entwicklungszyklus beschleunigt, weitere Systemanbindungen wurden möglich, Software erreichte mehr Stabilität bei den Lasttests, Fremdsystemprotokolle wurden erfolgreich integriert
Gourmondo – Einführung BI mit Talend & Java
Das als Startup gegründete Unternehmen im Lebensmittel Online Handel fing zum Zeitpunkt der Projektinitiative an zu expandieren. Aufgrund der hohen Nachfrage und dem Bestellsystem in Excel, wurden wir beauftragt, ein professionelles BI Wesen zu implementieren...
Munich RE – Statistik zur Rücklagen und Risikobewertung
MSSQLServer 2019, SSIS, SSAS, C# Com, Entity Framework, Enterprise Architekt, Azure DevOps Entwicklung.
Die Abteilung innerhalb Munich RE hat die Aufgabe, Statistiken auszuwerten...
Procter & Gamble
In einem Pilotprojekt von Procter & Gamble wurden wir beauftragt die Datenmodellierung und Softwarearchitektur eines Energiemanagementsystems auszuarbeiten...
Cataneo – REST based Data API – Talend Entwicklung
Entwicklung von Rest basierten Datenschnittstellen für die interne Webapplikation
Rödl und Partner – BI Excellence Einführung im Bereich Controlling FiCo
Viele Systeme, nur keine gemeinsame Datenbasis! Wie wir es geschafft haben, diese Systeme miteinander zu harmonisieren
Cosmino – Migration OEE Produktionsdatenerfassung auf WEB
Weiterentwicklung der Software im ERP/Produktionsumfeld
Oddo Bhf – Migration der Datenservices nach Paris
Java, Talend Entwickler - Konzeption, Aufbau und Einführung von Services(Rest, Soap) zum globalen Datenaustausch
Deutsche Bahn – Railmate Projekt
Socialmedia Datenintegration mit Microsoft SQL Server Integraton Service und MSQL, Datentests mit dem Testframework von Flyway integriert über Maven Autodeployments
Unity Media – Talend Migration
Ablösung von PHP Monolithen als Prozessengine und Migration von Talend ESB zur Ablösung schwer skalierbarer Prozesse
Deutsche Bahn – Zeus Projekt
Datawarehouse Aufbau in AWS mit Oracle Dataintegrator (ODI), Aushandlung von Datenkontrakten mit den Fachabteilungen
Deutsche Bank – Entwicklung Pyspark Transaktion Framework
Softwareprozessentwicklung - automatisierte Datalake Extraktion für die AFC Datenspezifikation zur Bankbetrugserkennung
Previous
Next