Kunden
Deutsche Bahn – Railmate Projekt
Das Projekt hat die Aufgabe, neue Interviewkanäle und dessen Datastreams, wie Social Media Daten in das Railmate System zu integrieren. Gleichzeitig sollte das Datenprozesstestverfahren mit Maven, Flyway und Jenkins verbessert werden. Ein Systemprozess Monitoring wurde mit Grafana und Prometheus realisiert.
Ziel
Ein Ziel war die Anbindung der Socialmedia Datenlieferanten Ubermetrics/Vico.
Somit wurde ein Merge Prozess in der Daten Vorvalidation eingeführt, um gleichartige Beiträge zu identifizieren und vor der Datenanalyse zur vereinfachen (fachbezogene Datenbereinigung), so dass die Datenanalyseprozesse performanter wurden und genauere Aussagen treffen konnten.
Strategie
- Softwaretestberatung(Testmethoden für Funktionale.- und Prozesslaufzeittests-Testfallspezifikation
- Qualitätssicherung der Datenqualität und Implementation der Datenqualitätsmatrix, Datenqualitätsmessprozesse, Aufbau von Data Quality Checks/Metriken
- Validation der DB Interviewdaten von verschiedenen Kanälen (QR Code, ICE-Portal, DB Lounge)
- Datenharmonisierung der Socialmediadaten parallelisiert und mehrere Lieferanten
- Spezifikation der Kategorisierungs.- und Klassifikationsattribute zur Bewertung von Interviewdaten
- Entwicklung eines Frameworks zur Bewertung von Textinhaltsähnlichkeiten und priorisierten Regeln zur Auszeichnung qualitativer Textbeiträge
- Redundanzvermeidung von gleichen Interviewdaten verschiedener Interviewdatenlieferanten mit gleichem oder ähnlichem Inhalt
- Support, Fehleranalyse von Datenintegrationsprozessen
- Bereitstellung von Tagesreports zur Sicherstellung der Datenimporte
- Administration der Datenbanken und Docker Containern in der Amazon Cloud(AWS)
- Migration und Aufbau einer Realtime Systemüberwachung (Monitoring mit Grafana und Prometheus)
- Datastream Entwicklung als Basis für die Textmining Prozesse(Spark Java)
- Massendatenverarbeitung(RDBMS, Datastreaming für Hbase)
- Systemprozessintegration für die Kommunikation mit Apache Kafka und Spark Cluster
- Entwicklung verschiedener Datenpipelines für die Datenanalyseschicht(Textmining)
- Datapreprocessing(Cleansing, Aggregation, Contentchecks)
- Prozess.- und Funktionsentwicklung zur Generierung von QR Codes und Bereitstellung im Fremdsystem des Druckdienstes
- Konsolidierung des Apache Kafka Mq System zur Entgegennahme der Interviewdaten(Topics)
- Bereitstellung verschiedener DataRest Schnittstellen für die Applikationsebene(SpringBoot)
- Webanwendung(Angular4, UI/UX Beratung)
- Automatisierung der Datenbelieferung an andere Abnehmer (ThirdParty Business)
- Performance Optimierung der Datenverarbeitungsprozesse
- Systemintegration Amazon Cloud(AWS)
- Softwaretestberatung(Testmethoden für Funktionale.- und Prozesslaufzeittests-Testfallspezifikation)
Durchführung
Beratung und Coaching der Stakeholder, Mitarbeit im Entwicklungsteam, Architekturberatung zum Softwaredesign, Architekturberatung zum Businessprozessdesign
Benefits für das Unternehmen
- neue Wertschöpfungsketten erbrachten zusätzliche Potenziale
Architektur
- wurde erweitert, wurde neu strukturiert
Technische Benefits
- die Systemkomponente/n wurden produktiv gesetzt, durch die Testintegration wurde der Entwicklungszyklus beschleunigt, weitere Systemanbindungen wurden möglich, die User Experience wurde verbessert, Fremdsystemprotokolle wurden erfolgreich integriert
Gourmondo – Einführung BI mit Talend & Java
Das als Startup gegründete Unternehmen im Lebensmittel Online Handel fing zum Zeitpunkt der Projektinitiative an zu expandieren. Aufgrund der hohen Nachfrage und dem Bestellsystem in Excel, wurden wir beauftragt, ein professionelles BI Wesen zu implementieren...
Munich RE – Statistik zur Rücklagen und Risikobewertung
MSSQLServer 2019, SSIS, SSAS, C# Com, Entity Framework, Enterprise Architekt, Azure DevOps Entwicklung.
Die Abteilung innerhalb Munich RE hat die Aufgabe, Statistiken auszuwerten...
Procter & Gamble
In einem Pilotprojekt von Procter & Gamble wurden wir beauftragt die Datenmodellierung und Softwarearchitektur eines Energiemanagementsystems auszuarbeiten...
Cataneo – REST based Data API – Talend Entwicklung
Entwicklung von Rest basierten Datenschnittstellen für die interne Webapplikation
Rödl und Partner – BI Excellence Einführung im Bereich Controlling FiCo
Viele Systeme, nur keine gemeinsame Datenbasis! Wie wir es geschafft haben, diese Systeme miteinander zu harmonisieren
Cosmino – Migration OEE Produktionsdatenerfassung auf WEB
Weiterentwicklung der Software im ERP/Produktionsumfeld
Oddo Bhf – Migration der Datenservices nach Paris
Java, Talend Entwickler - Konzeption, Aufbau und Einführung von Services(Rest, Soap) zum globalen Datenaustausch
Deutsche Bahn – Railmate Projekt
Socialmedia Datenintegration mit Microsoft SQL Server Integraton Service und MSQL, Datentests mit dem Testframework von Flyway integriert über Maven Autodeployments
Unity Media – Talend Migration
Ablösung von PHP Monolithen als Prozessengine und Migration von Talend ESB zur Ablösung schwer skalierbarer Prozesse
Deutsche Bahn – Zeus Projekt
Datawarehouse Aufbau in AWS mit Oracle Dataintegrator (ODI), Aushandlung von Datenkontrakten mit den Fachabteilungen
Deutsche Bank – Entwicklung Pyspark Transaktion Framework
Softwareprozessentwicklung - automatisierte Datalake Extraktion für die AFC Datenspezifikation zur Bankbetrugserkennung
Previous
Next