Aufbau und Betrieb einer Private Analytics Plattform – Lassen sich der gelbe Elefant und seine Freunde überhaupt noch beherrschen?

Welche Vorteile eine Public Cloud mit sich bringt haben viele Unternehmen bereits als echten Mehrwert für sich entdeckt. Dies sind insbesondere SaaS und PaaS Angebote, die den Kunden eine einfache Einrichtung, aber auch eine simple Skalierung der Plattform ermöglichen. Doch nicht alle Kunden können oder wollen auf eine Public Cloud als Plattform für ihre Analytics Plattform einsetzen.
Daher soll in diesem Vortrag eine praxiserprobte Architektur einer Analytics Plattform, welche wir für einen unserer Kunden aufgebaut haben, dargestellt werden. Es wird außerdem erläutert, warum Hadoop allein für eine moderne Analytics Plattform nicht mehr ausreichend ist und welche zusätzlichen Komponenten (Containerplattform, Suchindex, relationale DB) enthalten sein sollten. Zudem wird im Detail auf die Herausforderungen, die sich beim Aufbau und Betrieb einer On-Premise Analytics Plattform ergeben, eingegangen. Hierbei wird auf die Provisionierung der Infrastruktur und Softwarekomponenten, mittels Ansible und Terraform beschrieben, sowie die spätere Skalierung der clusterbasierten Systeme. Am Rande wird auf die zwingende Notwendigkeit von sauberem Metadatenmanagement, sowie lückenlosem Monitoring eingegangen, um einen stabilen Betrieb einer solchen Plattform gewährleisten zu können.