Big Data-Ansatz durch wachsende Bedeutung von Musikstreaming-Plattformen
Musikstreaming über Spotify, Amazon Music etc. erfreut sich steigender Beliebtheit. Europaweit erzeugte das tägliche Musikerlebnis von Millionen Musikhörer:innen im Jahr 2020 ca. 13 Milliarden Datensätze. Das sind grob überschlagen 3 Petabyte Daten. Allein in Österreich wurden im genannten Jahr 10,5 Milliarden Songs gestreamt. Das entspricht einer Steigerung von 35% zum Vorjahr (Quelle: AKM).AKM sorgt für faire Bezahlung österreichischer Künstler:innen
Die Aufgabe der AKM ist es, die Bezahlung der einzelnen österreichischen Künstler:innen sicherzustellen. Das betrifft eben auch zunehmend Plattformen wie Spotify, Amazon Music etc. Sobald nämlich ein Song auf diesen Services läuft, gebührt den Musikurheber:innen die Ausschüttung der entsprechenden Tantiemen. Daraus ergibt sich nun die Herausforderung, die europaweit gehörten Musiktitel mit österreichischen Mitwirkenden zu erkennen, um eine faire Bezahlung zu gewährleisten. Zusätzlich generiert Musikstreaming immer größere Datenmengen. Diese Daten müssen daher entsprechend gefiltert und verarbeitet werden, um sie zuordnen zu können. Für die Bewältigung dieser Big Data musste also eine Lösung her.
2011 waren Datenmengen im Musikstreaming-Bereich noch deutlich geringer
Bereits 2011 entwickelte RUBICON eine Applikation basierend auf einem Windows Service, welche die Daten - sogenannte Nutzungsmeldungen - verarbeitet. Zu dieser Zeit waren die Datenmengen allerdings noch wesentlich geringer. Einerseits weil Musikstreaming noch nicht so verbreitet war, andererseits erfolgte im ersten Schritt lediglich die Verarbeitung von Nutzungsmeldungen aus Österreich und nicht europaweit. Die einzelnen Verarbeitungsschritte haben damals lange gedauert und die Durchführung fand nur sequenziell statt. Das hatte zur Folge, dass es bei der Verarbeitung zu Staus gekommen ist, wenn viele Daten gleichzeitig angeliefert wurden. Mittlerweile kann man aufgrund der Datenmengen von Big Data sprechen.RUBICON setzt auf Skalierbarkeit zur Datenverarbeitung
In enger Zusammenarbeit mit AKM entwickelte RUBICON die Software NEON über die Jahre laufend weiter. Mittlerweile handelt es sich um eine skalierbare Applikation, welche europaweit Nutzungsmeldungen verarbeitet. Diese Software passt sich auf Knopfdruck mit Hilfe von zusätzlicher Hardware an die einlaufenden Datenmengen an. Das gelingt durch den Einsatz eines MessageBus. Sobald also Daten in NEON einlaufen, reihen sich diese in eine Art Queue (oder Warteschlange) ein. Die Erfassung der Daten erfolgt dann automatisch und die Verarbeitung verläuft nach und nach. Diese Verbesserung führt dazu, dass ein Windows Service nicht leerläuft, wenn Nutzungsdaten zu verarbeiten sind.Umgang mit Big Data in der Zukunft
Die Menge an Daten steigt weiterhin an. In Zukunft könnte demnach eine dynamische Infrastruktur zum Einsatz kommen, um Lastspitzen abzufedern. Hierzu wäre ein Einsatz in der Cloud oder in einem Kubernetes Cluster vorstellbar. Windows Services werden dadurch dynamisch eingesetzt und gestartet. Der Umgang mit Big Data bleibt also weiterhin spannend.Bei Fragen stehen wir Ihnen gerne zur Verfügung
Ihr Kontakt
Valerie Wurzinger
IT Projektmanagement
M +43 676 58 24 055
valerie.wurzinger@rubicon.eu