Filmliste als XML exportieren

[witziege]

Hallo liebes Forum,

für meine BA möchte ich gerne einige Formate aus der ARD Mediathek analysieren. Dafür brauche ich als erstes eine Übersicht über alle Reportagen zwischen den Jahren 2014 und 2018. Da die ARD Website m.K.n. meine speziellen Ansprüche an einen Filter nicht unterstützt, war meine Idee die Filmliste von Mediathekview zu nutzen. Das Programm selbst bietet mir auch nicht direkt die Filter, die ich brauche, also habe ich überlegt, die Filmliste zu exportieren und z.B. mit Libre Office Calc zu filtern. Allerdings sehe ich gerade keine Möglichkeit, die Filmliste als XML (o.ä.) zu exportieren.

Habt ihr Ideen, wie ich die Filmliste umwandeln könnte oder kennt ihr einen anderen Weg, wie ich besser die Inhalte Filtern könnte?

Vielen Dank.

[tvRR]

Die Filmliste liegt in MV als JSON vor. Das ist keine 2-dimensionale Datenstruktur, die man in ein Calc einspielen könnte. Da müsste man selektiv exportieren/umwandeln, was zu programmieren wäre…
Zweitens ist die Filmliste (bei mir) 555 Megabyte groß und hat über 800.000 Einträge. Da dürfte Calc schwer ans Limit kommen.

Ein paar Beispiele für Abfragen wären hilfreich, damit man sieht, worauf du hinaus willst - vielleicht kann es MV ja doch via Regex oder Lucene?

[witziege]

Danke für deine Antwort. Ich möchte mir zum Beispiel gerne alle Beiträge vom MDR zwischen 2014 und 2018, mit einer Länge zwischen 20 und 90 Minuten, aus den Rubriken XYZ (die kenne ich leider noch nicht genau bzw. recherchiere ich gerade, aber z. B. die Reportage-Formate) auflisten lassen.
Aus der Liste will ich dann aus jedem Jahr beispielhafte Beitrage aussuchen und analysieren.

[tvRR]

Dir ist schon bewusst, dass das 10 Jahre her ist? Da dürften selbst eigenproduzierte Reportagen längst wieder depubliziert sein, siehe Lizenzregelungen im Rundfunkstaatsvertrag. MV bildet schließlich nur das ab, was aktuell verfügbar ist und nicht das, was mal war.

Wenn überhaupt werden sich so alte einzelne Beiträge nur analysieren lassen, wenn sie von den Sendern vergessen wurden rauszunehmen oder aktuell erneut ausgestrahlt werden, aber das Datum der damaligen Erstaustrahlung tragen.

Eben beschriebenes bildet den Normalfall ab. Es gäbe noch das Archiv von MV, mit dem man ab 2015 lediglich auf Metaebene was analysieren könnte. Die Beiträge herunterladen geht damit nicht mehr, weil sonst hätten die Sender das ja aktuell im Angebot (siehe erster Absatz).

[vitusson]

Du willst das MDR Archiv anschreiben.
Ich glaube nicht dass du mit MV bei deiner Aufgabenstellung irgendwie weiterkommst. Niemand hier hat ein zwovierzehn bis achtzehn Archiv…

[styroll]

@tvRR sagte: Die Filmliste liegt in MV als JSON vor.

Ja, aber die JSON-Datei lässt sich via “Datei/Export/Lesbare Filmliste…” in eine CSV-Datei exportieren, welche anderswo eingelesen werden kann (Excel brauchte dazu auf meinem Gerät etwa eine Minute, auch wenn ich dann mit einer solchen Datei wohl eher nicht weiterarbeiten möchte).

[MenchenSued]

Bei einer exportierten Liste muss man sich bewusst sein, dass nicht alle Felder ausgefüllt werden. Sollte der Text identisch mit dem Text in der vorherigen Zeile sein, wird er weg gelassen, um Platz zu sparen.

Beim Datum muss man auch aufpassen, denn alte Sendungen werden nicht aktiv gesucht und Wiederholungen haben nicht immer das Datum der Erstsendung. Für eine fundierte Analyse scheint mir MediathekView daher nicht geeignet.

[DerReisende77]

Mit der modernen Suche aka Lucene ist man in der Lage, die vorhandene Filmliste nach den versch. kriterien und Jahresbereich einzugrenzen. Damit kann die gewünschte Eingrenzung IMHO durchaus jetzt schon vorgenommen werden. Es fehlt jedoch der Export der Ergebnisse.
Ich bin mir nur nicht sicher was mit den Ergebnissen angefangen werden soll.
Ansonsten könnte man mit ein wenig Java Kenntnis sich auch eine eigene Konvertierung programmieren, das Lesen der Filmliste wird über eine Klasse realisiert die recht leicht handhabbar ist und dann ist einem export keine Grenze gesetzt.

[witziege]

Danke sehr für die vielen Rückmeldungen und die Einschätzung bzgl. MV’s Möglichkeiten und Begrenzungen. Da ich selbst leider recht fachfremd bin, was Programmierung angeht, würde ich dann tatsächlich eher einen anderen Weg wählen und komme wohl nicht drumherum, das Archiv der Sender anzuschreiben.

[Dexli]

@MenchenSued

leider stimmt die Aussage, dass die Felder sich nicht ändern wenn Sie leer sind, nicht.

z.B.
In der Filmliste 02.03.2025, 19:40",“3”,“”,“2094a5cbca78b2778882c80eb28bb989” tauchen Einträge auf die die NICHT zu der Sendung 37 Grad gehören.
z.B. Eintrag (“X”) 101
“X”:[“”,“3sat”,“«100 Kinder, 50 Pianos und 1 Star»”,“25.12.2017”,“13:00”,“00:52:47”,“914”,"Für 100 Kinder, ihre Lehr 102 personen und Familien war es ein Abenteuer zwischen Hoffen und Bangen. Für Starpianist Lang Lang Teil einer Herzens…

Dafür gibt es einen Eintrag der anscheinend zu 37° gehört da

http://nrodl.zdf.de/dach/3sat/19/05/190513_37grad_gluecklich_als_junge_online/2/19…

aber bei dem die beiden ersten Feldern leer sind.
329 “X”:[“”,“”,“37°: Glücklich erst als Junge”,“13.05.2019”,“00:05”

Allerdings gehört der Eintrag direkt davor
328 “X”:[“”,“”,“Universum der Ozeane (1/3)”,“02.09.2018”,“13:00”
jedenfalls nicht zu 37°
http://nrodl.zdf.de/dach/3sat/15/07/150706_universum_ozeane1_online/8/15…

Es scheint dort ein Bug vorzuliegen. Oder es wird ein sehr viel komplizierteres Verfahren angewendet um Platz zu sparen.

Viele Grüße
Dexli

[Georg-J]

@Dexli sagte in Filmliste als XML exportieren:

Es scheint dort ein Bug vorzuliegen. Oder es wird ein sehr viel komplizierteres Verfahren angewendet um Platz zu sparen.

Nein, es ist ganz einfach: “Sender” und “Thema” sind leer, und erben den Inhalt vom letzten nichtleeren Wert, hier “3sat”. Bei 329 weist erst der Titel auf “37°” hin und nicht wie sonst das Thema.

[Dexli]

Hi @Georg-J

sorry aber so einfach ist es leider nicht!

Spielen wir das ganze doch mal durch:
Eintrag 328:

Feld       Wert
Sender  Leer
Thema  Leer

Nehmen wir an durch Vererbung hätten die Felder folgende Werte

Feld       Wert
Sender  ZDF
Thema  37°

Dann hätte der Eintrag 329 tatächlich das Thema 37°
Fakt ist allerdings das der Eintrag 328 NICHT zum Thema 37° gehört, sondern zum Thema Universum der Ozeane.

Also ist entweder die Annahme, dass der vererbte Wert für Eintrag 328 “37°” ist, falsch oder die Aussage das immer der letzte nicht leere Wert geerbt wird.

Sollte allerdings die Aussage stimmen, dass immer der letzte nicht leere Wert für ein Feld gilt, wie wird dann ein wirklich leeres Feld dargestellt?

VG
Dexli

[DerReisende77]

Es gibt keinen leeren Sender und kein leeres Thema. Ein leerer Sender würde das Filtern torpedieren und bei Thema bedeutet es “alles anzeigen”.
Warum macht ihr euch das Leben so schwer anstatt Datei/Export/Dekomprimierte Filmliste… zu nutzen? Dann kommen solche Fragen nicht auf.
Ansonsten ist die Datei FilmlistWriter.java sicherlich der Anlaufpunkt um das Speichern zu verstehen.

[Georg-J]

@Dexli Deine Annahme ist falsch. Wie ich oben schon schrieb, erben “Sender” und “Thema” den Wert “3sat”.

[tvRR]

Dieser Beitrag wurde gelöscht!

[Dexli]

Hi @DerReisende77 ,
Zitat:
Es gibt keinen leeren Sender und kein leeres Thema. Ein leerer Sender würde das Filtern torpedieren und bei Thema bedeutet es “alles anzeigen”.

Ok, das kann ich nachvollziehen. Das erklärt aber nicht den von mir beschrieben Umstand.
Also entweder hat der Eintrag 328 ein falsches Thema oder der Eintrag 329.

Zitat:
Warum macht ihr euch das Leben so schwer anstatt Datei/Export/Dekomprimierte Filmliste… zu nutzen? Dann kommen solche Fragen nicht auf.

Dem ist leider genau so nicht! Ich habe genau diese Funktion genutzt und das Ergebnis ist das was ich beschrieben habe.
Ich kann gerne die Filmliste irgendwo hin hochladen und Du kannst Dich selbst davon überzeugen das es so ist.

Viele Grüße Dexli

[tvRR]

Zu deinem Beispiel: ich sehe das hier (nur die relevanten Zeilen aus deinem Beispiel):

Die lesbare Form mit abgeleiteten Werten (grüne Linien):

Passt so.

Sowohl 328 als auch 329 gehören zum Thema 3sat und nicht zu Natur bzw. 37 Grad.
37° ist nicht das Thema, sondern bei 329 lediglich der Beginn des Titels, dem ein : Glücklich erst als Junge folgt.

[DerReisende77]

@Dexli sagte in Filmliste als XML exportieren:

Dem ist leider genau so nicht! Ich habe genau diese Funktion genutzt und das Ergebnis ist das was ich beschrieben habe.

Sorry aber das kann ich dir nicht glauben. Hier mal der Test mit MV 14.2.0:
Menü “Datei/Export/Lesbare Filmliste…” -> Datei speichern
ergibt folgendes Ergebnis:

{
  "Filmliste" : [ "", "03.03.2025, 18:35", "3", "", "83617a0745ed2b6d004bc042155d0ff5" ],
  "Filmliste" : [ "" ],
  "X" : [ "3Sat", "37 Grad", "37°: Nebenwirkung: Sucht (S2023/E48)", "07.11.2023", "22:15", "00:29:30", "589", "In unserer Leistungsgesellschaft müssen wir funktionieren. Schmerzen werden gerne schnell bekämpft. Mit rezeptpflichtigen und freien Medikamenten, die oft heftige Nebenwirkungen haben.", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a1a2_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-nebenwirkung-sucht-100.html", "https://utstreaming.zdf.de/mtt/zdf/23/11/231107_2215_sendung_37g/3/F1041717_hoh_deu_37_Grad_Nebenwirkung_Sucht_Wenn_Schmerzmittel_krank_machen.xml", "", "https://rodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a1a2_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a1a2_6660k_p37v17.mp4", "", "1699391700", "", "", "false" ],
  "X" : [ "", "", "37°: Ein Hof zum Leben und Sterben (S2025/E06)", "18.02.2025", "22:15", "00:28:38", "567", "Todkranke und Trauernde finden Zuflucht auf einem Hof mit Tieren. Dort bekommen sie Familienanschluss und ein Zuhause auf Zeit. Gelebte Nächstenliebe, wenn nötig bis zum Lebensende.", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250218_2215_sendung_37g/3/250218_2215_sendung_37g_a1a2_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-ein-hof-zum-leben-und-sterben-100.html", "https://utstreaming.zdf.de/mtt/zdf/25/02/250218_2215_sendung_37g/3/F1047450_hoh_deu_37_Grad_Ein_Hof_zum_Leben_und_Sterben.xml", "", "https://rodlzdf-a.akamaihd.net/none/zdf/25/02/250218_2215_sendung_37g/3/250218_2215_sendung_37g_a1a2_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250218_2215_sendung_37g/3/250218_2215_sendung_37g_a1a2_6660k_p37v17.mp4", "", "1739913300", "", "", "false" ],
  "X" : [ "", "", "37°: Nebenwirkung: Sucht (S2023/E48) (Audiodeskription)", "07.11.2023", "22:15", "00:29:30", "589", "In unserer Leistungsgesellschaft müssen wir funktionieren. Schmerzen werden gerne schnell bekämpft. Mit rezeptpflichtigen und freien Medikamenten, die oft heftige Nebenwirkungen haben.", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a3a4_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-nebenwirkung-sucht-100.html", "", "", "https://rodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a3a4_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a3a4_6660k_p37v17.mp4", "", "1699391700", "", "", "false" ],
  "X" : [ "", "", "37°: Stuntfrauen – Spiel mit dem Risiko (S2025/E05)", "04.02.2025", "22:15", "00:28:37", "574", "Spielfilme ohne Stuntleute - undenkbar. Tanja, Angie und Cecilia gehören zu den knapp 30 Stuntfrauen, die in Deutschland in der Filmbranche arbeiten.", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250204_2215_sendung_37g/3/250204_2215_sendung_37g_a1a2_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-stuntfrauen--spiel-mit-dem-risiko-102.html", "https://utstreaming.zdf.de/mtt/zdf/25/02/250204_2215_sendung_37g/3/F1047599_hoh_deu_37_Grad__Stuntfrauen.xml", "", "https://rodlzdf-a.akamaihd.net/none/zdf/25/02/250204_2215_sendung_37g/3/250204_2215_sendung_37g_a1a2_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250204_2215_sendung_37g/3/250204_2215_sendung_37g_a1a2_6660k_p37v17.mp4", "", "1738703700", "", "", "false" ],

Menüeintrag “Datei/Export/Dekomprimierte Filmliste…” -> speichern
führt zu folgender Ausgabe:

{
  "Filmliste" : [ "", "03.03.2025, 18:35", "3", "", "83617a0745ed2b6d004bc042155d0ff5" ],
  "Filmliste" : [ "" ],
  "X" : [ "3Sat", "37 Grad", "37°: Nebenwirkung: Sucht (S2023/E48)", "07.11.2023", "22:15", "00:29:30", "589", "In unserer Leistungsgesellschaft müssen wir funktionieren. Schmerzen werden gerne schnell bekämpft. Mit rezeptpflichtigen und freien Medikamenten, die oft heftige Nebenwirkungen haben.", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a1a2_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-nebenwirkung-sucht-100.html", "https://utstreaming.zdf.de/mtt/zdf/23/11/231107_2215_sendung_37g/3/F1041717_hoh_deu_37_Grad_Nebenwirkung_Sucht_Wenn_Schmerzmittel_krank_machen.xml", "", "https://rodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a1a2_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a1a2_6660k_p37v17.mp4", "", "1699391700", "", "", "false" ],
  "X" : [ "3Sat", "37 Grad", "37°: Ein Hof zum Leben und Sterben (S2025/E06)", "18.02.2025", "22:15", "00:28:38", "567", "Todkranke und Trauernde finden Zuflucht auf einem Hof mit Tieren. Dort bekommen sie Familienanschluss und ein Zuhause auf Zeit. Gelebte Nächstenliebe, wenn nötig bis zum Lebensende.", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250218_2215_sendung_37g/3/250218_2215_sendung_37g_a1a2_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-ein-hof-zum-leben-und-sterben-100.html", "https://utstreaming.zdf.de/mtt/zdf/25/02/250218_2215_sendung_37g/3/F1047450_hoh_deu_37_Grad_Ein_Hof_zum_Leben_und_Sterben.xml", "", "https://rodlzdf-a.akamaihd.net/none/zdf/25/02/250218_2215_sendung_37g/3/250218_2215_sendung_37g_a1a2_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250218_2215_sendung_37g/3/250218_2215_sendung_37g_a1a2_6660k_p37v17.mp4", "", "1739913300", "", "", "false" ],
  "X" : [ "3Sat", "37 Grad", "37°: Nebenwirkung: Sucht (S2023/E48) (Audiodeskription)", "07.11.2023", "22:15", "00:29:30", "589", "In unserer Leistungsgesellschaft müssen wir funktionieren. Schmerzen werden gerne schnell bekämpft. Mit rezeptpflichtigen und freien Medikamenten, die oft heftige Nebenwirkungen haben.", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a3a4_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-nebenwirkung-sucht-100.html", "", "", "https://rodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a3a4_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/23/11/231107_2215_sendung_37g/3/231107_2215_sendung_37g_a3a4_6660k_p37v17.mp4", "", "1699391700", "", "", "false" ],
  "X" : [ "3Sat", "37 Grad", "37°: Stuntfrauen – Spiel mit dem Risiko (S2025/E05)", "04.02.2025", "22:15", "00:28:37", "574", "Spielfilme ohne Stuntleute - undenkbar. Tanja, Angie und Cecilia gehören zu den knapp 30 Stuntfrauen, die in Deutschland in der Filmbranche arbeiten.", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250204_2215_sendung_37g/3/250204_2215_sendung_37g_a1a2_3360k_p36v17.mp4", "https://www.3sat.de/gesellschaft/37-grad/37-stuntfrauen--spiel-mit-dem-risiko-102.html", "https://utstreaming.zdf.de/mtt/zdf/25/02/250204_2215_sendung_37g/3/F1047599_hoh_deu_37_Grad__Stuntfrauen.xml", "", "https://rodlzdf-a.akamaihd.net/none/zdf/25/02/250204_2215_sendung_37g/3/250204_2215_sendung_37g_a1a2_808k_p11v17.mp4", "", "https://nrodlzdf-a.akamaihd.net/none/zdf/25/02/250204_2215_sendung_37g/3/250204_2215_sendung_37g_a1a2_6660k_p37v17.mp4", "", "1738703700", "", "", "false" ],

für jeweils die ersten 4 Einträge…
Der Code ist für alle Plattformen identisch.

[Dexli]

Hi @tvRR,

das ist seltsam.
Ich habe die Datei unter dem Menue Datei->Filmliste exportieren -> unkomprimiert gespeichert.
Edit:
Ich stelle gerade fest, dass ich eine andere Version habe (13.2.1 statt 14.2.0) das könnte ggf. den Unterschied erklären.

Bei mir sind die beiden ersten Felder leer, so wie in meinem ersten Posting.
Auch die Reihenfolge der Einträge variiert etwas, was aber vermutlich auf die unterschiedlichen Zeitpunkte der Erstellung zurückzuführen ist.
Ich muß noch mal an den anderen Rechner um den Ausschnitt nochmal zu posten

Viele Grüße
Dexli

[tvRR]

Ich hab das natürlich zusammengekürzt auf deine Beispiele, aber das ist das Original:

Ich kann mir nicht vorstellen, dass das Exportverhalten von 13.2.1 so dermaßen anders war; habs allerdings nie gebraucht …