ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen

[Mediaspinner]

Wundert mich echt, dass das hier noch nicht angesprochen wurde. Ich konnte jedenfalls über die Suche noch nichts finden.

Ab dem 27. Oktober 2020 will die ARD, inkl. der Drittenprogramme, alle nicht-fiktionalen Inhalte aus der Zeit vor 1966 dauerhaft online stellen.

Ich konnte jetzt noch keine Details finden, wie genau die das technisch umsetzen wollen. Wenn die das Material in ihre Mediatheken fluten, könnte das für uns mit Problemen verbunden sein, oder?

Ich bin kein Programmierer und ich habe keine Ahnung wie die Mediatheken ein Datum angeben oder wie MV ein Datum speichert. Aber es gibt Programmiersprachen/Scriptsprachen, die ein Datum als Anzahl Tage nach dem 1.1.1970 speichern. Kann das zum Problem werden oder wird dann einfach mit negativen Zahlen rückwärts gezählt?

Abgesehen davon könnte ich mir vorstellen, dass dies sehr viel Material sein wird was sich auf die Performance sowohl der Crawler als auch MV selbst auswirken wird, insbesondere bei der Überall-Suche.

Ich wollte einfach nur mal darauf hinweisen, nicht dass es später überraschend kommt.

https://www.golem.de/news/mediathek-ard-will-sendungen-aus-der-zeit-vor-1966-bereitstellen-2006-149132.html

[DaDirnbocher]

@Mediaspinner sagte in ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen:

Ich konnte jetzt noch keine Details finden, wie genau die das technisch umsetzen wollen. Wenn die das Material in ihre Mediatheken fluten, könnte das für uns mit Problemen verbunden sein, oder?

Nun, in dem verlinkten Artikel heissts:

Dann wollen alle ARD-Landesrundfunkanstalten und das Deutsche Rundfunkarchiv historische Videobeiträge in der ARD-Mediathek zeitlich unbegrenzt zugänglich machen. Nach und nach soll so ein audiovisuelles Archiv nach dem Vorbild des SWR entstehen, der im Herbst 2019 mit SWR Retro an den Start ging.

Also ja, in der Mediathek. Und nachdem SWR Retro seit Herbst 2019 “online” ist, kann ein Blick in die aktuellen Filmlisten eine Idee liefern, was das ab Oktober 2020 bedeutet (wenn nicht was geändert wird).

Mit einigen Stichproben aus SWR-Retro habe ich manche Sendungen gefunden (z.B. “Der Ball an der Leine”) und manche nicht. Letzteres vielleicht, weil das Datum zu weit in der Vergangenheit liegt, und die Crawler nicht so weit in die Vergangenheit suchen. Ersteres vielleicht, wenn die (auch) in einer anderen Kategorie gelistet waren. Sind aber nur Vermutungen.

Jedenfalls ist die Sorge ums Datum damit beantwortet. MV stürzt deswegen nicht ab.

[Mediaspinner]

Gut @DaDirnbocher , für dein Beispiel “Der Ball an der Leine” zeigt MV aber auch gar kein Datum an, was ich nun auch für problematisch halte. Denn wenn ich tatsächlich mal Nachrichtensendungen oder Magazine rund um ein historisches Ereignis suche, funktioniert das dann leider nicht mehr in MV.

Und es gibt derzeit am Ende der Filmliste sehr viele Einträge ohne Datum, wobei das noch nicht mal alles historische Sendungen sind.

[DaDirnbocher]

@Mediaspinner sagte in ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen:

Und es gibt derzeit am Ende der Filmliste sehr viele Einträge ohne Datum, wobei das noch nicht mal alles historische Sendungen sind.

Wie Du richtig erkannt hast, ist das “fehlende Datum bei Sendungen” etwas das aktuell schon auftritt und damit nichts, was durch “ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen” neu entstehen wird.

[pidoubleyou]

@DaDirnbocher sagte in ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen:

“fehlende Datum bei Sendungen” etwas das aktuell schon auftritt

Danke für den Hinweis auf diese alten Filme ohne Datum. Im Code ist tatsächlich eine Prüfung auf 1970 drin und alle älteren Datumswerte werden als “Unsinniger Wert” ignoriert.

https://github.com/mediathekview/MLib/issues/119

[Mediaspinner]

Super @pidoubleyou, dass du das gleich aufgegriffen hast. Genau darauf wollte ich hinaus.

Hält die Datenbank bzw. die Suchperformance den zu erwartenden zusätzlichen Filmbestand aus, wenn auch die anderen Öffis ihr Material online stellen?

Man kann da sicher abwarten bis es soweit ist, dann sieht man schon was geht. Aber drüber nachdenken, über die Optionen, kann man ja schon mal. Zum Beispiel Teilen der Filmdatenbank, alles was vor dem 1.1.1970 ausgestrahlt wurde in eine eigene Datenbank. Oder man nimmt gleich ein späteres Datum als Trennung wie den 1.1.2000 oder den 1. Januar des Vorjahres mit jeweiligem jährlichem Übertrag. Denn die überwiegende Mehrheit dürfte sicher ohnehin nach aktuellen Sendungen suchen.

[MenchenSued]

@Mediaspinner sagte in ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen:

Denn die überwiegende Mehrheit dürfte sicher ohnehin nach aktuellen Sendungen suchen.

Denke ich auch. Ich habe mal ein paar Musiksendungen mit Material von 1970 gesehen, die mit Fernsehen im heutigen Sinn nichts mehr zu tun haben. Die Auflösung ist sehr gering und die Qualität äußerst dürftig und auch das 4:3 Format erfreut selten. Somit werden die alten Sendungen meist nur nostalgischen Wert haben.

Man könnte theoretisch die Filmliste stückeln und der Anwender entscheidet selbst, ob er die letzte Woche, den letzten Monat oder das letzte Jahr laden möchte. Nur leider haben Wiederholungen oft nicht das aktuelle Datum sondern das Datum der Erstausstrahlung und erscheinen so nur beim Laden der Gesamtliste. Wenn man dieses Datumsproblem lösen könnte, könnte man die Downloadmenge erheblich reduzieren. Da ich nahezu täglich mit MV arbeite, würde mir persönlich die Liste der letzten paar Tage reichen.

[DaDirnbocher]

@Mediaspinner sagte in ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen:

Hält die Datenbank bzw. die Suchperformance den zu erwartenden zusätzlichen Filmbestand aus, wenn auch die anderen Öffis ihr Material online stellen?
Man kann da sicher abwarten bis es soweit ist, dann sieht man schon was geht.

Das sieht man jetzt schon - am SWR Retro. Und wenn man das Forum verfolgt, wo öfters fehlende Sendungen gemeldet werden, die Monate, ein, zwei, drei Jahre zurückliegen und die Standardantwort ist “soweit in die Vergangenheit suchen die Crawler nicht” braucht man sich keine Gedanken machen, dass die Filmliste überflutet wird. Ich würde vermuten, dass die großteils gar nicht gefunden werden.

Ausser die Crawler werden gezielt auf derartige Sendungen umgebaut.

Aber drüber nachdenken, über die Optionen, kann man ja schon mal. Zum Beispiel Teilen der Filmdatenbank,

Meinst Du die Filmliste, die runtergeladen wird, oder die lokale Datenbank, mit der dann weitergerbeitet wird? Aber nachdem Du dir Sorgen um die Performance des Suchalgorithmus machst, wohl letzteres.

alles was vor dem 1.1.1970 ausgestrahlt wurde in eine eigene Datenbank. Oder man nimmt gleich ein späteres Datum als Trennung wie den 1.1.2000 oder den 1. Januar des Vorjahres mit jeweiligem jährlichem Übertrag. Denn die überwiegende Mehrheit dürfte sicher ohnehin nach aktuellen Sendungen suchen.

Nun, dafür gibts ja auch schon längst eine Lösung. Man kann ja bei importieren der Filmiste einstellen, dass nur die letzten x Tage importiert werden.

Wer Performanceprobleme befürchtet, oder nur an den Filmen der letzten Tage interessiert ist, importiert halt einfach nur die z.B. letzten 30 Tage.

Das Problem ist halt, dass es Sendungen ohne Datum gibt und das ändert sich nicht durch das erwähnte Ticket.

[Mediaspinner]

@DaDirnbocher Naja, ich steh auf alte Sachen. Nur wenn man 3000 Nachrichtensendungen gleichen Namens ohne Datum hat, wird es schwierig die richtige Sendung rauszufischen.

Ich hab jetzt mal ein Ticket angelegt: #529

[DerReisende77]

@Mediaspinner wie oben zu sehen ist das entsprechende Ticket schon angelegt und noch offen. Von daher macht es keinen Sinn ein zweites zu eröffnen.

[Mediaspinner]

@DerReisende77 sorry. der Beitrag war schon ein paar Tage her und ich hatte nicht mehr im Gedächtnis, das daraufhin schon jemand ein Ticket gestellt hat und beim Querlesen übersehen.

Ich hatte vorher auf Github gesucht, nur leider im falschen Bereich und von daher nichts gefunden, sonst hätte ich das Ticket natürlich bleiben gelassen.

[DaDirnbocher]

@DerReisende77 Es mag sein, dass ich mich da irre, aber sind das nicht mindestens 2 verschiedene Themen in dem Thread?

1. Wenn die Crawler Sendungen mit einem “alten” Datum finden, wird das falsch dargestellt. Dazu gibt es das verlinkte Ticket.

2. Werden die Crawler - ohne Umbauten - die angekündigten alten Sendungen überhaupt finden? Ich mein, man sieht ja am SWR, der schon länger mit SWR Retro online ist, dass da bei weitem nicht alles in den Filmlisten enthalten ist (siehe 2. Beitrag in diesem Thread).

[Ein ehemaliger Benutzer]

@pidoubleyou sagte in ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen:

Danke für den Hinweis auf diese alten Filme ohne Datum. Im Code ist tatsächlich eine Prüfung auf 1970 drin und alle älteren Datumswerte werden als “Unsinniger Wert” ignoriert.

Vielleicht ergibt sich ja doch eine Lösungsmöglichkeit mit dem Posix-Standard - eine vorzeichenbehaftete 32-Bit-Zahl (Integer), wonach ja auch Zeiten vor 1970 seit 1901 dargestellt werden können. Wikipedia-Artikel > siehe Tabelle unten.
Inwieweit sich das allerdings mit Java realisieren lässt, ist mir nicht bekannt.

[DerReisende77]

@DaDirnbocher das kann dir nur @pidoubleyou beantworten. Die Testlisten die ich hatte mit alten Daten wurden jedoch korrekt dargestellt.

[gerdd]

Ich koennte mir auch vorstellen, dass die Retro-Beitraege in separate “Sender” einsortiert werden - also etwa “Retro-ARD”, “Retro-WDR” etc. Da sich dieser Pool wohl nicht taeglich aendern wird, wenn er erst einmal steht, koennte man diese Archive auch seltener crawlwn - einmal im Monat koennte reichen. Zu bestimmten Anlaessen vielleicht auch mal ein Sonderlauf - wenn zum Beispiel bekanntgegeben wird, dass “nun die Fussball-WM ab 1954 eingestellt wurde.” Oder so … Und dafuer kann man ja schoen die Option nutzen, die alte Liste jeweils nur zu erweitern, anstatt sie komplett neu zu laden - wenn das hilft.

[pidoubleyou]

@Mediaspinner @DerReisende77 Sorry, das Ticket hatte ich irgendwie vergessen. Der Fix lag sogar schon fertig auf meinem Laptop herum.