Danke für den Hinweis auf diese alten Filme ohne Datum. Im Code ist tatsächlich eine Prüfung auf 1970 drin und alle älteren Datumswerte werden als “Unsinniger Wert” ignoriert.

Vielleicht ergibt sich ja doch eine Lösungsmöglichkeit mit dem Posix-Standard - eine vorzeichenbehaftete 32-Bit-Zahl (Integer), wonach ja auch Zeiten vor 1970 seit 1901 dargestellt werden können. Wikipedia-Artikel > siehe Tabelle unten.
Inwieweit sich das allerdings mit Java realisieren lässt, ist mir nicht bekannt.

1. Wenn die Crawler Sendungen mit einem “alten” Datum finden, wird das falsch dargestellt. Dazu gibt es das verlinkte Ticket.

2. Werden die Crawler - ohne Umbauten - die angekündigten alten Sendungen überhaupt finden? Ich mein, man sieht ja am SWR, der schon länger mit SWR Retro online ist, dass da bei weitem nicht alles in den Filmlisten enthalten ist (siehe 2. Beitrag in diesem Thread).

Ich hatte vorher auf Github gesucht, nur leider im falschen Bereich und von daher nichts gefunden, sonst hätte ich das Ticket natürlich bleiben gelassen.

Ich hab jetzt mal ein Ticket angelegt: #529

Hält die Datenbank bzw. die Suchperformance den zu erwartenden zusätzlichen Filmbestand aus, wenn auch die anderen Öffis ihr Material online stellen?
Man kann da sicher abwarten bis es soweit ist, dann sieht man schon was geht.

Das sieht man jetzt schon - am SWR Retro. Und wenn man das Forum verfolgt, wo öfters fehlende Sendungen gemeldet werden, die Monate, ein, zwei, drei Jahre zurückliegen und die Standardantwort ist “soweit in die Vergangenheit suchen die Crawler nicht” braucht man sich keine Gedanken machen, dass die Filmliste überflutet wird. Ich würde vermuten, dass die großteils gar nicht gefunden werden.

Ausser die Crawler werden gezielt auf derartige Sendungen umgebaut.

Aber drüber nachdenken, über die Optionen, kann man ja schon mal. Zum Beispiel Teilen der Filmdatenbank,

Meinst Du die Filmliste, die runtergeladen wird, oder die lokale Datenbank, mit der dann weitergerbeitet wird? Aber nachdem Du dir Sorgen um die Performance des Suchalgorithmus machst, wohl letzteres.

alles was vor dem 1.1.1970 ausgestrahlt wurde in eine eigene Datenbank. Oder man nimmt gleich ein späteres Datum als Trennung wie den 1.1.2000 oder den 1. Januar des Vorjahres mit jeweiligem jährlichem Übertrag. Denn die überwiegende Mehrheit dürfte sicher ohnehin nach aktuellen Sendungen suchen.

Nun, dafür gibts ja auch schon längst eine Lösung. Man kann ja bei importieren der Filmiste einstellen, dass nur die letzten x Tage importiert werden.

Wer Performanceprobleme befürchtet, oder nur an den Filmen der letzten Tage interessiert ist, importiert halt einfach nur die z.B. letzten 30 Tage.

Das Problem ist halt, dass es Sendungen ohne Datum gibt und das ändert sich nicht durch das erwähnte Ticket.

Denn die überwiegende Mehrheit dürfte sicher ohnehin nach aktuellen Sendungen suchen.

Denke ich auch. Ich habe mal ein paar Musiksendungen mit Material von 1970 gesehen, die mit Fernsehen im heutigen Sinn nichts mehr zu tun haben. Die Auflösung ist sehr gering und die Qualität äußerst dürftig und auch das 4:3 Format erfreut selten. Somit werden die alten Sendungen meist nur nostalgischen Wert haben.

Man könnte theoretisch die Filmliste stückeln und der Anwender entscheidet selbst, ob er die letzte Woche, den letzten Monat oder das letzte Jahr laden möchte. Nur leider haben Wiederholungen oft nicht das aktuelle Datum sondern das Datum der Erstausstrahlung und erscheinen so nur beim Laden der Gesamtliste. Wenn man dieses Datumsproblem lösen könnte, könnte man die Downloadmenge erheblich reduzieren. Da ich nahezu täglich mit MV arbeite, würde mir persönlich die Liste der letzten paar Tage reichen.

Hält die Datenbank bzw. die Suchperformance den zu erwartenden zusätzlichen Filmbestand aus, wenn auch die anderen Öffis ihr Material online stellen?

Man kann da sicher abwarten bis es soweit ist, dann sieht man schon was geht. Aber drüber nachdenken, über die Optionen, kann man ja schon mal. Zum Beispiel Teilen der Filmdatenbank, alles was vor dem 1.1.1970 ausgestrahlt wurde in eine eigene Datenbank. Oder man nimmt gleich ein späteres Datum als Trennung wie den 1.1.2000 oder den 1. Januar des Vorjahres mit jeweiligem jährlichem Übertrag. Denn die überwiegende Mehrheit dürfte sicher ohnehin nach aktuellen Sendungen suchen.

“fehlende Datum bei Sendungen” etwas das aktuell schon auftritt

Danke für den Hinweis auf diese alten Filme ohne Datum. Im Code ist tatsächlich eine Prüfung auf 1970 drin und alle älteren Datumswerte werden als “Unsinniger Wert” ignoriert.

https://github.com/mediathekview/MLib/issues/119

Und es gibt derzeit am Ende der Filmliste sehr viele Einträge ohne Datum, wobei das noch nicht mal alles historische Sendungen sind.

Wie Du richtig erkannt hast, ist das “fehlende Datum bei Sendungen” etwas das aktuell schon auftritt und damit nichts, was durch “ARD will Sendungen aus der Zeit vor 1966 dauerhaft online stellen” neu entstehen wird.

Und es gibt derzeit am Ende der Filmliste sehr viele Einträge ohne Datum, wobei das noch nicht mal alles historische Sendungen sind.

Ich konnte jetzt noch keine Details finden, wie genau die das technisch umsetzen wollen. Wenn die das Material in ihre Mediatheken fluten, könnte das für uns mit Problemen verbunden sein, oder?

Nun, in dem verlinkten Artikel heissts:

Dann wollen alle ARD-Landesrundfunkanstalten und das Deutsche Rundfunkarchiv historische Videobeiträge in der ARD-Mediathek zeitlich unbegrenzt zugänglich machen. Nach und nach soll so ein audiovisuelles Archiv nach dem Vorbild des SWR entstehen, der im Herbst 2019 mit SWR Retro an den Start ging.

Also ja, in der Mediathek. Und nachdem SWR Retro seit Herbst 2019 “online” ist, kann ein Blick in die aktuellen Filmlisten eine Idee liefern, was das ab Oktober 2020 bedeutet (wenn nicht was geändert wird).

Mit einigen Stichproben aus SWR-Retro habe ich manche Sendungen gefunden (z.B. “Der Ball an der Leine”) und manche nicht. Letzteres vielleicht, weil das Datum zu weit in der Vergangenheit liegt, und die Crawler nicht so weit in die Vergangenheit suchen. Ersteres vielleicht, wenn die (auch) in einer anderen Kategorie gelistet waren. Sind aber nur Vermutungen.

Jedenfalls ist die Sorge ums Datum damit beantwortet. MV stürzt deswegen nicht ab.