Wie weit zurück sucht denn der ZDF-Crawler?

Der aktuell im Einsatz befindliche ZDF crawler sucht maximal bis zu 300 Tage in die Vergangenheit und bis zu einen Monat in die Zukunft. Hierzu wird aber die API vom ZDF verwendet. D.h. wenn das ZDF eine Wiederholung mit neuem Datum in der API Suche auftauchen lässt dann finden wir es auch, wenn nicht dann nicht.

@nicklas2751 sagte: Nö weil wir nich so weit in die Vergangenheit suchen…

Wie weit zurück sucht denn der ZDF-Crawler?

Da ich die 3-teilige Serie aus Interesse gleich geschaut habe, hab ich jetzt nachträglich auch mal zwei alte Filmlisten angeschaut:

In der Filmliste vom 1.11.2017 sind alle 3 Sendungen noch drin, aber bei allen funktioniert die Video-URL nicht mehr:

Teil 1: http://nrodl.zdf.de/dach/zdf/16/04/160417_kelten1_europa_tex/3/160417_kelten1_europa_tex_3328k_p36v12.mp4

Teil 2: https://rodlzdf-a.akamaihd.net/dach/zdf/16/04/160424_kelten2_gallien_tex/2/160424_kelten2_gallien_tex_2328k_p35v11.mp4

Teil 3: http://nrodl.zdf.de/dach/zdf/16/05/160501_kelten3_koenigin_tex/2/160501_kelten3_koenigin_tex_2256k_p14v11.mp4

Im Falle von Teil 1 und 3 ist noch die alte Domain “zdf.de” statt “akamaihd.net” zu finden, was erklären würde, warum die Video-URL nicht mehr funktioniert. Das hat dann auch MV gemerkt, zumindest finden sich die Teile 1 und 3 ein Monat später nicht mehr in der Filmliste vom 1.12.2017. Der Crawler hat gemerkt, dass der Teil 2 wiederholt wurde bzw. dass sich dessen Video-URL geändert hat (“/3/” statt “/2/” wohl als generischer Zähler oder 3. Emission; entspricht der URL in der aktuellen Liste):

Teil 2: https://rodlzdf-a.akamaihd.net/dach/zdf/16/04/160424_kelten2_gallien_tex/3/160424_kelten2_gallien_tex_2328k_p35v11.mp4

Wenn man nun für die Teile 1 und 3 die Domain ändert, also:

  https://rodlzdf-a.akamaihd.net

statt:

  http://nrodl.zdf.de

und die “Zähler” erhöht (“/5/” statt “/3/” im Falle des Teils 1; “/4/” statt “/2/” im Falle des Teils 3), erhält man gültige Video-URLs:

Teil 1: https://rodlzdf-a.akamaihd.net/dach/zdf/16/04/160417_kelten1_europa_tex/5/160417_kelten1_europa_tex_3328k_p36v12.mp4

Teil 3: https://rodlzdf-a.akamaihd.net/dach/zdf/16/05/160501_kelten3_koenigin_tex/4/160501_kelten3_koenigin_tex_2256k_p14v11.mp4

Natürlich ist es in solchen Fällen einfacher, die fehlenden Sendungen einfach mit JD2 runterzuladen.

Vergangenheit

Na immerhin taucht die zweite Folge ja auf und die ist vom 25.6.2016. Folge drei ist einen Monat älter und hat es somit nicht mehr in MV geschafft.

Vielleicht tauchen Sie ja noch auf.

Nö weil wir nich so weit in die Vergangenheit suchen…

Erstausstrahlung (mit dem Datum werden Filme häufig abgelegt) 17.04.16

Auszug aus den FAQ:
Wenn eine Sendung nur über die Such-Funktion in der Mediathek eines Senders gefunden werden kann, dann wird sie von MediathekView nicht gelistet werden, denn MediathekView sucht nur auf bestimmten Webseiten der Sender (z.B. Sendungen A–Z) und extrahiert die Video-URLs. Zudem können zeitlich nicht beliebig weit zurück Sendungen aufgelistet werden, da bei gewissen Sendern (z.B. beim BR, SWR) das Crawling nach den Video-URLs zu lange dauern würde. D.h., es kann also vorkommen, dass Sendungen im Archiv auf der Website eines Senders gefunden werden, die aber nicht in der Filmliste auftauchen.

https://mediathekview.de/faq/#in-der-mediathek-des-senders-xyz-ist-die-sendung-vorhanden-in-der-filmliste-jedoch-nicht

Falls du entgegnen möchtest, warum ist denn Teil 2 vorhanden, dann mag das daran liegen, dass er auf dem ZDF Server woanders abgelegt ist, dort wo MV sucht.
Eine andere Erkärung habe ich dafür nicht.
GrußC