ZDF-Crawler

[schabau]

Hallo,
seit dem neuen ZDF-Crawler ist ja bereits ziemliche Verbesserung eingetreten aber so richtig will er scheinbar noch nicht.
Aktuell die beliebte Serie Bettys Diagnose, bei der bereits am Freitag der vergangenen Woche die Folge von Heute (17.02.) in der Mediathek verfügbar war. Per MV konnte ich sie aber erst Gestern (16.02.) finden.
Und so ist es auch mit der Folge vom 24.02. die zwar bereits in der Mediathek zu finden ist aber nicht per MV.

Bettys Diagnose: Nachtschicht

Freitag, der 13. - Dr. Lewandowski richtet sich auf eine gemütliche Nachtschicht ein. Doch schon der erste Notfall ist gruselig.

Sorry aber Xaver hatte es drauf.

Viele Grüße
Detlef Paschke

[heelc]

@schabau
Hallo schabau, das nervt schon sehr, wenn die Sendungen nicht verfügbar sind, aber mit ein bisschen Kreativität kannst du dir den Link selber konstruieren.
Bettys Diagnose - Nachtschicht HD

[Nicklas2751]

@schabau sagte in ZDF-Crawler:

Sorry aber Xaver hatte es drauf.

Wieso denn hatte? @xaver ist doch immer noch mit dabei

Hmm ok, die Sendung ist schon ein ganzes Stück “in der Zukunft”. Bisher berücksichtige ich da nur die kommenden 3 Tage. Ich werde das dahingehend anpassen. Danke für den Hinweis.

[Nicklas2751]

Ich habe das ganze im Source Code behoben und einen Hotfix erstellt. Dieser muss nuch getestet und freigegeben werden, dann sollte der Crawler aber mehr aus “der Zukunft” finden da nun bis einen Monat in die Zukunft gesucht wird.

Bei mir lokal findet er so jetzt auch u.a. die hier gewünschte Sendung.

Status: https://github.com/mediathekview/MServer/issues/75

Nicklas2751 created this issue in mediathekview/MServer

closed Hotfix ZDF Crawl-Zeitraum zu kurz #75

[schabau]

@Nicklas2751 sagte in ZDF-Crawler:

Ich habe das ganze im Source Code behoben und einen Hotfix erstellt. Dieser muss nuch getestet und freigegeben werden, dann sollte der Crawler aber mehr aus “der Zukunft” finden da nun bis einen Monat in die Zukunft gesucht wird.

Ich danke Dir.
Dann ist diese Schei… neue ZDF-Mediathek bei MV sicher bald wieder auf dem Stand wie sie einmal war.
Aber große Gedanken mache ich mir auch bei der ARD-Mediathek. Da läuft ja seit Monaten eine “Testmediathek” die zwar noch nicht viel anders als die alte ist aber wer weiß was daraus werden soll.
Ich habe die Befürchtung, dass die ARD-Mediathek auch komplett umgebaut werden soll. Dann geht für MV das gleiche Spiel für ARD noch mal von vorn los.

Viele Grüße

[pidoubleyou]

@schabau sagte in ZDF-Crawler:

Aber große Gedanken mache ich mir auch bei der ARD-Mediathek. Da läuft ja seit Monaten eine “Testmediathek” die zwar noch nicht viel anders als die alte ist aber wer weiß was daraus werden soll.

Hast du einen Link auf diese “Testmediathek”? dann können wir das im Blick behalten und den aktuellen Crawler damit mal testen.

[schabau]

@pidoubleyou sagte in ZDF-Crawler:

Hast du einen Link auf diese “Testmediathek”? dann können wir das im Blick behalten und den aktuellen Crawler damit mal testen.

Ja klar, kein Problem.
Ich musste mich dafür aber Anmelden.

https://exp.ardmediathek.de

[Manuel]

@schabau Wo kann man sich dafür denn registrieren?

[schabau]

@Manuel sagte in ZDF-Crawler:

@schabau Wo kann man sich dafür denn registrieren?

Gute Frage?
Bei mir kam soweit ich mich erinnere dazumal einfach eine Aufforderung sich anzumelden. Naja, per Cookie lande ich nun automatisch auf dieser “Testmediathek”.
Ich habe gerade mal mit einem Portable Browser Nachgesehen und in der Tat erscheint bei diesem nur noch ein Anmeldefenster ohne Möglichkeit der Registrierung. Evtl. ist die Registrierung nicht mehr möglich.
Hier ist der Link zur Infoseite in der auch eine Mailadresse steht. Evtl. kann man auf Nachfrage noch einen Zugang bekommen.

https://exp.ardmediathek.de/ard/servlet/-/studieninhalt

Viele Grüße

[Nicklas2751]

Die Crawler Änderung ist umgesetzt, getestet und realeased. Mit den nächsten Crawler läufen sollten die fehlenden Sendungen dann da sein.

[MenchenSued]

@Nicklas2751
Und wann sehen wir die Erfolge? Die Sendungen Trapped 2-5 “https://www.zdf.de/suche?q=trapped&from=&to=&sender=alle+Sender&attrs=” sind zumindest noch nicht gelistet. Kommen die noch oder verbergen sich die weiterhin vor dem Crawler.

[Nicklas2751]

@MenchenSued Sobald @alex den neuen crawler einsetzt und dieser einen eue Filmliste erstellt hat. Soweit ich das aktuell beurteilen kann also morgen.

[MenchenSued]

@Nicklas2751
Schade, scheint nicht in jedem Fall zu funktionieren. Zwar sind Sendungen vorhanden, die erst im März laufen, aber scheinbar nicht alle, denn Trapped in deutsch fehlt auch heute noch, obwohl in der ZDF-Mediathek vorhanden.

[Nicklas2751]

@MenchenSued Hmm ok ich gucks mir mal an. Bei meinem Test war noch alles vorhanden.

[Nicklas2751]

Ich hab den Fehler gefunden. Es war im letzten Reales noch gar nicht mit drin das wurde von irgendwie übersehen bzw. da hat was bei der Realese-Erzeugung nicht so gewollt wie wir.

Ich bin dran.

[Nicklas2751]

@MenchenSued Es wurde eine neue crawler Version realesed diesmal sicher mit meinen Änderungen. Ich schätze mal morgen sollten die Änderungen dann auch endlich in der Filmliste sichtbar sein.

[iks-jott]

@MenchenSued

@MenchenSued sagte in ZDF-Crawler:

@Nicklas2751
Schade, scheint nicht in jedem Fall zu funktionieren. Zwar sind Sendungen vorhanden, die erst im März laufen, aber scheinbar nicht alle, denn Trapped in deutsch fehlt auch heute noch, obwohl in der ZDF-Mediathek vorhanden.

Seit heute sind alle Folgen vorhanden.
Gruß

[Nicklas2751]

@iks-jott Wunderbar dann hat der Fix jetzt gegriffen und das 403 Problem von gestern wurde gelöst.

[Manuel]

@schabau Danke! Auf dieser Seite steht jedoch, dass die Testmediathek bis Mai 2017 genutzt werden kann. Ich denke also, dass die Registrierung bewusst beendet wurde.

Anyway: Ich wünsche mir eh nur, dass die Inhalte endlich alle in HD zur Verfügung stehen - und mit höherer Bitrate