ZDF-Crawler

[Nicklas2751]

@schabau sagte in ZDF-Crawler:

Sorry aber Xaver hatte es drauf.

Wieso denn hatte? @xaver ist doch immer noch mit dabei ;)

Hmm ok, die Sendung ist schon ein ganzes Stück “in der Zukunft”. Bisher berücksichtige ich da nur die kommenden 3 Tage. Ich werde das dahingehend anpassen. Danke für den Hinweis.

[Nicklas2751]

Ich habe das ganze im Source Code behoben und einen Hotfix erstellt. Dieser muss nuch getestet und freigegeben werden, dann sollte der Crawler aber mehr aus “der Zukunft” finden da nun bis einen Monat in die Zukunft gesucht wird.

Bei mir lokal findet er so jetzt auch u.a. die hier gewünschte Sendung. ;)

Status: https://github.com/mediathekview/MServer/issues/75

[schabau]

@Nicklas2751 sagte in ZDF-Crawler:

Ich habe das ganze im Source Code behoben und einen Hotfix erstellt. Dieser muss nuch getestet und freigegeben werden, dann sollte der Crawler aber mehr aus “der Zukunft” finden da nun bis einen Monat in die Zukunft gesucht wird.

Ich danke Dir.
Dann ist diese Schei… neue ZDF-Mediathek bei MV sicher bald wieder auf dem Stand wie sie einmal war.
Aber große Gedanken mache ich mir auch bei der ARD-Mediathek. Da läuft ja seit Monaten eine “Testmediathek” die zwar noch nicht viel anders als die alte ist aber wer weiß was daraus werden soll.
Ich habe die Befürchtung, dass die ARD-Mediathek auch komplett umgebaut werden soll. Dann geht für MV das gleiche Spiel für ARD noch mal von vorn los.

Viele Grüße

[pidoubleyou]

@schabau sagte in ZDF-Crawler:

Aber große Gedanken mache ich mir auch bei der ARD-Mediathek. Da läuft ja seit Monaten eine “Testmediathek” die zwar noch nicht viel anders als die alte ist aber wer weiß was daraus werden soll.

Hast du einen Link auf diese “Testmediathek”? dann können wir das im Blick behalten und den aktuellen Crawler damit mal testen.

[schabau]

@pidoubleyou sagte in ZDF-Crawler:

Hast du einen Link auf diese “Testmediathek”? dann können wir das im Blick behalten und den aktuellen Crawler damit mal testen.

Ja klar, kein Problem.
Ich musste mich dafür aber Anmelden.

https://exp.ardmediathek.de

[Manuel]

@schabau Wo kann man sich dafür denn registrieren?

[schabau]

@Manuel sagte in ZDF-Crawler:

@schabau Wo kann man sich dafür denn registrieren?

Gute Frage?
Bei mir kam soweit ich mich erinnere dazumal einfach eine Aufforderung sich anzumelden. Naja, per Cookie lande ich nun automatisch auf dieser “Testmediathek”.
Ich habe gerade mal mit einem Portable Browser Nachgesehen und in der Tat erscheint bei diesem nur noch ein Anmeldefenster ohne Möglichkeit der Registrierung. Evtl. ist die Registrierung nicht mehr möglich.
Hier ist der Link zur Infoseite in der auch eine Mailadresse steht. Evtl. kann man auf Nachfrage noch einen Zugang bekommen.

https://exp.ardmediathek.de/ard/servlet/-/studieninhalt

Viele Grüße

[Nicklas2751]

Die Crawler Änderung ist umgesetzt, getestet und realeased. Mit den nächsten Crawler läufen sollten die fehlenden Sendungen dann da sein.

[MenchenSued]

@Nicklas2751
Und wann sehen wir die Erfolge? Die Sendungen Trapped 2-5 “https://www.zdf.de/suche?q=trapped&from=&to=&sender=alle+Sender&attrs=” sind zumindest noch nicht gelistet. Kommen die noch oder verbergen sich die weiterhin vor dem Crawler.

[Nicklas2751]

@MenchenSued Sobald @alex den neuen crawler einsetzt und dieser einen eue Filmliste erstellt hat. Soweit ich das aktuell beurteilen kann also morgen.

[MenchenSued]

@Nicklas2751
Schade, scheint nicht in jedem Fall zu funktionieren. Zwar sind Sendungen vorhanden, die erst im März laufen, aber scheinbar nicht alle, denn Trapped in deutsch fehlt auch heute noch, obwohl in der ZDF-Mediathek vorhanden.

[Nicklas2751]

@MenchenSued Hmm ok ich gucks mir mal an. Bei meinem Test war noch alles vorhanden.

[Nicklas2751]

Ich hab den Fehler gefunden. Es war im letzten Reales noch gar nicht mit drin das wurde von irgendwie übersehen bzw. da hat was bei der Realese-Erzeugung nicht so gewollt wie wir.

Ich bin dran. ;)

[Nicklas2751]

@MenchenSued Es wurde eine neue crawler Version realesed diesmal sicher mit meinen Änderungen. Ich schätze mal morgen sollten die Änderungen dann auch endlich in der Filmliste sichtbar sein. ;)

[iks-jott]

@MenchenSued

@MenchenSued sagte in ZDF-Crawler:

@Nicklas2751
Schade, scheint nicht in jedem Fall zu funktionieren. Zwar sind Sendungen vorhanden, die erst im März laufen, aber scheinbar nicht alle, denn Trapped in deutsch fehlt auch heute noch, obwohl in der ZDF-Mediathek vorhanden.

Seit heute sind alle Folgen vorhanden.
Gruß

[Nicklas2751]

@iks-jott Wunderbar dann hat der Fix jetzt gegriffen und das 403 Problem von gestern wurde gelöst. :)

[Manuel]

@schabau Danke! Auf dieser Seite steht jedoch, dass die Testmediathek bis Mai 2017 genutzt werden kann. Ich denke also, dass die Registrierung bewusst beendet wurde.

Anyway: Ich wünsche mir eh nur, dass die Inhalte endlich alle in HD zur Verfügung stehen - und mit höherer Bitrate ;)