SRF: neuer Crawler - bitte testen
-
Ich habe das Problem gefunden: für die Ermittlung der Video-URLs und das Abspielen ist ein gültiges Token notwendig. Somit kann der Crawler lediglich die “Basis-Url” ermitteln.
Vor dem Abspielen/Download muss der Client ein valides Token ermitteln und die URL vervollständigen.Wir werden das mal diskutieren, aber ich gehe momentan davon aus, dass wir das nicht einbauen werden.
Vielen Dank für den neuen SRF-Crawler, der sich zu bewähren scheint. :slightly_smiling_face:
Leider bleiben diejenigen Videos mit 403-Sperre (wie z.B. Gomorrha) unberücksichtigt und tauchen nicht in der MV-Liste auf. Wäre es nicht doch möglich, solch ein gültiges Token einzubauen? Ich würde es jedenfalls sehr begrüssen, wenn das nicht einen übermässigen Aufwand verursacht. Wie lässt sich dieses Token allenfalls auch manuell ermitteln, sodass interessierte Nutzer Filmdateien separat runterladen könnten. Ich kenne dazu nur GetFLV, wobei es ein ziemliches Gefrickel ist.
-
Vielen Dank für den neuen SRF-Crawler, der sich zu bewähren scheint. :slightly_smiling_face:
Leider bleiben diejenigen Videos mit 403-Sperre (wie z.B. Gomorrha) unberücksichtigt und tauchen nicht in der MV-Liste auf. Wäre es nicht doch möglich, solch ein gültiges Token einzubauen? Ich würde es jedenfalls sehr begrüssen, wenn das nicht einen übermässigen Aufwand verursacht. Wie lässt sich dieses Token allenfalls auch manuell ermitteln, sodass interessierte Nutzer Filmdateien separat runterladen könnten. Ich kenne dazu nur GetFLV, wobei es ein ziemliches Gefrickel ist.
@Logiciel sagte in SRF: neuer Crawler - bitte testen:
Wäre es nicht doch möglich, solch ein gültiges Token einzubauen?
Solch ein Token müsste dann immer direkt vorm Download durch den Client ermittelt werden, da diese nur begrenze Zeit gültig sind. Diese Ermittlung durch den Client missfällt uns aktuell im Team, wird aber noch diskutiert.
-
Bis jetzt habe ich nur eine kleine Ungereimtheit entdeckt. Bei den Auflösungen steht bei “hohe Auflösung” die Grössenangabe “0 MB” - bei allen anderen steht da nichts. Klar, die Grösse ist vermutlich nicht ermittelbar, aber 0 MB ist auch nicht gerade richtig. Also besser nichts stattdessen.
Allerdings “weiss” MV ja dann beim Download offenbar, wie gross die Datei wird, denn es zeigt mir einen Fortschritt in Prozent an.
Beides ist aber für mich nicht prioritär.
@mac-christian sagte in SRF: neuer Crawler - bitte testen:
Bis jetzt habe ich nur eine kleine Ungereimtheit entdeckt. Bei den Auflösungen steht bei “hohe Auflösung” die Grössenangabe “0 MB” - bei allen anderen steht da nichts. Klar, die Grösse ist vermutlich nicht ermittelbar, aber 0 MB ist auch nicht gerade richtig. Also besser nichts stattdessen.
Allerdings “weiss” MV ja dann beim Download offenbar, wie gross die Datei wird, denn es zeigt mir einen Fortschritt in Prozent an.
Beides ist aber für mich nicht prioritär.
Ich möchte hier noch zwei kleine Verbesserungsmöglichkeiten anregen:
-
Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist, wenn das Video nicht auch in HD (1280x720) angeboten wird. Siehe auch URLs von Gomorrha weiter oben. Noch besser wäre es, wenn alle verfügbaren Qualitäten angezeigt und ausgewählt werden könnten. Im Falle vom SRF sind das ja sechs, nämlich q10 - q60.
-
Die Parameter für die Zieldatei in meinem Speicherset für SRF sind die folgenden: %3-%2-%1_%s.ch-%t - %T [%N]-%Z.mp4 wobei %N ja den Ursprungsdateinamen darstellen sollte. Im Idealfall im Beispiel mit Gomorrha [gomorrha_20190108_010759_13106736_v_webcast_h264_q40]. Aktuell erhalte ich aber [index_5_av.m3u8]. Bei Arte ( z. B. [083266-000-A_SQ_0_VA-STA_03922091_MP4-2200_AMM-PTWEB_12XO217EktU] ) oder beim ZDF (z. B. [190113_1800_sendung_neu_rpo_3296k_p15v14] ) funktioniert es zur vollen Zufriedenheit. Liesse sich dies ohne allzu grossen Eingriffe verbessern? Es würde einige manuelle Nacharbeit durch Umbenennen ersparen.
Ich danke schon mal im voraus.
-
-
@mac-christian sagte in SRF: neuer Crawler - bitte testen:
Bis jetzt habe ich nur eine kleine Ungereimtheit entdeckt. Bei den Auflösungen steht bei “hohe Auflösung” die Grössenangabe “0 MB” - bei allen anderen steht da nichts. Klar, die Grösse ist vermutlich nicht ermittelbar, aber 0 MB ist auch nicht gerade richtig. Also besser nichts stattdessen.
Allerdings “weiss” MV ja dann beim Download offenbar, wie gross die Datei wird, denn es zeigt mir einen Fortschritt in Prozent an.
Beides ist aber für mich nicht prioritär.
Ich möchte hier noch zwei kleine Verbesserungsmöglichkeiten anregen:
-
Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist, wenn das Video nicht auch in HD (1280x720) angeboten wird. Siehe auch URLs von Gomorrha weiter oben. Noch besser wäre es, wenn alle verfügbaren Qualitäten angezeigt und ausgewählt werden könnten. Im Falle vom SRF sind das ja sechs, nämlich q10 - q60.
-
Die Parameter für die Zieldatei in meinem Speicherset für SRF sind die folgenden: %3-%2-%1_%s.ch-%t - %T [%N]-%Z.mp4 wobei %N ja den Ursprungsdateinamen darstellen sollte. Im Idealfall im Beispiel mit Gomorrha [gomorrha_20190108_010759_13106736_v_webcast_h264_q40]. Aktuell erhalte ich aber [index_5_av.m3u8]. Bei Arte ( z. B. [083266-000-A_SQ_0_VA-STA_03922091_MP4-2200_AMM-PTWEB_12XO217EktU] ) oder beim ZDF (z. B. [190113_1800_sendung_neu_rpo_3296k_p15v14] ) funktioniert es zur vollen Zufriedenheit. Liesse sich dies ohne allzu grossen Eingriffe verbessern? Es würde einige manuelle Nacharbeit durch Umbenennen ersparen.
Ich danke schon mal im voraus.
@Logiciel sagte: Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist,
Das stimmt so nicht (aus dem Master-Playlist-File):
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2124000,RESOLUTION=960x544,CODECS="avc1.77.30, mp4a.40.2",CLOSED-CAPTIONS=NONE
https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190115_023518_13179627_v_webcast_h264_,q40,q10,q20,q30,q50,.mp4.csmil/index_4_av.m3u8D.h. die Auflösung von 960x544 müsste “hoher Auflösung” entsprechen, wie das auch bei anderen Sendungen in der Liste (z.B. “Meteo”) der Fall ist. Zudem gibt es immer wieder Ausnahmen, insofern als hinter “index_4_av” auch eine andere Auflösung stecken kann…
@Logiciel sagte: Noch besser wäre es, wenn alle verfügbaren Qualitäten angezeigt und ausgewählt werden könnten. Im Falle vom SRF sind das ja sechs, nämlich q10 - q60.
Kannst du die Qualität auf der SRF-Seite selbst festlegen?
Der Speicherbedarf für die Filmliste würde durch die Aufnahme zusätzlicher Auflösungen nur unnötig grösser. Die unterschiedlichen Auflösungen dienen ja nur dazu, die Datenmenge bei Streaming (HLS) der verfügbaren Bandbreite anzupassen. Bei einem Download (MV) nimmst du die beste Qualität (wenn du genügend Bandbreite hast) oder dann eine mit mässiger Qualität (wenn du bei geringer Bandbreite nicht ewig auf die Datei warten willst). Da braucht man wohl nicht noch 3 weitere Auflösungen, die sich kaum unterscheiden.
@Logiciel sagte: Aktuell erhalte ich aber [index_5_av.m3u8]
Dieses Problem ist bekannt und ticketiert.
-
-
@mac-christian sagte in SRF: neuer Crawler - bitte testen:
Bis jetzt habe ich nur eine kleine Ungereimtheit entdeckt. Bei den Auflösungen steht bei “hohe Auflösung” die Grössenangabe “0 MB” - bei allen anderen steht da nichts. Klar, die Grösse ist vermutlich nicht ermittelbar, aber 0 MB ist auch nicht gerade richtig. Also besser nichts stattdessen.
Allerdings “weiss” MV ja dann beim Download offenbar, wie gross die Datei wird, denn es zeigt mir einen Fortschritt in Prozent an.
Beides ist aber für mich nicht prioritär.
Ich möchte hier noch zwei kleine Verbesserungsmöglichkeiten anregen:
-
Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist, wenn das Video nicht auch in HD (1280x720) angeboten wird. Siehe auch URLs von Gomorrha weiter oben. Noch besser wäre es, wenn alle verfügbaren Qualitäten angezeigt und ausgewählt werden könnten. Im Falle vom SRF sind das ja sechs, nämlich q10 - q60.
-
Die Parameter für die Zieldatei in meinem Speicherset für SRF sind die folgenden: %3-%2-%1_%s.ch-%t - %T [%N]-%Z.mp4 wobei %N ja den Ursprungsdateinamen darstellen sollte. Im Idealfall im Beispiel mit Gomorrha [gomorrha_20190108_010759_13106736_v_webcast_h264_q40]. Aktuell erhalte ich aber [index_5_av.m3u8]. Bei Arte ( z. B. [083266-000-A_SQ_0_VA-STA_03922091_MP4-2200_AMM-PTWEB_12XO217EktU] ) oder beim ZDF (z. B. [190113_1800_sendung_neu_rpo_3296k_p15v14] ) funktioniert es zur vollen Zufriedenheit. Liesse sich dies ohne allzu grossen Eingriffe verbessern? Es würde einige manuelle Nacharbeit durch Umbenennen ersparen.
Ich danke schon mal im voraus.
@Logiciel sagte in SRF: neuer Crawler - bitte testen:
Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist
Wie @styroll schon schreibt, ist die hohe Auflösung eigentlich 960x544.
Auflösungen bis einschließlich 512x288 werden als gering eingestuft, bis 960x544 als hoch.Hast du konkrete Beispiele, wo dies nicht korrekt ist?
-
