Skip to content
  • Kategorien
  • Aktuell
  • Tags
  • Beliebt
  • Benutzer
  • Gruppen
Skins
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
MediathekView Logo

MediathekView-Forum

  1. Übersicht
  2. Fragen, Hilfe, Kritik
  3. SRF: neuer Crawler - bitte testen

SRF: neuer Crawler - bitte testen

Geplant Angeheftet Gesperrt Verschoben Fragen, Hilfe, Kritik
25 Beiträge 8 Kommentatoren 2.8k Aufrufe
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • G Offline
    G Offline
    gerdd
    antwortete auf gerdd am zuletzt editiert von
    #8

    @pidoubleyou nochmal kurz zurückgemeldet: Nach dem dehr positiven ersten Eindruck mit der Test-Filmliste habe ich soeben zum ersten Mal im “Regelbetrieb” die Ergebnisse des neuen SRF-Crawlers gesehen. Es bleibt dabei: Ein (hoffentlich halbwegs) kleiner Schritt für den Entwickler, aber ein Riesenschritt für die Freunde des schweizerischen Fernsehens! Ich versuch’ mich mal an der zuständigen Sprache: Merci vielmals!

    1 Antwort Letzte Antwort
    • styrollS Offline
      styrollS Offline
      styroll
      schrieb am zuletzt editiert von styroll
      #9

      @pidoubleyou Neben den Serien “Chicago Fire” und “Chicago Med” (wie hier gemeldet) fehlt auch “Gomorrha”. Die anderen fremdproduzierten Sendungen scheinen jedoch alle in der MV-Filmliste drin zu sein.

      P 1 Antwort Letzte Antwort
      • P Offline
        P Offline
        pidoubleyou Entwickler
        antwortete auf styroll am zuletzt editiert von
        #10

        @styroll Die Ursache dafür ist, dass die m3u8-Datei mit den Video-Urls wegen 403 Access Denied nicht abgerufen werden kann. Ich vermute, dass diese aus Deutschland nicht abrufbar ist.

        Wenn jemand über eine schweizer IP verfügt, bitte mal diese beiden URLs ausprobieren, ob ihr diese abrufen könnt:
        https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8?start=0.0&end=3482.6

        https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/index_5_av.m3u8?start=0.0&end=3482.6

        mac-christianM 1 Antwort Letzte Antwort
        • mac-christianM Offline
          mac-christianM Offline
          mac-christian
          antwortete auf pidoubleyou am zuletzt editiert von
          #11

          @pidoubleyou sagte in SRF: neuer Crawler - bitte testen:

          @styroll Die Ursache dafür ist, dass die m3u8-Datei mit den Video-Urls wegen 403 Access Denied nicht abgerufen werden kann. Ich vermute, dass diese aus Deutschland nicht abrufbar ist.

          Wenn jemand über eine schweizer IP verfügt, bitte mal diese beiden URLs ausprobieren, ob ihr diese abrufen könnt:
          https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8?start=0.0&end=3482.6

          https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/index_5_av.m3u8?start=0.0&end=3482.6

          Geht auch aus der Schweiz nicht…

          P 1 Antwort Letzte Antwort
          • P Offline
            P Offline
            pidoubleyou Entwickler
            antwortete auf mac-christian am zuletzt editiert von
            #12

            @mac-christian sagte in SRF: neuer Crawler - bitte testen:

            Geht auch aus der Schweiz nicht

            Danke. Somit muss ich suchen, ob ich für diese Filme eine andere URL finden kann.

            1 Antwort Letzte Antwort
            • P Offline
              P Offline
              pidoubleyou Entwickler
              schrieb am zuletzt editiert von
              #13

              Ich habe das Problem gefunden: für die Ermittlung der Video-URLs und das Abspielen ist ein gültiges Token notwendig. Somit kann der Crawler lediglich die “Basis-Url” ermitteln.
              Vor dem Abspielen/Download muss der Client ein valides Token ermitteln und die URL vervollständigen.

              Wir werden das mal diskutieren, aber ich gehe momentan davon aus, dass wir das nicht einbauen werden.

              L 1 Antwort Letzte Antwort
              • F Offline
                F Offline
                FrankyDoo
                schrieb am zuletzt editiert von
                #14

                Hab mal eine Reihe Downloads ausprobiert, gestartet ab 01. Dezember 2018. Alle Versuche vom 01.12., 02.12. und 03.12. waren erfolgreich (habe etwa 20 Videos probiert). Doch dann klappte das Runterladen plötzlich nicht mehr. Siehe Screenshot:

                SRF Bildschirmfoto 2019-01-14 um 12.51.29.png

                auf der SRF-Homepage sind diese Videos problemlos abspielbar, siehe bspw. hier:
                https://www.srf.ch/play/tv/nachtwach/video/oh-wunder?id=92be8031-9714-4de5-baaf-7e5aea4b7af2&station=69e8ac16-4327-4af4-b873-fd5cd6e895a7
                https://www.srf.ch/play/tv/trigger—kurzfilm-der-woche/video/kurzfilm-der-woche-4000–?id=db6593b0-07f3-464f-8869-ddb22b846882&station=69e8ac16-4327-4af4-b873-fd5cd6e895a7

                F 1 Antwort Letzte Antwort
                • F Offline
                  F Offline
                  FrankyDoo
                  antwortete auf FrankyDoo am zuletzt editiert von
                  #15

                  diese fehlerhaften Downloads sind bei der “Test-Filmliste” “filme_srf.json” entstanden (manuell geladen).
                  habe die fehlerhaften Downloads nun mit einer aktuellen MV-Filmliste (14.01.2019, 12:15 Uhr) ausprobiert, hier klappen alle Downloads!

                  P 1 Antwort Letzte Antwort
                  • F Offline
                    F Offline
                    FrankyDoo
                    schrieb am zuletzt editiert von FrankyDoo
                    #16

                    Wo es noch Probleme zu geben scheint: das Anklicken “Zur Website” (URL unten im Fenster “Beschreibung”). Entweder wird der Browser nicht automatisch erkannt oder die Weiterleitung ist fehlerhaft, siehe hier:

                    SRF URL 1 Bildschirmfoto 2019-01-14 um 13.22.25.png

                    SRF URL 2 Bildschirmfoto 2019-01-14 um 13.23.07.png

                    SRF URL 3 Bildschirmfoto 2019-01-14 um 13.23.15.png

                    styrollS 1 Antwort Letzte Antwort
                    • styrollS Offline
                      styrollS Offline
                      styroll
                      antwortete auf FrankyDoo am zuletzt editiert von
                      #17

                      @FrankyDoo sagte: Entweder wird der Browser nicht automatisch erkannt oder die Weiterleitung ist fehlerhaft,

                      Das hast du aber nur mit der Version 13.0.6, nicht mit der aktuellen Version, oder?

                      @FrankyDoo sagte: diese fehlerhaften Downloads sind bei der “Test-Filmliste” “filme_srf.json” entstanden

                      Eine veraltete Filmliste ist nie gut als Referenz für Probleme…

                      F 1 Antwort Letzte Antwort
                      • P Offline
                        P Offline
                        pidoubleyou Entwickler
                        antwortete auf FrankyDoo am zuletzt editiert von
                        #18

                        @FrankyDoo sagte in SRF: neuer Crawler - bitte testen:

                        fehlerhaften Downloads sind bei der “Test-Filmliste” “filme_srf.json

                        Das ist logisch, denn die Liste ist von Anfang Januar gewesen und die meisten Filme wohl in der SRF-Mediathek nicht mehr online.
                        Ich habe die Liste entfernt, denn der Crawler ist ja mittlerweile aktiv.

                        F 1 Antwort Letzte Antwort
                        • F Offline
                          F Offline
                          FrankyDoo
                          antwortete auf styroll am zuletzt editiert von
                          #19

                          @styroll sagte: Das hast du aber nur mit der Version 13.0.6, nicht mit der aktuellen Version, oder?

                          Ja, das Problem taucht in der MV-Version 13.0.6 auf (bei mir auf einem MAC). Habe es mit der Version 13.2.1 (auf Windows) gegengecheckt, hier funktioniert die Weiterleitung im Browser.

                          @styroll sagte: Eine veraltete Filmliste ist nie gut als Referenz für Probleme…

                          Wusste nicht, inwieweit die SRF-Filmliste schon in den neuen Ablauf implementiert ist. Hatte meine Anführungen nur auf die “Test-Liste” bezogen gehabt.

                          1 Antwort Letzte Antwort
                          • F Offline
                            F Offline
                            FrankyDoo
                            antwortete auf pidoubleyou am zuletzt editiert von
                            #20

                            @pidoubleyou sagte: Das ist logisch, denn die Liste ist von Anfang Januar gewesen und die meisten Filme wohl in der SRF-Mediathek nicht mehr online.

                            Doch, die Filme mit den fehlerhaften Downloads sind alle noch online. Warum das Downloaden dann plötzlich nicht mehr mit der SRF-Test-Liste, sondern mit der gewöhnlichen MV-Liste klappte, weiß ich logischerweise nicht. Habe nach vier Fehlversuchen (siehe Screenshot oben) auch aufgehört. Aber das Thema hat sich eh erledigt, der Crawler scheint ja jetzt zu funktionieren.

                            1 Antwort Letzte Antwort
                            • L Offline
                              L Offline
                              Logiciel
                              antwortete auf pidoubleyou am zuletzt editiert von
                              #21

                              @pidoubleyou

                              Vielen Dank für den neuen SRF-Crawler, der sich zu bewähren scheint. 🙂

                              Leider bleiben diejenigen Videos mit 403-Sperre (wie z.B. Gomorrha) unberücksichtigt und tauchen nicht in der MV-Liste auf. Wäre es nicht doch möglich, solch ein gültiges Token einzubauen? Ich würde es jedenfalls sehr begrüssen, wenn das nicht einen übermässigen Aufwand verursacht. Wie lässt sich dieses Token allenfalls auch manuell ermitteln, sodass interessierte Nutzer Filmdateien separat runterladen könnten. Ich kenne dazu nur GetFLV, wobei es ein ziemliches Gefrickel ist.

                              Nicklas2751N 1 Antwort Letzte Antwort
                              • Nicklas2751N Offline
                                Nicklas2751N Offline
                                Nicklas2751 Administrator
                                antwortete auf Logiciel am zuletzt editiert von
                                #22

                                @Logiciel sagte in SRF: neuer Crawler - bitte testen:

                                Wäre es nicht doch möglich, solch ein gültiges Token einzubauen?

                                Solch ein Token müsste dann immer direkt vorm Download durch den Client ermittelt werden, da diese nur begrenze Zeit gültig sind. Diese Ermittlung durch den Client missfällt uns aktuell im Team, wird aber noch diskutiert.

                                MediathekView Entwickler | Bugs?: Anleitung Fehler melden | Fehlende Sendungen?: Fehlende Sendung melden

                                1 Antwort Letzte Antwort
                                • L Offline
                                  L Offline
                                  Logiciel
                                  antwortete auf mac-christian am zuletzt editiert von
                                  #23

                                  @mac-christian sagte in SRF: neuer Crawler - bitte testen:

                                  Bis jetzt habe ich nur eine kleine Ungereimtheit entdeckt. Bei den Auflösungen steht bei “hohe Auflösung” die Grössenangabe “0 MB” - bei allen anderen steht da nichts. Klar, die Grösse ist vermutlich nicht ermittelbar, aber 0 MB ist auch nicht gerade richtig. Also besser nichts stattdessen.

                                  Bildschirmfoto 2019-01-02 um 21.31.16.jpg

                                  Allerdings “weiss” MV ja dann beim Download offenbar, wie gross die Datei wird, denn es zeigt mir einen Fortschritt in Prozent an.

                                  Beides ist aber für mich nicht prioritär.

                                  @pidoubleyou

                                  Ich möchte hier noch zwei kleine Verbesserungsmöglichkeiten anregen:

                                  1. Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist, wenn das Video nicht auch in HD (1280x720) angeboten wird. Siehe auch URLs von Gomorrha weiter oben. Noch besser wäre es, wenn alle verfügbaren Qualitäten angezeigt und ausgewählt werden könnten. Im Falle vom SRF sind das ja sechs, nämlich q10 - q60.

                                  2. Die Parameter für die Zieldatei in meinem Speicherset für SRF sind die folgenden: %3-%2-%1_%s.ch-%t - %T [%N]-%Z.mp4 wobei %N ja den Ursprungsdateinamen darstellen sollte. Im Idealfall im Beispiel mit Gomorrha [gomorrha_20190108_010759_13106736_v_webcast_h264_q40]. Aktuell erhalte ich aber [index_5_av.m3u8]. Bei Arte ( z. B. [083266-000-A_SQ_0_VA-STA_03922091_MP4-2200_AMM-PTWEB_12XO217EktU] ) oder beim ZDF (z. B. [190113_1800_sendung_neu_rpo_3296k_p15v14] ) funktioniert es zur vollen Zufriedenheit. Liesse sich dies ohne allzu grossen Eingriffe verbessern? Es würde einige manuelle Nacharbeit durch Umbenennen ersparen.

                                  Ich danke schon mal im voraus.

                                  styrollS P 2 Antworten Letzte Antwort
                                  • styrollS Offline
                                    styrollS Offline
                                    styroll
                                    antwortete auf Logiciel am zuletzt editiert von styroll
                                    #24

                                    @Logiciel sagte: Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist,

                                    Das stimmt so nicht (aus dem Master-Playlist-File):

                                    #EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=2124000,RESOLUTION=960x544,CODECS="avc1.77.30, mp4a.40.2",CLOSED-CAPTIONS=NONE
                                    https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190115_023518_13179627_v_webcast_h264_,q40,q10,q20,q30,q50,.mp4.csmil/index_4_av.m3u8

                                    D.h. die Auflösung von 960x544 müsste “hoher Auflösung” entsprechen, wie das auch bei anderen Sendungen in der Liste (z.B. “Meteo”) der Fall ist. Zudem gibt es immer wieder Ausnahmen, insofern als hinter “index_4_av” auch eine andere Auflösung stecken kann…

                                    @Logiciel sagte: Noch besser wäre es, wenn alle verfügbaren Qualitäten angezeigt und ausgewählt werden könnten. Im Falle vom SRF sind das ja sechs, nämlich q10 - q60.

                                    Kannst du die Qualität auf der SRF-Seite selbst festlegen?

                                    Der Speicherbedarf für die Filmliste würde durch die Aufnahme zusätzlicher Auflösungen nur unnötig grösser. Die unterschiedlichen Auflösungen dienen ja nur dazu, die Datenmenge bei Streaming (HLS) der verfügbaren Bandbreite anzupassen. Bei einem Download (MV) nimmst du die beste Qualität (wenn du genügend Bandbreite hast) oder dann eine mit mässiger Qualität (wenn du bei geringer Bandbreite nicht ewig auf die Datei warten willst). Da braucht man wohl nicht noch 3 weitere Auflösungen, die sich kaum unterscheiden.

                                    @Logiciel sagte: Aktuell erhalte ich aber [index_5_av.m3u8]

                                    Dieses Problem ist bekannt und ticketiert.

                                    1 Antwort Letzte Antwort
                                    • P Offline
                                      P Offline
                                      pidoubleyou Entwickler
                                      antwortete auf Logiciel am zuletzt editiert von pidoubleyou
                                      #25

                                      @Logiciel sagte in SRF: neuer Crawler - bitte testen:

                                      Unter hoher Auflösung wird die Videoqualität q30 (Auflösung 512x288) verstanden. Besser wäre es, wenn q40 (640x368) darunter zugeordnet würde, weil dies bei SRF die höchste verfügbare Qualität ist

                                      Wie @styroll schon schreibt, ist die hohe Auflösung eigentlich 960x544.
                                      Auflösungen bis einschließlich 512x288 werden als gering eingestuft, bis 960x544 als hoch.

                                      Hast du konkrete Beispiele, wo dies nicht korrekt ist?

                                      1 Antwort Letzte Antwort

                                      • 1
                                      • 2

                                      22

                                      Online

                                      6.7k

                                      Benutzer

                                      6.2k

                                      Themen

                                      39.1k

                                      Beiträge
                                      • Anmelden

                                      • Du hast noch kein Konto? Registrieren

                                      • Anmelden oder registrieren, um zu suchen
                                      • Erster Beitrag
                                        Letzter Beitrag
                                      0
                                      • Kategorien
                                      • Aktuell
                                      • Tags
                                      • Beliebt
                                      • Benutzer
                                      • Gruppen