Skip to content
  • Categories
  • Recent
  • Tags
  • Popular
  • Users
  • Groups
Skins
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Default (No Skin)
  • No Skin
Collapse
MediathekView Logo

MediathekView-Forum

  1. Home
  2. Fragen, Hilfe, Kritik
  3. SRF: neuer Crawler - bitte testen

SRF: neuer Crawler - bitte testen

Scheduled Pinned Locked Moved Fragen, Hilfe, Kritik
25 Posts 8 Posters 2.8k Views
  • Oldest to Newest
  • Newest to Oldest
  • Most Votes
Log in to reply
This topic has been deleted. Only users with topic management privileges can see it.
  • P Offline
    P Offline
    pidoubleyou Entwickler
    wrote on last edited by
    #1

    Hallo zusammen,

    nachdem sich die Probleme mit fehlenden Filmen für den SRF häufen, würde ich gerne die neue Implementierung des SRF-Crawlers aktiv schalten.

    Die Einsortierung bzgl. Thema und Titel ändert sich dabei allerdings im Vergleich zur aktuellen Version: als Thema werden die Sendungsnamen aus Sendungen A-Z verwendet, als Titel die entsprechenden Folgen.

    Bei Interesse könnt ihr folgende Filmliste manuell importieren und hier Anmerkungen dazu geben.

    Schon mal vorab danke für eure Hilfe.

    P.S. Die Filmliste ist vom 02.01.2019 20 Uhr.

    DaDirnbocherD mac-christianM styrollS G 4 Replies Last reply
    • DaDirnbocherD Offline
      DaDirnbocherD Offline
      DaDirnbocher
      replied to pidoubleyou on last edited by DaDirnbocher
      #2

      @pidoubleyou rund doppelte Anzahl an (Anm: keine Ahnung, was ich da verglichen habe, dass ich nur auf “doppelt” gekommen bin) viel mehr Sendungen, vernünftig(er)e Themenzuordnung. Schaut (für mich) sehr gut aus. :clapping_hands: :clapping_hands: :clapping_hands:

      1 Reply Last reply
      • mac-christianM Offline
        mac-christianM Offline
        mac-christian
        replied to pidoubleyou on last edited by
        #3

        @pidoubleyou sagte in SRF: neuer Crawler - bitte testen:

        Die Einsortierung bzgl. Thema und Titel ändert sich dabei allerdings im Vergleich zur aktuellen Version: als Thema werden die Sendungsnamen aus Sendungen A-Z verwendet, als Titel die entsprechenden Folgen.

        Klingt vielversprechend. Auf jeden Fall besser als das, was in letzter Zeit so von SRF kam. Ich werd es mir gleich mal ansehen.

        Danke schon jetzt!

        1 Reply Last reply
        • mac-christianM Offline
          mac-christianM Offline
          mac-christian
          wrote on last edited by mac-christian
          #4

          Bis jetzt habe ich nur eine kleine Ungereimtheit entdeckt. Bei den Auflösungen steht bei “hohe Auflösung” die Grössenangabe “0 MB” - bei allen anderen steht da nichts. Klar, die Grösse ist vermutlich nicht ermittelbar, aber 0 MB ist auch nicht gerade richtig. Also besser nichts stattdessen.

          Bildschirmfoto 2019-01-02 um 21.31.16.jpg

          Allerdings “weiss” MV ja dann beim Download offenbar, wie gross die Datei wird, denn es zeigt mir einen Fortschritt in Prozent an.

          Beides ist aber für mich nicht prioritär.

          L 1 Reply Last reply
          • styrollS Offline
            styrollS Offline
            styroll
            replied to pidoubleyou on last edited by styroll
            #5

            @pidoubleyou sagte: Die Einsortierung bzgl. Thema und Titel ändert sich dabei allerdings im Vergleich zur aktuellen Version: als Thema werden die Sendungsnamen aus Sendungen A-Z verwendet, als Titel die entsprechenden Folgen.

            So ist die Kategorisierung wieder brauchbar, und es finden sich 7-mal mehr Filme in der Liste. Auch der “Link zur Website” führt nun wieder tatsächlich dorthin. Besten Dank!

            Mir ist bei meinen Tests bloss aufgefallen, dass da die vielen Sport-Kurzmeldungen nicht mehr gelistet sind. Neuer Crawler:

            SRF-Sport_Crawlwr_neu.png

            Alter Crawler (110 Einträge):

            SRF-Sport_Crawler_alt.png

            Das kann man auch mithilfe des Suchbegriffs “Cologna” überprüfen. Ist aber sicher kein wirkliches Problem im Vergleich zur Ausbeute des aktuellen Crawlers.

            1 Reply Last reply
            • G Offline
              G Offline
              gerdd
              replied to pidoubleyou on last edited by
              #6

              @pidoubleyou Hmmm - schööööön!

              Für mich das beste ist die Bestückung der “Thema”-Spalte. Ich suche hauptsächlich nach Filmen und Serien, und da mußte ich bisher stets auf der URL-Zeile schauen, zu welcher Serie ein Beitrag gehörte oder ob er ein selbständiger Film war. Vorher war ich mir auch nicht immer sicher, ob ich nicht doch dabei war, einen Hörfilm zu laden. Die Fülle an Programmen ist zunächst mal noch gewöhnungsbedürftig - aber das ist ja kein Problem.

              Danke, die Arbeit hat gelohnt!

              G 1 Reply Last reply
              • P Offline
                P Offline
                pidoubleyou Entwickler
                wrote on last edited by
                #7

                Vielen Dank für die schnellen Rückmeldungen.

                Ich schaue mal, was ich die den beiden Anmerkungen zur Filmgröße und zu den Sport-Kurzmeldungen machen kann.

                1 Reply Last reply
                • G Offline
                  G Offline
                  gerdd
                  replied to gerdd on last edited by
                  #8

                  @pidoubleyou nochmal kurz zurückgemeldet: Nach dem dehr positiven ersten Eindruck mit der Test-Filmliste habe ich soeben zum ersten Mal im “Regelbetrieb” die Ergebnisse des neuen SRF-Crawlers gesehen. Es bleibt dabei: Ein (hoffentlich halbwegs) kleiner Schritt für den Entwickler, aber ein Riesenschritt für die Freunde des schweizerischen Fernsehens! Ich versuch’ mich mal an der zuständigen Sprache: Merci vielmals!

                  1 Reply Last reply
                  • styrollS Offline
                    styrollS Offline
                    styroll
                    wrote on last edited by styroll
                    #9

                    @pidoubleyou Neben den Serien “Chicago Fire” und “Chicago Med” (wie hier gemeldet) fehlt auch “Gomorrha”. Die anderen fremdproduzierten Sendungen scheinen jedoch alle in der MV-Filmliste drin zu sein.

                    P 1 Reply Last reply
                    • P Offline
                      P Offline
                      pidoubleyou Entwickler
                      replied to styroll on last edited by
                      #10

                      @styroll Die Ursache dafür ist, dass die m3u8-Datei mit den Video-Urls wegen 403 Access Denied nicht abgerufen werden kann. Ich vermute, dass diese aus Deutschland nicht abrufbar ist.

                      Wenn jemand über eine schweizer IP verfügt, bitte mal diese beiden URLs ausprobieren, ob ihr diese abrufen könnt:
                      https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8?start=0.0&end=3482.6

                      https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/index_5_av.m3u8?start=0.0&end=3482.6

                      mac-christianM 1 Reply Last reply
                      • mac-christianM Offline
                        mac-christianM Offline
                        mac-christian
                        replied to pidoubleyou on last edited by
                        #11

                        @pidoubleyou sagte in SRF: neuer Crawler - bitte testen:

                        @styroll Die Ursache dafür ist, dass die m3u8-Datei mit den Video-Urls wegen 403 Access Denied nicht abgerufen werden kann. Ich vermute, dass diese aus Deutschland nicht abrufbar ist.

                        Wenn jemand über eine schweizer IP verfügt, bitte mal diese beiden URLs ausprobieren, ob ihr diese abrufen könnt:
                        https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/master.m3u8?start=0.0&end=3482.6

                        https://srfvodhd-vh.akamaihd.net/i/vod/gomorrha/2019/01/gomorrha_20190108_010759_13106736_v_webcast_h264_,q40,q10,q20,q30,.mp4.csmil/index_5_av.m3u8?start=0.0&end=3482.6

                        Geht auch aus der Schweiz nicht…

                        P 1 Reply Last reply
                        • P Offline
                          P Offline
                          pidoubleyou Entwickler
                          replied to mac-christian on last edited by
                          #12

                          @mac-christian sagte in SRF: neuer Crawler - bitte testen:

                          Geht auch aus der Schweiz nicht

                          Danke. Somit muss ich suchen, ob ich für diese Filme eine andere URL finden kann.

                          1 Reply Last reply
                          • P Offline
                            P Offline
                            pidoubleyou Entwickler
                            wrote on last edited by
                            #13

                            Ich habe das Problem gefunden: für die Ermittlung der Video-URLs und das Abspielen ist ein gültiges Token notwendig. Somit kann der Crawler lediglich die “Basis-Url” ermitteln.
                            Vor dem Abspielen/Download muss der Client ein valides Token ermitteln und die URL vervollständigen.

                            Wir werden das mal diskutieren, aber ich gehe momentan davon aus, dass wir das nicht einbauen werden.

                            L 1 Reply Last reply
                            • F Offline
                              F Offline
                              FrankyDoo
                              wrote on last edited by
                              #14

                              Hab mal eine Reihe Downloads ausprobiert, gestartet ab 01. Dezember 2018. Alle Versuche vom 01.12., 02.12. und 03.12. waren erfolgreich (habe etwa 20 Videos probiert). Doch dann klappte das Runterladen plötzlich nicht mehr. Siehe Screenshot:

                              SRF Bildschirmfoto 2019-01-14 um 12.51.29.png

                              auf der SRF-Homepage sind diese Videos problemlos abspielbar, siehe bspw. hier:
                              https://www.srf.ch/play/tv/nachtwach/video/oh-wunder?id=92be8031-9714-4de5-baaf-7e5aea4b7af2&station=69e8ac16-4327-4af4-b873-fd5cd6e895a7
                              https://www.srf.ch/play/tv/trigger—kurzfilm-der-woche/video/kurzfilm-der-woche-4000–?id=db6593b0-07f3-464f-8869-ddb22b846882&station=69e8ac16-4327-4af4-b873-fd5cd6e895a7

                              F 1 Reply Last reply
                              • F Offline
                                F Offline
                                FrankyDoo
                                replied to FrankyDoo on last edited by
                                #15

                                diese fehlerhaften Downloads sind bei der “Test-Filmliste” “filme_srf.json” entstanden (manuell geladen).
                                habe die fehlerhaften Downloads nun mit einer aktuellen MV-Filmliste (14.01.2019, 12:15 Uhr) ausprobiert, hier klappen alle Downloads!

                                P 1 Reply Last reply
                                • F Offline
                                  F Offline
                                  FrankyDoo
                                  wrote on last edited by FrankyDoo
                                  #16

                                  Wo es noch Probleme zu geben scheint: das Anklicken “Zur Website” (URL unten im Fenster “Beschreibung”). Entweder wird der Browser nicht automatisch erkannt oder die Weiterleitung ist fehlerhaft, siehe hier:

                                  SRF URL 1 Bildschirmfoto 2019-01-14 um 13.22.25.png

                                  SRF URL 2 Bildschirmfoto 2019-01-14 um 13.23.07.png

                                  SRF URL 3 Bildschirmfoto 2019-01-14 um 13.23.15.png

                                  styrollS 1 Reply Last reply
                                  • styrollS Offline
                                    styrollS Offline
                                    styroll
                                    replied to FrankyDoo on last edited by
                                    #17

                                    @FrankyDoo sagte: Entweder wird der Browser nicht automatisch erkannt oder die Weiterleitung ist fehlerhaft,

                                    Das hast du aber nur mit der Version 13.0.6, nicht mit der aktuellen Version, oder?

                                    @FrankyDoo sagte: diese fehlerhaften Downloads sind bei der “Test-Filmliste” “filme_srf.json” entstanden

                                    Eine veraltete Filmliste ist nie gut als Referenz für Probleme…

                                    F 1 Reply Last reply
                                    • P Offline
                                      P Offline
                                      pidoubleyou Entwickler
                                      replied to FrankyDoo on last edited by
                                      #18

                                      @FrankyDoo sagte in SRF: neuer Crawler - bitte testen:

                                      fehlerhaften Downloads sind bei der “Test-Filmliste” “filme_srf.json

                                      Das ist logisch, denn die Liste ist von Anfang Januar gewesen und die meisten Filme wohl in der SRF-Mediathek nicht mehr online.
                                      Ich habe die Liste entfernt, denn der Crawler ist ja mittlerweile aktiv.

                                      F 1 Reply Last reply
                                      • F Offline
                                        F Offline
                                        FrankyDoo
                                        replied to styroll on last edited by
                                        #19

                                        @styroll sagte: Das hast du aber nur mit der Version 13.0.6, nicht mit der aktuellen Version, oder?

                                        Ja, das Problem taucht in der MV-Version 13.0.6 auf (bei mir auf einem MAC). Habe es mit der Version 13.2.1 (auf Windows) gegengecheckt, hier funktioniert die Weiterleitung im Browser.

                                        @styroll sagte: Eine veraltete Filmliste ist nie gut als Referenz für Probleme…

                                        Wusste nicht, inwieweit die SRF-Filmliste schon in den neuen Ablauf implementiert ist. Hatte meine Anführungen nur auf die “Test-Liste” bezogen gehabt.

                                        1 Reply Last reply
                                        • F Offline
                                          F Offline
                                          FrankyDoo
                                          replied to pidoubleyou on last edited by
                                          #20

                                          @pidoubleyou sagte: Das ist logisch, denn die Liste ist von Anfang Januar gewesen und die meisten Filme wohl in der SRF-Mediathek nicht mehr online.

                                          Doch, die Filme mit den fehlerhaften Downloads sind alle noch online. Warum das Downloaden dann plötzlich nicht mehr mit der SRF-Test-Liste, sondern mit der gewöhnlichen MV-Liste klappte, weiß ich logischerweise nicht. Habe nach vier Fehlversuchen (siehe Screenshot oben) auch aufgehört. Aber das Thema hat sich eh erledigt, der Crawler scheint ja jetzt zu funktionieren.

                                          1 Reply Last reply

                                          • 1
                                          • 2

                                          43

                                          Online

                                          6.7k

                                          Users

                                          6.2k

                                          Topics

                                          39.4k

                                          Posts
                                          • Login

                                          • Don't have an account? Register

                                          • Login or register to search.
                                          • First post
                                            Last post
                                          0
                                          • Categories
                                          • Recent
                                          • Tags
                                          • Popular
                                          • Users
                                          • Groups