ORF hat wieder umgestellt

[mddawson]

Guten Abend! Der Pfad dürfte ein neuer sein: varorfvod.sf.apa.at

[pidoubleyou]

@mddawson welchen Pfad meinst du?

[Manuel]

@pidoubleyou Ich denke er meint den Pfad, auf dem die Dateien gespeichert werden. Bisher war es so, dass die Videodateien als progressive download angeboten wurden in Form von kompletten MP4-Dateien. Jetzt ist es aber so, dass das alles nur noch gestreamt wird, angeboten werden die Streams u.a. als dash, hds und hls.

Als Beispiel:
Rufe ich https://tvthek.orf.at/profile/Zeitzeugnisse-zur-Geburt-der-Republik-Vor-100-Jahren/13889673/Zeitzeugnisse-zur-Geburt-der-Republik-Vor-100-Jahren/13993042 auf, so wird als erstes eine playlist.m3u8 von https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/playlist.m3u8 geladen (diese beinhaltet bereits alle einzelnen Sendungsbeiträge). Dort drin widerrum wird auf eine chunklist.m3u8 verwiesen, nämlich https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 und in dieser Playlist wird dann auf

https://varorfvod.sf.apa.at/cms-worldwide_episodes_nas/_definst_/nas/cms-worldwide_episodes/online/13993042_0037_Q8C.mp4/media_0.ts

verwiesen, wobei sich die media_X.ts auf die einzelnen TS-Dateien beziehen.

Bin mir aber nicht sicher, ob dem TE dieser Beitrag bekannt ist.

[pidoubleyou]

@Manuel Danke für die Infos. Soweit bin ich in meiner Analyse auch bereits gekommen.

Die playlist.m3u8 lässt sich auch im VLC abspielen, allerdings gelingen mir bisher Downloads nicht.

Falls du aus Österreich bist, kannst du mal versuchen, ob du mit ffmpeg die playlist.m3u8 bzw. die chunklist.m3u8 herunterladen kannst.

[Rolf2017]

@pidoubleyou

Hallo pidoubleyou ,

der JDownloader2 schafft es auch nicht passe Links zu sammeln.

Nur das Firefox Addons Video DownloadHelper schafft es die Videos vom ORF per HLS-Streaming herunterzuladen.

Auf die schnelle habe ich auch keinen passenden Video-LInk aus der Mediathek ORF herausgefunden.

Ich hoffe Du hast Glück mit den ORF-Crawler.

[Manuel]

@pidoubleyou Nein, mit ffmpeg geht das bei mir auch nicht, weil der Server den User-Agent überprüft

[hls,applehttp @ 00000000006e2cc0] Error when loading first segment 'https://varorfvod.sf.apa.at/cms-worldwide_episodes_nas/_definst_/nas/cms-worldwide_episodes/online/13993042_0037_Q8C.mp4/media_0.ts?lbs=20181024230034429&ip=91.115.97.113&ua=Lavf%252f57.56.100'

Dachte ich geb den User-Agent mit

ffmpeg -i https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 -user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" -c copy -bsf:a aac_adtstoasc output.mp4

bzw. mit

ffmpeg -i https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 -headers "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" -c copy -bsf:a aac_adtstoasc output.mp4

an den Server mit, scheint aber nichts zu bringen.

//EDIT:

Doch, geht. Aber ich hab den User-Agent falsch mitgegeben, der muss nämlich vor dem Input bereits angegeben werden. Insoweit kann ich den Download mittels

ffmpeg -user_agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36" -i https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/chunklist.m3u8 -c copy -bsf:a aac_adtstoasc output.mp4

starten.

[styroll]

@pidoubleyou sagte: Die playlist.m3u8 lässt sich auch im VLC abspielen, allerdings gelingen mir bisher Downloads nicht.
Falls du aus Österreich bist, kannst du mal versuchen, ob du mit ffmpeg die playlist.m3u8 bzw. die chunklist.m3u8 herunterladen kannst.

Die Playlists kann man ja im Browser (FF) runterladen, du meinst wohl eher die darin referenzierten Videostreamsegmente. Letzteres sollte auch ausserhalb Österreichs klappen, da der Tag “cms-worldwide” in der URL vorkommt.

Blöder-, aber nicht ganz unerwarteterweise wird auch der User-Agent von ffmpeg vom ORF geblockt, da eine 403 “Forbidden” von ffmpeg ausgegeben wird. Mit der Angabe eines anderen User-Agents klappt der Download (getestet mit FFmpeg 4.0.2 unter macOS):

/usr/local/bin/ffmpeg -headers "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 10_0 like Mac OS X) AppleWebKit/602.1.38 (KHTML, like Gecko) Version/10.0 Mobile/14A300 Safari/602.1" -i https://varorfvod.sf.apa.at/cms-worldwide_episodes_nas/_definst_/nas/cms-worldwide_episodes/online/13993042_0037_Q8C.mp4/chunklist.m3u8 -c copy -bsf:a aac_adtstoasc ~/Desktop/Test.mp4

Man kann allerdings auch bloss die Playlist-URL “apasfiis.sf.apa.at” angeben – der DL ist ebenfalls erfolgreich:

/usr/local/bin/ffmpeg -headers "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 10_0 like Mac OS X) AppleWebKit/602.1.38 (KHTML, like Gecko) Version/10.0 Mobile/14A300 Safari/602.1" -i  https://apasfiis.sf.apa.at/ipad/cms-worldwide_episodes/13993042_0037_Q8C.mp4/playlist.m3u8 -c copy -bsf:a aac_adtstoasc ~/Desktop/Test2.mp4

[pidoubleyou]

@styroll sagte in ORF hat wieder umgestellt:

Mit der Angabe eines anderen User-Agents klappt der Download (getestet mit FFmpeg 4.0.2 unter macOS)

Danke

Somit kann ich den Crawler entsprechend umbauen.

Für die Windows-Version ist anscheinend eine aktualisierte ffmpeg-Version notwendig, denn mit der, die aktuell ausgeliefert wird, wird der User-Agent nicht berücksichtigt.

[styroll]

@pidoubleyou sagte: Für die Windows-Version ist anscheinend eine aktualisierte ffmpeg-Version notwendig, denn mit der, die aktuell ausgeliefert wird, wird der User-Agent nicht berücksichtigt

Hab das jetzt gerade noch getestet: Für macOS funktioniert auch die (bisher) gepackte FFmpeg-Version (3.3.4), es braucht also nicht zwingend die aktuelle Version 4.0.2:

/Applications/MediathekView.app/Contents/Resources/ffmpeg

[mddawson]

Ich fand das in der Chrome Erweiterung ORF-TVthek Downloader erwähnt

https://www.bu2media.com/orf-tvthek-downloader/

[mvsfsvm]

@mddawson was genau wurde in der Chrome Erweiterung ORF-TVthek Downloader erwähnt?

[mddawson]

@mvsfsvm sagte in ORF hat wieder umgestellt:

@mddawson was genau wurde in der Chrome Erweiterung ORF-TVthek Downloader erwähnt?

Kein Download mehr möglich!
Hallo
Bis wann wird der Download wieder möglich sein?
mfg
Posted by Roland Resel - 14 hours ago
Reply |

Hi,

Downloader wird wieder gefixed, könnte aber ein paar Tage dauern.

lg, Benjamin
Posted by Benjamin Butschell - 13 hours ago

Heute (24. 10. 2018) kein Download möglich
Liebe Leute, auch ich habe soeben dieselbe Entdeckung gemacht wie der vorhergehende Forum-Schreiber: es gibt zwar den “herunterladen”-Button, aber der geht nur zum Support oder zu den Untertiteln. Bit …
expand »
Posted by dschonnie - 16 hours ago
Reply |

Das Herunterladen geht seit heute nicht mehr
Seit heute sind beim herunterladen nur mehr der Support über Amazon anklickbar.
Liebe Grüße
Walter Stahl
Posted by walter080149 - 1 day ago
Reply |

Hi,

Downloader wird wieder gefixed, könnte aber ein paar Tage dauern.

lg, Benjamin
Posted by Benjamin Butschell - 13 hours ago

ORF hat wieder umgestellt
Guten Abend! Der Pfad dürfte ein neuer sein: varorfvod.sf.apa.at
Posted by A Google User - 1 day ago
Reply |

Hi,

Downloader wird wieder gefixed, könnte aber ein paar Tage dauern.

lg, Benjamin
Posted by Benjamin Butschell - 13 hours ago

[FancyDownloader]

Also…bei mir geht wieder mal garnix!
Die Crawlerliste is kaputt bzw. krieg ich satte 5 Tage einfach nicht rein - ich sehe also am 26.10 nur bis 21.10 und später (20, 19…) und wenn ich eine beleibige Sendung vom Orf runterladen möchte, krieg ich auch nur den Fehler 0 Byte.
Ich hab aber alles aktuell.
MV und Vlc.
Was läuft da bitte schief ?

[Hildegard]

@FancyDownloader sagte in ORF hat wieder umgestellt:

Also…bei mir geht wieder mal garnix!
…
Was läuft da bitte schief ?

Vorschlag: Startseite aufrufen und “Neueste Ankündigungen” lesen.
Oder die Suchfunktion des Forums bemühen.

Warum da so viele nicht von selbst draufkommen werde ich nie begreifen.

[FancyDownloader]

@Hildegard
Sehr witzig!
Hab ich ja gemacht!
Da steht nämlich nix, was mir helfen könnte!

Update 27.10:
JETZT findet der Crawler wieder alle Sendungen vom Orf - Download is aber nach wie vor fehlerhaft.
Kommt nur “Download war fehlerhaft” 0 Byte.

[DaDirnbocher]

@FancyDownloader sagte in ORF hat wieder umgestellt:

Sehr witzig!
Hab ich ja gemacht!
Da steht nämlich nix, was mir helfen könnte!

Tja, Da hättest zum Beispiel die Erklärung für

Also…bei mir geht wieder mal garnix!
Die Crawlerliste is kaputt bzw. krieg ich satte 5 Tage einfach nicht rein - ich >sehe also am 26.10 nur bis 21.10 und später (20, 19…)

gehabt …

[alex]

@FancyDownloader sagte in ORF hat wieder umgestellt:

@Hildegard
Sehr witzig!
Hab ich ja gemacht!
Da steht nämlich nix, was mir helfen könnte!

Update 27.10:
JETZT findet der Crawler wieder alle Sendungen vom Orf - Download is aber nach wie vor fehlerhaft.
Kommt nur “Download war fehlerhaft” 0 Byte.

Gott verdammt, dann nenne wenigstens Beispiele. Und deine Umgebung kennen wir auch nicht. Für Downloadfehler müssen wir bei dir den Fehler suchen (was nicht automatisch heißt, dass er bei dir liegen muss)

[pidoubleyou]

@FancyDownloader sagte in ORF hat wieder umgestellt:

JETZT findet der Crawler wieder alle Sendungen vom Orf - Download is aber nach wie vor fehlerhaft.
Kommt nur “Download war fehlerhaft” 0 Byte.

siehe dieser Post

[Hildegard]

@pidoubleyou Ganz vielen Dank, dass du zum wiederholten Mal deine Freizeit geopfert hast und wir wieder ORF-Sendungen downloaden können.

[claus]

Dieser Beitrag wurde gelöscht!