Schlechte CPU-Nutzung

  • Hallo zusammen,


    ich habe beim Rendern innerhalb der Timeline nur eine CPU-Ausnutzung von ca. 10 % (siehe Screenshot). Rendervorgänge dauern dadurch unnötig lange.
    Beim Exportieren nach m2v jagt der Prozessor mit vollen 100% den Vorgang voran.
    Beim Exportieren nach Canopus HQ avi hingegen liegt die Prozessorauslastung bei 2%.


    Ist das normal??? Oder kann es sein, dass auch hier ein IRQ-Konflikt vorliegt? Das war ja bei mir neulich der Fall, als das Playback einfacher Files ruckelte (was mittlerweile aber behoben ist).


    Danke,
    Chris

  • Zu langsames Laufwerk?


    Beim Rendern liest und schreibt EDIUS parallel große Menge an Daten auf die HDD. Wenn das alles auf einem einzigen Laufwerk stattfindet, kann das erheblich ausbremsen. Der Rendervorgang erzeugt schliesslich große Cache Dateien! Da dreht deine Core i7 CPU dann und wann auch schon mal Däumchen.


    Die Bandbreite eines MPEG fällt dagegen eher mickrig aus und beim Export wird oft auch ein extra Laufwerk als Ziel angegeben.


    Generell erzeugt das generieren eines MPEG's eine höhere CPU Last. Das ist logisch, denn ein verlustfreier Codec machte schon früheren Porzessorgenerationen wenig Mühe.
    Glaub mir, da ist das System eher damit beschäftigt, Daten hin- und herzuschaufeln, als dass es encodieren müsste.


    Naja, ohne mehr Informationen zu haben, lässt sich es sich weiter schwer eingrenzen.


    Jim

  • Hallo Jim,


    vielen Dank für die schnelle Antwort.
    Hm - ein zu langsames Laufwerk? Das Systemlaufwerk macht 90MB/sec. Alle Daten-Laufwerke machen zwischen 120 und 140MB/sec. Die Schreibgeschwindigkeit kann ich leider nicht messen. Interessant wäre wahrscheinlich ein Live-Monitoring der HDDs hinsichtlich ihrer Schreib/Leseperformance. Kennst Du da ein entsprechendes Tool? Wie gesagt, meines kann nur die Lesegeschwindigkeit auslesen (und das auch nicht "live" während des Arbeitens, sondern bei einem definierten Lesetest, der nichts mit dem aktuellen Workflow zu tun hat).


    Keinen spürbaren Performance-Unterschied macht es, auf welcher HDD ich das Projekt abspeichere (denn dorthin werden ja auch die Render-Dateien geschrieben). Ebenso, auf welcher HDD die Footage-Dateien gespeichert sind.


    Hmmm... irgendwelche Ideen?


    Danke,
    Chris

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

  • Generell erzeugt das generieren eines MPEG's eine höhere CPU Last. Das ist logisch, denn ein verlustfreier Codec machte schon früheren Porzessorgenerationen wenig Mühe.


    Glaub mir, da ist das System eher damit beschäftigt, Daten hin- und herzuschaufeln, als dass es encodieren müsste.

    Ich tippe eher darauf, dass dein System beim Rendering der Logisitik im Umgang mit den Datenmengen hinterherhinkt!
    Stell dir vor, du hast eine Menge Rechenpower und EDIUS kann sie garnicht gebrauchen?
    Dieser Logik folgend würden die 100 % beim MPEG Encoding absolut Sinn machen!


    Jim

  • Das verstehe ich ja. Aber es interessiert mich schon, welche Maßnahmen ich erfreifen muss, um die CPU-Power besser zu nutzen. 10% kann man ja wirklich nicht als effizient bezeichnen... Evtl. gibt es ja nur einen dummen Fehler in meinem Setup.
    Wie ist es denn bei Dir oder anderen Usern? Wird bei Euch ebenfalls nur verhältnismäßig wenig CPU beim Rendern von Clips in der Timeline benutzt? Falls das systembedingt "normal" ist, brauche ich ja nicht lange weiterzusuchen.


    Danke,
    Chris

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

    • Offizieller Beitrag
    Zitat

    jim Pansen schrieb:
    Naja, ohne mehr Informationen zu haben, lässt sich es sich weiter schwer eingrenzen.


    und es lässt sich auch nicht sinnvoll bzw. genau vergleichen


    ==> ohne Projektsetings ....incl Rendercodec Einstellungsangabe
    ==> ohne was liegt auf der Timeline ... Qellformat der zu rendernden Clips
    ==> ohne welche Effekte sollen gerendert werden??


    just my two €uro-cent ;)

    Grass Valley Moderator 2 / freiwilliger firmenunabhängiger Foren-Moderator
    Wichtig: Dies ist kein Grass Valley Support Forum.! Dies ist ein moderiertes Anwender zu Anwender Forum.


    i9-7980XE 18cores/36threads - PCIe-M.2 960 PRO 512GB - PCIe-M.2 970 Pro 1TB - 32GB DDR4-3600 - Zotac GeForce GTX 1080 8GB - DeckLink Mini Monitor 4K - Win_10prof
    Edius X WG + VisTitle

  • Hallo zusammen,


    OK - ich habe nun mal ein Testprojekt angelegt, das wie ich finde schön zeigt, dass irgendetwas faul ist. Entweder in meinen Settings oder in der Edius-Verwaltung.


    - Projekteinstellung: 1920x1080i (keine individuellen Änderungen vorgenommen)
    - Testbitmap: weiß, 1920x1080i, bmp, 6MB groß
    - Testbitmap auf Timeline gelegt und Dauer = 1min gesetzt
    - 3D PiP hinzugefügt, und keine Einstellungen im PiP Dialog vorgenommen (habe ihn einfach so gelassen, wie er standardmäßig ist)
    - In und Out auf Cliplänge angeglichen (1min)
    - Bereich "In-Out" rendern lassen (in den Projekteinstellungen ist definiert, dass dies im Canopus HQ Standard Codec erfolgt)
    --> Ergebnis: 52sec, CPU-Auslastung permanent bei ca. 10%
    - Nun über den Exporter den gleichen Timeline-Bereich rendern lassen; ebenfalls als Canopus HQ Standard; nur eben über den Exporter (F11)
    --> Ergebnis: 8sec, CPU-Auslastung permanent bei ca. 2%


    Mein Fazit:
    - Am Festplattendurchsatz wird dieses Problem wohl nicht liegen. Dafür ist die Bitmap Testdatei zu klein.
    - Habe zwei Kombinationen hinsichtlich Speicherorten des Projektes und der Bitmap-Datei ausprobiert (beides auf verschiedenen Laufwerken, beides auf gleichen Laufwerken). --> Keine nennenswerte Abweichung von den o.a. Ergebnissen.
    - Am Festplatten-Modus (IDE vs. AHCI) liegt es nicht. Habe beides ausprobiert, was sich hinsichtlich der Performance nicht unterschieden hat.
    - Das Editing innerhalb der Timeline müsste wesentlich schneller berechnet werden können - wird es aber nicht.


    Warum???


    Ich freue mich auf Eure Tipps & Hinweise...:-)

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

  • - Bereich "In-Out" rendern lassen (in den Projekteinstellungen ist definiert, dass dies im Canopus HQ Standard Codec erfolgt)
    --> Ergebnis: 52sec, CPU-Auslastung permanent bei ca. 10%
    - Nun über den Exporter den gleichen Timeline-Bereich rendern lassen; ebenfalls als Canopus HQ Standard; nur eben über den Exporter (F11)
    --> Ergebnis: 8sec, CPU-Auslastung permanent bei ca. 2%

    Interessant! Das ist ein gewaltiger Unterschied!
    Aber wie du siehst, juckt die CPU dieser Vorgang nicht im Geringsten!


    Trotz schnellerer Ausgabe, wurde die CPU vermeintlich nicht "mehr", sondern "scheinbar" sogar weniger gefordert.
    Ich schreibe das nur, um dich von der Vorstellung abzubringen, du könntest jetzt mit der bloßen Dateiausgabe deinen 6 (+6 virtuelle) Kern Prozessor komplett auslasten!
    Wahrscheinlich war eine Prozessorlast von 10 % schon sehr viel bei der Ausgabe in diesen Codec. Der CANOPUS HQ Codec ist auf Qualität bei Echtzeitverarbeitung ausgelegt und kommt daher nicht mit einer so hohen Rechenkomplexität daher, wie ein hochoptimerter auf Kompression optimierter Codec. Das System soll beim En- ud Decodieren dieses Codecs natürlich auch nicht sonderlich beansprucht werden, damit nicht allzu große technischen Hürden geschaffen werden, was ein entspanntes Arbeiten auf fast jedem System ermöglichen sollte.


    Die Kerne kämen eher in Bewegung, wenn ein Encoding nach H264, MPEG2 oder sonst irgend etwas bei gleichzeitigem Up- oder Downscaling oder gar Frameratenkonvertierung anstünde. In diesem Fall würde wohl etwas mehr Bewegung ins Geschehen kommen.


    An dieser Stelle würde mich allerdings mal interessieren, ob für die beiden von dir benannten Vorgänge (oben) unterschiedliche Engines greifen?
    Diese Frage wird uns aber vermutlich hier niemand beantworten können.


    Jim

  • Chris,
    das liegt nicht an deinem System sondern am Edius Program Code.
    Ich weiss nicht mehr in welcher Edius Version der neue Edius Exporter eingeführt wurde - seit diesem Zeitpunkt wird bei verschiedenen MPEG2 Formaten das sogenannte "Grid Encoding" verwendet = ca.100% CPU Auslastung über alle Kerne (übrigens auch im Procoder 3).
    Die anderen Render Formate sind alter Code = können nicht alle Kerne (voll) nutzen.

    Gruss
    Jürgen
    _______________________________________________________________________________________________________________________
    Triple Boot:Win10 Pro/I7-5930K/GTX 780/SSD-RAID/Intel X550 10GbE/BMD 4K Extreme 6G/32 GB RAM/

    Triple Boot:Win10 Pro/I7-6950X/GTX 1080/SSD-RAID/HDD-RAID/BMD 4K Extreme 12G/2 x 10GbE/64 GB RAM

    both on:10Gbps Media sharing Network, 10Gbps NAS

  • Îch kann diesen Satz so nicht stehen lassen:

    Zitat

    Die anderen Render Formate sind alter Code = können nicht alle Kerne (voll) nutzen.

    Logisch, dass nicht alle Codecs die CPU's gleich auslasten. Wir haben z.B. den Canopus HQ Codec, der ein
    i-Frame Codec ist und die CPU kaum auslastet, aber genau das ist seine Stärke, weil das Playback dieses Codecs
    auch auf langsameren Systemen möglich ist. Nachteil eines jeden i-Frame Codecs ist die recht hohe Datenrate.


    Dann haben wir die Codecs, die sehr effizient arbeiten, was Qualität und Datenrate betreffen. Das fängt schon mit Mpeg2 an,
    wo 15 Bilder in einer Gruppe zusammengefasst werden. Das Encodieren dieser Einzelbilder einer GOP auf mehrere Kerne einer
    CPU auszulagern ist nicht ganz so einfach, aber heute doch Standard.


    Die heutigen H.264 Codecs sind dabei etwa 4 mal effizienter (in Bezug auf Qualität und Datenrate) als Mpeg2, aber auch 10 mal anspruchsvoller. Die Verschachtelung
    ist hier weitaus komplexer. Und auch hier hat EDIUS beim Playback und beim Export wohl die beste Performance im Markt.

    Mit freundlichen Grüßen


    Ulrich Peters
    Products & Applications Consultant
    Grass Valley Germany GmbH

  • Hallo Herr Peters,


    das alles ist ja richtig und nachvollziehbar. Aber meine eigentliche Frage ist damit immer noch nicht beantwortet, ob es systembedingt normal ist, dass der Exporter die Daten ca. 8Mal so schnell wie die Timeline verarbeiten kann oder ob ein Fehler in unserem System vorliegt. Es handelt sich schließlich um den gleichen Codec, der bei dem Vergleichstest benutzt wurde. D.h. von Festplatten-Durchsätzen ist dieses "Performace-Problem" wohl unabhängig.


    Freundliche Grüße,
    Chris Ehrlich

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

  • Sorry - die AVCHD Verbesserungen in den letzten Edius Releases habe ich vergessen zu erwähnen - ich wollte aber auch keine wissenschaftliche Abhandlung schreiben.

    Gruss
    Jürgen
    _______________________________________________________________________________________________________________________
    Triple Boot:Win10 Pro/I7-5930K/GTX 780/SSD-RAID/Intel X550 10GbE/BMD 4K Extreme 6G/32 GB RAM/

    Triple Boot:Win10 Pro/I7-6950X/GTX 1080/SSD-RAID/HDD-RAID/BMD 4K Extreme 12G/2 x 10GbE/64 GB RAM

    both on:10Gbps Media sharing Network, 10Gbps NAS

  • chris*joker
    VORSICHT,
    bitte nicht erst in der Timeline rendern, Zeit messen, und dann den Export machen.
    Beim Export greift EDIUS natürlich auf das schon zuvor gerenderte Material zu und muß nur noch in die neue Datei kopieren.
    Machen Sie mal eine neue Sequenz und machen erst den Export und danach rendern.
    Die Zeiten sind bei mir identisch.

    Mit freundlichen Grüßen


    Ulrich Peters
    Products & Applications Consultant
    Grass Valley Germany GmbH

    • Offizieller Beitrag

    sorry, das ich mich einsschalte, aber für mich läuft das aus dem Ruder.... ;(


    Ein für jedermann(frau) nachvolziehbarer Vergleich wäre



    Meine Resultate:
    Rendern zwischen In/Out = Dauer ~ 46 sec
    Rendern zwischen In/Out = CPU Auslastung auf 8 cores [von i7-960] ~ 19%


    Löschen der "rendered-files"!!!


    Export zwischen In/Out = Dauer ~ 46 sec
    Export zwischen In/Out = CPU Auslastung auf 8 cores [von i7-960] ~ 20%


    eine geringfügig höhere CPU Last bei gleicher Dauer erklärt sich aus:


    • Export zu HQ => beinhaltet/betrifft auch Audio
    • Rendern auf der timeline (bei HQ) => beinhaltet/betrifft kein Audio
      "rendered HQ-files" sind reine Videodateien, ohne Audioanteil!!!


    Zitat

    - Bereich "In-Out" rendern lassen (in den Projekteinstellungen ist definiert, dass dies im Canopus HQ Standard Codec erfolgt)
    --> Ergebnis: 52sec, CPU-Auslastung permanent bei ca. 10%
    - Nun über den Exporter den gleichen Timeline-Bereich rendern lassen; ebenfalls als Canopus HQ Standard; nur eben über den Exporter (F11)
    --> Ergebnis: 8sec, CPU-Auslastung permanent bei ca. 2%


    Wenn ich dies lese, komme ich zu der Annahme
    a) zu 95% => es wurde beim Testaufbau für Export vergessen, die bereits vorhandenen "rendered-files" zu löschen
    b) zu 5% => es hat wirklich ein Problem mit ihrer Konfiguration, um zu diesen Zeitunterschieden zu kommen


    Ich konnte auch bei anderen Vergleichen von "Renderzeit zu Exportzeit"
    i.e. AVCHD zu HQ nicht diesen ihren Faktor 6,5 [52sec zu 8 sec] feststellen
    (wobei ich jeweils die "rendered files vor dem Export jeweils gelöscht habe)
    ;)
    .

    Grass Valley Moderator 2 / freiwilliger firmenunabhängiger Foren-Moderator
    Wichtig: Dies ist kein Grass Valley Support Forum.! Dies ist ein moderiertes Anwender zu Anwender Forum.


    i9-7980XE 18cores/36threads - PCIe-M.2 960 PRO 512GB - PCIe-M.2 970 Pro 1TB - 32GB DDR4-3600 - Zotac GeForce GTX 1080 8GB - DeckLink Mini Monitor 4K - Win_10prof
    Edius X WG + VisTitle

  • Au Backe! Ganz dummer Anfängerfehler von mir!!!


    Habe den TL-Bereich ungerendert in den Exporter geschickt. Nun braucht der Exporter auch bei mir exakt die gleiche Zeit für den TL-Bereich wie das Rendern innerhalb der TL . Ist also voll OK so!
    Wie peinlich...


    Sorry, dass ich damit wohl für einen überflüssigen Thread gesorgt habe...


    Vielen Dank für die Hilfe,
    Chris

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

  • Ich bins nochmal!
    Nun möchte ich es aber wissen... :)


    Ich habe den Test wie von Moderator 2 beschrieben durchgeführt und wie ich finde ein überraschendes Ergebnis erhalten:
    Das Rendern hat ebenfalls exakt 46sec gedauert, allerdings mit einer Prozessorauslastung von ca.10% auf insgs. 12 Cores.


    Was ist daran für mich überraschend? Nun, Moderator 2 hat einen 960er i7 System mit 8 Cores im Einsatz - unser System läuft mit einem 980er i7 und 12 Cores.


    Ein um 50% schnellerer Prozessor führt demzufolge nicht zu schnellerem Rendern in der Timeline, sondern einfach dazu, dass die CPU beim Rendern der Timeline um ca. 50% weniger beansprucht wird.
    Das hatte ich mir beim Kauf des sehr teuren Prozessors irgendwie anders vorgestellt... für mich zumindest geht es beim Videoschnitt weniger darum Prozessorleistung zu sparen, als vielmehr darum, Zeit zu sparen.


    Ist dbzgl. Nachbesserung seitens Grass Valley geplant? Denn für mich sieht es nun so aus, als ob dieses Problem Edius-bedingt ist, also hausgemacht.


    Danke & liebe Grüße,
    Chris

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

  • Mmmmh,
    sieh es mal anders!


    Man braucht nicht mit einem Bagger anrücken, wenn doch nur eine Schippe Sand bewegt werden soll!
    Da hilft der Bagger herzlich wenig.


    Da hat Grass Valley keinerlei Schuld!


    Wenn du also mit hochkomprimierten Formaten arbeitest und auch in solche exportierst, hast du große Vorteile mit einem solchen System!


    Gruß
    Jim

  • Wieso muss sich das zügige Arbeiten mit hochkomprimierten Systemen mit einem zügigen Arbeiten in der Timeline (Canopus HQ Codec) widersprechen?

    Edius 7 / CPU Intel i7-4770K / 4x3,5GHz / ASUS Z87-DELUXE/QUAD / 32 GB RAM / Win 7 Ultimate / 64bit

  • Und weitere Aspekte bitte berücksichtigen:
    1. die aktuelle EDIUS Version unterstützt maximal 10 Kerne
    2. Sie sprechen von 12 Kernen, davon ist die Hälfte auch nur virtuell vorhanden
    3. wie schon erwähnt, hat der HQ Codec den VORTEIL die CPU nur wenig zu belasten


    Ich denke, dass Edius schon eine optimale Ausnutzung der CPUs/Cores bietet.

    Mit freundlichen Grüßen


    Ulrich Peters
    Products & Applications Consultant
    Grass Valley Germany GmbH