Fehlerhafte AVCHD-Dateien evtl. durch Lagerung auf FP?

  • Hallo,


    muss mich seit langem wieder Mal mit einem Problem melden.


    Ich bin z.Zt. dabei, meine alten, privaten Aufnahmen auf eine neue größere USB3-Festplatte zu übertragen.
    Es handelt sich dabei um die originalen unbearbeiteten *.m2ts AVCHD-Dateien.


    Als ich sie jetzt sichten wollte, stellte ich fest, dass bei den originalen AVCHD-Dateien grüne und farbige Pixelfehler, Bildverschiebungen und teilweise Schwärzungen des Bildes bis zur Unkenntlichkeit vorhanden sind.
    Bei älteren AVI-Dateien im 4:3-Format, die auf den gleichen Festplatten lagerten, (es waren 2 Stück) tritt es dagegen nicht auf.


    Kann mir jemand sagen, ob ich bei der Lagerung etwas falsch gemacht habe oder war vielleicht eine der älteren Festplatten auf denen die Filme gelagert wurden, fehlerhaft? Hat jemand eine ähnliche Erfahrung gemacht?
    Ich bin sicher, dass die Aufnahmen am Anfang in Ordnung waren, da ich nach dem Übertragen von der Kamera das Material sichte.


    Es handelt sich um vorwiegend ältere Aufnahmen aus den Jahren 2009 - 2013 und wurde mit 2 verschiedenen Kameras gemacht, einmal mit der Sony HDR-AX2000 und mit der Sony HDR-XR520 im 1920 x 1080 50i Format. Erstere hat eine Speicherkarte, die 520er eine Festplatte auf die aufgenommen wurde, aber wie gesagt, beim Importieren waren sie noch i.O.


    Ich vermute eher eine gammlige Festplatte. Wenn das der Fall ist, mache ich mir ernsthaft Gedanken, wie ich zukünftig meine AVCHD-Videos lagere. Das Problem besteht dann ja auch bei meinen Actioncams von GoPro und dem Camcorder mit 50p Vollbildaufnahmen.


    Über einen Tipp wäre ich dankbar.


    L.G. Romby

  • Ich lagere wichtige Daten redundant.
    Wenn sie von meinem RAID fliegen, werden sie auf mindestens 2 HDDs archiviert.
    Bei den heutigen Kapazitäten ist das kein Problem. Dass dann zwei HDDs gleichzeitig
    defekt gehen, ist dann schon relativ unwahrscheinlich.


    Generell sind HDDs nicht besonders gut für die Langzeitarchivierung geeignet. Eine HDD die
    "rastet" "rostet"! Natürlich nur im übertragenen Sinne. ;) Schon allein die Lager können bei
    längerer Nichtbenutzung verharzen. Wie es mit den Speicherzuständen bei heutiger
    Datendichte auf den Scheiben aussieht, kann ich nicht sagen. Es lohnt auf jeden Fall die etwas
    teureren HDDs zu kaufen, denen auch die Hersteller selbst ein höheres Vertrauen entgegen
    bringen und die sie mit 5 Jahren Garantie ausstatten.


    Was auch ein Problem darstellen kann, sind Kopieraktionen via USB.
    Ich habe selten, aber immer mal wieder Datenfehler nach Kopiervorgängen beobachten
    können und arbeite seitdem mit MD5 Checksummen beim Kopieren wichtiger Daten.
    Dadurch lässt sich prüfen, ob die Daten auch so angekommen sind, wie sie gelesen wurden.
    Erst gestern konnte ich wieder eine solche Situation beobachten, in denen die Checksumme
    nicht überein stimmte. Nach einem erneuten Kopiervorgang stimmte das Resultat mit dem
    Ursprung überein.
    Nicht immer bedeutet ein falsch kopiertes Bit, dass es Probleme im Resultat gibt. In der
    Praxis kommt das häufiger vor, als gedacht. Aber wenn es etwas abzusichern gilt, würde ich
    zumindest den Weg über generierte Checksummen gehen.


    Jim

    • Offizieller Beitrag

    Eine HDD die
    "rastet" "rostet"! Natürlich nur im übertragenen Sinne. ;) Schon allein die Lager können bei
    längerer Nichtbenutzung verharzen.


    Dann startet sie aber erst gar nicht mehr.


    Zitat

    Aber wenn es etwas abzusichern gilt, würde ich
    zumindest den Weg über generierte Checksummen gehen.


    Wie?

  • Dann startet sie aber erst gar nicht mehr.

    Ja richtig, ich wollte nur ein gutes Argument für eine redundante Speicherung liefern.

    Wie?

    Ich nutze Hashly!
    http://www.heise.de/download/hashly-1156638.html


    Dort zieht man komplette Ordner-Strukturen per Drag'n'Drop rein, lässt die Prüfsummen generieren
    und speichert die Datei in den Stammordner der zu kopierenden Daten. Dann kopiert man die Ordner
    mit der Checksummen Datei auf die gewünschte HDD. Nach dem Kopiervorgang per Doppelklick auf die
    MD5 Datei im neuen Ordner klicken und die kopierten Daten werden überprüft und die Checksumme
    wird mit den Sollwerten verglichen. Ist ein bissel aufwändig, aber für wichtige Daten vertretbar.


    Jim

  • Heißt, dass die alten DV Kassetten bedeutend besser für die Lagerung waren. Ich habe inzwischen welche, die 20 Jahre alt sind und kann sie heute immer noch problemlos kopieren.


    Für mich würde das bedeuten, Filme sofort zu bearbeiten und auf DVD sichern, nur die DVD ist wohl auch umstritten und auch hier wird teuer nicht unbedingt zuverlässig bedeuten. Da hatte ich eher auf die Festplatten gesetzt. Jetzt bin ich ziemlich ratlos, wie ich in Zukunft damit verfahren soll.


    War wohl mein größter Fehler sie von der alten Festplatte "Auszuschneiden" und in der Neuen "Einzufügen".


    Was heißt billige FP? Habe immer mit 1 oder 2 TB Western Digital 3,5" gearbeitet und diese auch wieder als USB3, hatte bisher damit keine Probleme. wenn ich allerdings sehe, dass ich heute mit Edius unter Win 8.1 plötzlich beim Berechnen einer Sequenz ins iPad-Format Absturzprobleme habe, was unter 8.0 noch lief, glaube ich eher an die Obersch. . . von Windofs. Habe auf einem Laptop noch Win 7 hier läuft glücklicherweise alles problemlos mit Edius auch die Umrechnung des Clips.
    Die größte Frechheit ist, dass ich Version 8.1 bisher immer abgelehnt hatte, wurde es gestern in einem unbeobachteten Moment mit Internetanschluss, als ich mit einem anderen Rechner beschäftigt war, ungefragt installiert.
    Sicherlich lässt sich das vielleicht unterbinden, aber die Arbeit habe damit wieder ich, ungefragt!
    :thumbdown:

    • Offizieller Beitrag

    Die Windowsaktualisierung ist bei mir komplett abgeschaltet, Windows darf nicht einmal schauen, ob es was Neues gibt.


    Was heißt billige FP? Habe immer mit 1 oder 2 TB Western Digital 3,5" gearbeitet und diese auch wieder als USB3


    Das liest sich nach einer Ready-to Use externen Festplatte? Also kein externes Festplattengehäuse, wo man nach Belieben die Festplatte tauschen kann?


    Immer wenn von Festplattenfehlern die Rede ist, sind es meistens fertige externe Festplatten. Da scheint der Festplattencontroller der externen Platte wohl häufig feherrhaft zu arbeiten.


    Für 3,5" Platten habe ich Wechselseinschübe im PC, fürs Notebook, externe Festplattengehäuse, wo ich immer eine andere Festplatte andocken kann.


    Und ich habe jede Festplatte doppelt, von jeweils anderen Herstellern, um einen Chargenfehler bei den Platten ausschließen kann.
    Hatten wir hier im Forum ja auch schon mal, das eine ganze Serie eines Herstellers defekt war.

  • Heißt, dass die alten DV Kassetten bedeutend besser für die Lagerung waren. Ich habe inzwischen welche, die 20 Jahre alt sind und kann sie heute immer noch problemlos kopieren.

    Ja, nix geht über gut gelagerte Magnetbänder!
    DLTs sind in großen Rechenzentren noch immer gefragt und nicht tot zu kriegen!

    Für mich würde das bedeuten, Filme sofort zu bearbeiten und auf DVD sichern, nur die DVD ist wohl auch umstritten und auch hier wird teuer nicht unbedingt zuverlässig bedeuten. Da hatte ich eher auf die Festplatten gesetzt. Jetzt bin ich ziemlich ratlos, wie ich in Zukunft damit verfahren soll.

    Für das entsprechende Kleingeld sollen diese optischen Medien 1000 Jahre lang "safe" sein:
    M-Dischttp://de.wikipedia.org/wiki/M-DISC

    War wohl mein größter Fehler sie von der alten Festplatte "Auszuschneiden" und in der Neuen "Einzufügen".

    Ohne Kontrolle, vielleicht!

    Was heißt billige FP? Habe immer mit 1 oder 2 TB Western Digital 3,5" gearbeitet und diese auch wieder als USB3, hatte bisher damit keine Probleme...

    Billige Festplatten habe nicht mehr als 2 Jahre Garantie.

    ...wenn ich allerdings sehe, dass ich heute mit Edius unter Win 8.1 plötzlich beim Berechnen einer Sequenz ins iPad-Format Absturzprobleme habe, was unter 8.0 noch lief, glaube ich eher an die Obersch. . . von Windofs.
    Habe auf einem Laptop noch Win 7 hier läuft glücklicherweise alles problemlos mit Edius auch die Umrechnung des Clips.

    Bitte Korrelation nicht mit Kausalität verwechseln. Ein Zusammenhang lässt sich aus deinen Erlebnissen eigentlich nicht ableiten.
    Ich bin jemand, der sehr konservativ auf neue Betriebssysteme wechselt, weil ich mit Problemen durch Software und Treiber einfach rechne.


    Das böse Windoof hat mich und andere aber letztlich eigentlich sehr sicher und zuverlässig durch die letzten Jahre gebracht. :D

    Die größte Frechheit ist, dass ich Version 8.1 bisher immer abgelehnt hatte, wurde es gestern in einem unbeobachteten Moment mit Internetanschluss, als ich mit einem anderen Rechner beschäftigt war, ungefragt installiert.
    Sicherlich lässt sich das vielleicht unterbinden, aber die Arbeit habe damit wieder ich, ungefragt!

    Ja, lässt sich unterbinden!


    Jim

  • an Alle,
    Danke für die Antworten, so wie es aussieht muss ich da was entscheidendes ändern.
    Ursache wird dann die neue FP von WD mit 4 TB und USB3 sein, da ich vorher ebenfalls Festplatteneinschübe genutzt habe und bis dahin hatte ich keine Probleme festgestellt. Nun wollte ich alles mal aussortieren und vom Müll befreien. Das habe ich nun so gründlich geschafft, dass ich mir viel Arbeit sparen kann. :thumbdown:
    Ich werde mal an einem Beispiel testen wie es läuft, wenn ich AVCHD Clips rüberkopiere, ob es dann auch auftritt. Bei den alten 4:3 Aufnahmen ist es nicht passiert und bei MPEG2 oder MPEG4 nur sehr wenig bis gar nicht.


    Werde mal testen, ob noch einige Sequenzen rauszuschneiden sind, zum Glück sind es nur meine privaten Daten.


    L.G. Romby

  • Hallo Romby,
    um noch einmal auf Deeinen Fehler zurückzukommen. Handelt es sich dabei auch um eine "Fertige" externe USB Festplatte?
    Wenn ja, dann könntest Du probieren die FP auszubauen und an einen anderen Kontroller = externes Gehäuse oder Einschub anzuschließen. Vielleicht ist dann der Lesefehler weg.
    Schlimmer wirds mit Sicherheit davon nicht.

  • Hallo LBogsch,


    das Problem ist, da ich bisher weder die Erfahrung gemacht, noch davon gehört hatte, dass es da Probleme geben kann, habe ich die gesamten AVCHD Dateien vom Einschub 2 TB auf eine neue externe 4TB USB3 Platte verschoben. Die Daten auf der alten, also der Herkunftsplatte habe ich gelöscht und später neu formatiert. Das habe ich also gründlich gemacht und dürfte kein zurück mehr möglich machen.


    Anfangs hatte ich gedacht, dass evtl. eine Kamera gesponnen hat, aber grundsätzlich habe ich mir nach Aufnahme und Übertragung auf den PC die Clips angesehen und da gab es nichts in dieser Richtung zu bemängeln.
    Meine Vermutung ist die neue USB 3 Festplatte 4TB, die ich jetzt 2 Wochen habe. Ich werde erst mal sehen, was noch zu retten ist, denn es betrifft nicht alle Dateien. Einige haben gar nichts abgekriegt, auch da weiß ich nicht warum.
    Ich kopiere die guten nach Sichtung zurück auf die Einschübe und kontrolliere das Ergebnis sofort.
    Die defekten schiebe ich in einen Ordner auf der USB3 FP und versuche zum Schluss festzustellen, ob eine Gemeinsamkeit der defekten Dateien zu erkennen ist, also ob es ausschließlich nur alte Dateien sind oder nur AVCHD oder, oder, oder.
    Komischer- u. glücklicherweise sind meine GoPro Dateien nicht davon betroffen, da habe ich ein paar mit Copter-Aufnahmen, die mir sehr wichtig sind.
    Also so richtig blicke ich den Grund für die Ausfälle bisher noch nicht.
    Später, wenn die FP leer ist, werde ich nochmals AVCHD-Dateien rüber kopieren die in Ordnung sind und werde beobachten, ob der Fehler wieder auftritt.
    Wenn ich soweit bin, werde ich mich auf jeden Fall nochmals melden, um das Ergebnis mitzuteilen.
    Man hat ja sonst nichts zu tun, und jetzt nimm ich erst mal eins :prost:


    Gruß Romby

    • Offizieller Beitrag

    Handelt es sich dabei auch um eine "Fertige" externe USB Festplatte?


    Ich hatte es auch schon gefragt. Kannst Du das noch beantworten?

  • Ja, es ist eine externe "WD Elements 4000 GB" USB3 in Buchform. Diese Festplatten gibt es von 2000 - 8000 GB im Media Markt. Sie hat einen separaten Netzstecker und einen USB3 - Anschluss mit Kabel. Angeschlossen wurde am PC an einem USB3 - Anschluss zum schnelleren rüber kopieren.
    Für mich war die größere FP insoweit interessant, weil ich Videodateien von 2 Laufwerken, die ich in Einschüben hatte, auch WD Green Line 1000 u. 2000GB, zusammenkopieren wollte, einmal um sie auszusortieren und anschließend zusammenzuführen auf einer FP.
    Die frei werdenden Platten wollte ich dann für meine Foto-RAW-Dateien und für Timelapse-Clips benutzen.
    Unklar ist mir das Ganze Chaos, weil ich z.B. gestern Abend zufällig einen Ordner mit Langlauf-Aufnahmen vom Schwarzwald 2x hatte und davon ist ein Ordner mit AVCHD gar nicht mehr zu verwenden und der andere ist völlig i.O. (wenigstens etwas Freude, da es sich um Aufnahmen in schönster sonniger Winterlandschaft auf der Notschrei-Loipe von 2013 handelt.)
    Mal sehen, was ich heute noch retten kann.
    Nachtrag zum Thema "Fertige", ich formatiere neue FP grundsätzlich vor Gebrauch im NTFS-Format neu, bevor ich sie verwende. Das mache ich dann auch mit den leerkopierten, bevor ich neue Daten darauf schreibe.


    Romby

    • Offizieller Beitrag

    Also wieder eine Bestätigung für Ärger mit den fertigen exterenen Plattencontroller.


    Das mache ich dann auch mit den leerkopierten, bevor ich neue Daten darauf schreibe.


    Quick Format? Und noch ziemlich leer, also noch nicht viel neues drauf geschrieben?
    Teste mal Easy Recovery Pro Vielleicht sind noch die Dateien wiederherstellbar, die jetzt fehlen.


    Ich tendiere beim Lager von Festplatten zu kleinen Festplatten von 1TB, dann ist, wenn auch das Backup nicht funzt, nicht soviel weg.
    Fürs Backup nehme ich jetzt 2,5" Platten und ´das Original auf 3,5" Zoll Platten, wegen der Einschübe.

  • Hallo,


    nach erster Sichtung tendiere ich dazu die AVCHD nach Übertragung auf die Festplatte sofort in ein anderes Format umzuwandeln. Da ich vorwiegend nur noch für mich und für die Familie arbeite, werden daraus meist nur DVD´s hergestellt.
    Meine Frage: "Welches Format könnt ihr mir empfehlen?"


    Nicht betroffen waren die alten 4:3 AVI DV Dateien, MPEG2 Dateien und umgewandelte MPEG4 Dateien sowie die Filmaufnahmen mit der GoPro. Meine AVCHD Dateien die es betraf waren ausschließlich mit Kameras gemacht die noch keine Vollbilder fabrizieren also 1920 x 1080 50i Halbbilder.
    Inzwischen habe ich noch eine Sony mit 1920 x 1080 50p Aufnahmen, da war aber kein Material auf der Platte.


    Versuche mache ich momentan mit HQX Fine - ruckelt mir zu sehr. Mit den HQ habe ich noch nicht gearbeitet, da ich für meine DVD´s meist umwandle in MPEG2 Programm Stream.
    MPEG4 - dauert mir zu lange, 1Std. 20 für 37 Minuten AVCHD
    MPEG2 - wäre eine Alternative, 11 Minuten für 37 AVCHD.


    Romby

    • Offizieller Beitrag

    nach erster Sichtung tendiere ich dazu die AVCHD nach Übertragung auf die Festplatte sofort in ein anderes Format umzuwandeln.


    Dein Problem hat nichts mit dem Dateiformat zu tun. Außer DV AVI beruht die Kompremerierung der MPEG Dateien auf Veränderungen basierend auf Schlüsselbildern. Fehlt das Schlüsselbild, fehlen z.B. bei MPEG-2, bei MPEG-4 sind es sber noch mehr.
    Der Fehler liegt ist nicht das Dateiformat, sonder die Festplatte und/oder ihr Festplattencontroller.

  • Deshalb noch einmal mein Vorschlag: FP ausbauen und an einen anderen Controller anschließen.

  • Ich hatte dieses Phänomen mit einer externen USB-Platte auch schon. Mal war sie nach dem Anschliessen ansprechbar, ein ander mal wieder nicht. Es kam auch die Windows-Meldung dass das Gerät nicht richtig installiert werden konnte. Ich hab das externe USb-Gehäuse geknackt, die Platte ausgebaut und sie fest im PC installiert wo sie seitdem einwandfrei und ohne Murren funktioniert.


    Deshalb gehe einfach mal davon aus das der USb Controller des externen Gehäusers hinüber war.

    _________________________
    Edius 8.1 WG, Win 8.1, ASUS X99 mit 5820 6Core CPU, 32GB RAM, Grafik GForce GTX970, Boot SSD 250 GB, Cache&TEMP SSD 64 GB, Data 1TB Western Digital, Video 2x 2TB Western Digital als Raid0, Preview Matrox MXO2mini

  • Ergebnis:


    Habe, wie vorgeschlagen, die Platte ausgebaut und über USB 2 die Daten auf ein internes LW kopiert, allerdings nur weil ich ausschließen wollte, das meine vor längerem zusätzlich eingebaute USB 3 Karte vielleicht auch für die Probleme verantwortlich sein könnte.
    Danach ließen sich alle Clips wieder ohne Probleme abspielen, als wäre nichts gewesen.
    Ich habe inzwischen einen Händler gefunden, der mir die passenden Einschübe für meinen PC liefern konnte. Nun habe ich den größten Teil meiner Daten in Wechsel-Einschüben und seither konnte ich auch keine Aussetzer mehr beobachten, alles bestens.


    Nochmals allen vielen Dank für die Tipps, man lernt halt selbst als alter Knochen nie aus. :thumbup:


    Herzliche Grüße
    Romby