Backup und seine Tücken

Hallo,
ich habe mich Jahrzehnte nicht oder nur sporadisch um meine MP3-Sammlung gekümmert. Habe sie aber immer brav, so wie es sein sollte, mitgesichert.
Leider ist es mir irgendwann bei den sporadisch Zugriffen 'gelungen' aus einer Ordnerstruktur mit vielen Unterordnern unbemerkt zwei Ordner zu löschen.
Ab diesem Moment wurden alle Sicherungen mit diesem Fehler gesichert.

Das ist offensichtlich ein Fehler.
Als gebranntes Kind hier ein vielleicht sinnvollen Hinweis: macht euch eine Tabelle (mit was auch immer) und vergleicht diese Tabelle vor einem neuen Backup mit der dann aktuellen Tabelle und vergleicht diese miteinander.
In Access heißt sowas 'Inkonsistenssuche', Diese Abfrage dauert auch bei großen Datenbeständen nur wenige Sekunden.
Dann wird sofort auffallen das/was in der Zwischenzeit gelöscht wurde. Im Normalfall kommen nur Datensätze hinzu, die die Abfrage nicht berücksichtigt.
Es sei denn, man kehrt die Abfrage um, so dass nur neue Songs/Ordner angezeigt werden.

Die in den verschiedenen 'Commander'-Tools enthaltenen Synchronisationen gehen mir viel zu weit und sind (mir) zu unübersichtlich und zu Zeitraubend.
So, nun werde ich mir meine Startliste machen :slight_smile:

Deine Situation kann man aus Prinzip mit keinem Backup-Verfahren der Welt 100% in den Griff kriegen.

Entweder man will eine 1:1 identische Datensicherung von der Quelle. Darin werden auch Verzeichnisse und Dateien gelöscht, die man an der Quelle gelöscht hat. Irrtümlich oder unbemerkt gelöschte Dateien sind darin auch nicht mehr vorhanden.

Oder man sichert nur veränderte Dateien, nicht aber Gelöschte. Dann wird die Datensicherung immer grösser, weil man gelöschte oder verschobene Dateien mehrfach vorliegen hätte.
Will man eine solche Datensicherung zurück holen, ist immer Bereinigungsaufwand nötig.

Wenn man beide Verfahren durchführt, benötigt man wie @Fotoknipser erwähnt eine Vergleichstabelle. Das wird bei grösseren Beständen aber extrem zeitaufwändig, wenn man pro gelöschte Datei entscheiden muss: "Zurecht gelöscht, muss wirklich weg" oder "Fälschlich gelöscht, muss wieder hergestellt werden".

Würde mich wundernehmen, wie andere diese Situation lösen?

Bei meinem Ansatz werden nur zwei Listen verglichen, Bei meinen paar Songs im Access-Verfahren dauerte die Abfrage < 1 sek. Ich wollte für mich auch nur sichergehen, dass mir keine Ordner verloren gehen.
Bei einzelnen Songs wäre es aus meiner Sicht schon überschaubar, Mal ehrlich, wer löscht Songs, die er einmal in Besitz hat :wink: Und jenachdem, wie oft man eine Sicherung durchführt, halten sich die gelöschten dann sehr im Rahmen.

Ich meinte mit "zeitaufwändig" nicht die technische Abfrage, sondern das individuelle Entscheiden ob ein Song zurecht gelöscht wurde oder nicht.

Bei mir kommt das doch noch relativ oft vor, wenn z.B. in einem Album mit sagen wir 10 Tracks "plötzlich" 11 Tracks liegen, weil ein einzelner Track durch eine andere Schreibweise nicht als identisch erkannt wurde. Konkretes Beispiel:

04 - Mutters Töchter.mp3
04 - Mutter's Töchter.mp3

Wenn ich nun den einen Track lösche (sei's wegen der Schreibweise oder wegen schlechterer Qualität oder Cover...) dann soll der auch gelöscht bleiben.

Der andere gar nicht so seltene Fall ist ein komplettes Album, dass doppelt oder dreifach vorkommt. Meistens auch wieder wegen der Schreibweise im Albumnamen oder weil es 1 x unter "Bruce Springsteen" und 1 x unter "Bruce Springsteen & The E-Street Band" und 1 x unter " The Bruce Springsteen Band" gespeichert ist.
Wenn ich ein solches Album manuell lösche, soll es auch gelöscht bleiben.

Jetzt kommen wir langsam in den Bereich, den ich vor ziemlich genau 22 Jahren schon mal in Angriff nahm.
Damals gab es einen MP3Engineer, er exportierte, wie jetzt auch das MP3Tag, eine csv-Datei.
Ich bastelte mir um die CSV-Datei Schon damals, auch mit Access, eine Oberfläche, aus der ich aus ihr direkt in die Tags schreiben konnte.
Dann kamen andere wichtigere Dinge in mein Leben und ich vergaß es.

Das war für mich damals der Ansatz um deine Beispiele zu bereinigen.
Leider hat sich in den Jahrzehnten mein Wissen, was ich damals aus dem WWW zusammen kopierte und deren sinnige Verknüpfung verflüchtigt.
Dieser MP3Engineer lief nur bis Windows XP und war Freeware.
Mal schauen ob ich das wieder zurecht gebogen bekomme, denn das geniale MP3Tag bietet alles was für mich nötig ist.

sorry, ich wollte nicht abschweifen, das Thema ist ja das Backup (aber das zu schreiben hat schon spass gemacht und zeigt was man alles im leben schon gemacht hat)

Wir sind ja hier im Off-Topic-Bereich. :wink: :innocent:

Aber Du hast Recht, egal mit welcher Software Du Dupletten erkennst oder sonstige Bereinigungen durchführst, schlussendlich musst Du Deine Daten wieder sinnvoll sichern.

Ein 100% verlässliches Rezept für Dein ursprünglich erwähntes Problem sehe ich bisher nicht.

Ich begnüge mich mit einer Spiegelung meiner Sammlung auf einen anderen Rechner, der auch als mein Musikserver dient. Auf meinem Arbeitsrechner habe ich sozusagen meine Originale, die konstant überarbeitet werden. Quelle der Spiegelung ist also der Arbeitsrechner. Wenn dort etwas gelöscht wird, wird es auch im Zielrechner gelöscht. Das Ziel wird regelmäßig upgedated

Das ganze mache ich mit der Synchronisationssoftware Freefilesync. Die Software führt erst einen Vergleichslauf durch und zeigt das Ergebnis der vorgesehenen Aktionen optisch an.
Versehentliche Löschungen können optisch schnell überprüft werden, da für jede betroffene Datei/Ordner durch ein Symbol kenntlich ist, was beabsichtigt ist:
Löschung Ziel, Überschreiben Ziel, Kopieren zum Ziel.
Die Software ist für mich sehr praktisch, da sie auch problemlos mit Symbolischen Links klarkommt, die ich teilweise einsetze.

1 Like

Another free tool that I use from MS is SyncToy 2.1. Sounds like it does very much the same thing.

I use it to regularly back up my main server drive (where I do all edits) to a separate backup drive every few months, or after I do something major, which fortunately hasn’t been for some time now.

I have a separate sync saved as well that I use when copying music files to the 512GB uSD card I use for my phone. Again this way I can sync any changes I made in my main server library and keep the phone updated on occasion.

But all changes are made initially in the same place. This practice ensures I keep all changes on the main library first, and moved/copied to my other drives for use and backup. I avoid making changes on the phone memory card, as mobile editors are not as robust as mp3tag, many lose fields that they do not support when saving, and regardless I would not trust syncing those changes back to my main library.

Just my 2 cents. :wink:

Leider stellt Microsoft das nicht mehr (2022) zur Verfügung...

How unfortunate, I wasn’t aware they had dropped support. Guess they don’t like to continue free software that works. Maybe it will be added to a future version of Windows? :roll_eyes:

What is important here is to establish your own process, and follow it. As your library grows and you invest more time into curating the tagging, the last thing you want is for a catastrophic failure of any kind to happen. As always, backups are essential.

Managing these backups is just as important. There are certainly plenty of alternatives out there.
https://alternativeto.net/software/synctoy/

But with much more features.
I mentioned FreeFileSync in this context because the discussion here was about the easy detection of deliberate or unintentional deletions. The FreeFileSync preview with its symbols helps a lot and minimizes the risk of messing up the backup destination by accidentally deleting something in the source.
https://freefilesync.org/manual.php?topic=freefilesync

Ich habe FreeFileSync mal kurz ausprobiert.
Leider erschlägt es mich auf den ersten Blick vor lauter Möglichkeiten.

Ein simpler Versuch mein lokales Album "Essentials" von Adele mit dem bereits am Zielort vorhandenen Ordner Adele oder sogar Adele\Essentials abzugleichen, scheiterte kläglich, bzw. wurde für mich nicht ansatzweise verständlich aufgezeigt. Es sieht sogar für mich so aus, als würde das lokale Album ins Ziel gespiegelt/kopiert, obwohl es dort bereits 1:1 vorhanden ist.

Ich will damit absolut keine qualifizierte Beurteilung abgeben. Es ist nur so ein erster Eindruck, der mich jetzt nicht aus den Socken haut :nerd_face: :wink:

Ist mir noch nie passiert. Dein Screenshot sieht für mich so aus, als ob Du unterschiedliche Ordnerebenen links und rechts hast. Links hast Du den Ordner "Adele Essentials", rechts den Ordner "Adele". Das würde bedeuten, dass Du die Dateien des Ordner "Adele Essentials" rechts in den Ordner "Adele" kopieren würdest.

Es kann gut sein, dass ich das FreeFileSync-Prinzip nicht begriffen habe. :exploding_head:
Vermutlich gibt es Anwender, für die passt dieses Tool perfekt. Ich gehöre nur einfach nicht zur Zielgruppe. :roll_eyes:
Für mich persönlich ist ein Backup immer eine 100% identische Kopie meiner Quelle. Sobald ich den Sicherungs-Prozess in irgendeiner Form visuell kontrollieren muss, führt das in meiner Umgebung zu einem nicht mehr vertretbaren Aufwand.

Aber wie gesagt, die Art der Datensicherung muss jeder für sich und seine Abläufe und Ansprüche individuell entscheiden.

Aber darum ging es doch gerade: Die Möglichkeit eigene Fehler vor Starten der Aktion sichtbar zu machen. Ein Sync-Tool, das einfach drauflos kopiert und löscht bietet diese Möglichkeit halt nicht.
Ich sehe auch keine Notwendigkeit etwas darüber hinaus visuell zu überprüfen.

Ich habe ich hier 12 Ordnerpaare (darunter auch 1 Cloud-Ziel) definiert und zwischen denen wird ohne erforderliche Sichtkontrolle alles richtig gespiegelt. Trotzdem schaue ich nochmals schnell immer auf vorgesehene Löschungen im Ziel, was anhand der Symbole sehr schnell geht. Das mache ich nicht, weil ich dem Programm misstraue sondern mir selber nicht traue, ob ich denn vielleicht in der Quelle vielleicht etwas unbeabsichtigt gelöscht habe.
Und genau darum ging es ja in meiner Antwort, als ich dieses Tool ins Gespräch gebracht habe.

Ich spiele im Moment auch mit genau diesem Tool herum, also erschreckt hat es mich nicht wirklich, denn der Freecommander verhält sich ähnlich.
Das Synchronisieren von JPGs habe ich mit diesem Programm wegen Unzufriedenheit eingestellt.
Ich werden mich nach erfolgter Generalüberholung meiner Audiosammlung wieder meiner Ursprungsidee widmen, den Vergleichstabellen.
Vielleicht, nur so als Hinweis, ich bin über das Tool Everything gestolpert. Das listet von allen lokalen Laufwerken die Audiodateien auf und das rasend schnell.
Im Schritt1 listet er alle Dateien auf, die man im Menüpunkt Suchen auf Audio Filtern kann.
Ich war erschüttert, wo ich überall Ordner mit Musik hatte (ich weiß, das darf eigentlich nicht vorkommen).
Hier ein Screen:

Die Liste ist als csv exportierbar und kann in beliebige Tabellen zum Vergleich eingelesen werden.
Wenn ich ein für mich brauchbares Ergebnis gefunden habe, melde ich mich wieder dazu.

Das wichtigste hätte ich fast vergessen:
Lässt man bei dem Prg. die Liste offen, so werden Änderungen sofort mit übernommen.

Dieses kostenlose und auch portabel verfügbare Tool ist bei mir für die schnelle Suche nach Dateien auch öfters in Benutzung. Es ist - einmal gestartet - wirklich extrem schnell und das über verschiedene HDDs und SSDs.

Kleiner Hinweis:
Mit dem Suchwort path: kann man sehr einfach die Suche z.B. auf ein aktuelles Album oder Künstler oder Verzeichnis eingrenzen. In Deinem PrintScreen wäre das z.B.
path:"D:\zumLoeschen\test2"
danach kann man getrennt durch einen Leerschlag Suchbegriffe die dann nur diesen Pfad betreffen eingeben, z.B. Millenium

Auch die Suche nach verschiedenen Endungen wie z.B.
.mp3 | .flac
finde ich sehr hilfreich, weil es mit einem Befehl gleich mehrere Dateiendungen sucht und auflistet.

Wer übrigens schnell mal ausserhalb von Mp3tag einen Tag sucht, das geht mit Everything auch:

Dieses Tool ist um Welten schneller als der Windows File Explorer und es sucht auch sofort über mehrere Platten, was mit dem WFE nicht möglich ist.

Nachtrag für alle die mal über Everything hier stolpern:
Bei meiner etwas speziellen Bildschirmauflösung und der verwendeten 125% Windows-Skalierung konnte ich mich nie richtig mit der Grösse der Sucheingabe anfreunden. Sie war - im Vergleich zur gut lesbaren Grösse der Menus und der Resultatliste - immer zu klein. So wurde es knifflig, z.B. Spezialzeichen wie ein Hochkomma oder Quotes oder ähnliches richtig einzutippen.
Nun habe ich aus purem Zufall endlich eine Lösung dafür gefunden:
Es gibt im gleichen Verzeichnis wie die everything.exe auch eine everything.ini
Darin sucht man bei geschlossenem Programm nach
search_edit_font_size=
und wählt dann eine Schriftgrösse die passt. Ich habe dort z.B. 11 eingetragen. Damit sehe ich endlich auch in der "Search Edit"-Leiste meine Eingaben deutlich.

Klar ist Everything ein äußerst nützliches Tools, das ich nicht umsonst täglich benutze und das seit fast 15 Jahren.
Aber was hat das jetzt mit "Backup" zu tun?

Indirekt, ich beziehe mich auf mein Eröffnungsposting