Du machst eventuell gar nichts falsch, den sollte das Bild gar nicht im ID3 Tag der Datei gespeichert sein, so kann Windows dies im Explorer auch nicht anzeigen. Ich bin mir nicht sicher, aber ich glaube das Mp3tag auch ein Cover anzeigt, wenn es als folder.jpg im gleichen Ordner wie die MP3 Datei vorliegt. Das könnte der Grund deiner Verwirrung sein.
Lösche bzw. verschiebe die Datei folder.jpg aus dem gleichen Ordner der MP3s und öffne dann nochmal die MP3s in Mp3tag, wenn du nun kein Cover mehr siehst, dann kannst du dir ganz sicher sein, dass das Cover gar nicht im ID3 Tag gespeichert ist.
LG Jens