Das musst Du im Einzelfall den Entwickler der jeweiligen Player-Software fragen.
Die meiste Software und auch jede die ich benutze kann das bzw. kann sogar sogar beides:
Eingebettetes Cover oder entsprechende Datei im Ordner. Manche lesen bei ersten Abspielen das Cover aus und legen eine eigene Datenbank an (z.B. VLC). Andere holen die Cover grundsätzlich aus dem Internet und kümmern sich nicht um vorhandene Cover. Und darüber hinaus ist bei vielen das auch individuell einstellbar.
Was Du willst ist ja streng genommen nicht unbedingt ein Cover sondern ein Bildchen. Cover ist etwas, was auf der Hülle eines physischen Mediums ist. Und in alter Tradition ist das im weitaus überwiegenden Fall ein Album oder allenfalls eine Single.
Jeder sollte also die Software nutzen, die seinen Bedürfnissen entspricht, ansonsten ist kreatives "Basteln" angesagt, wie z.B. bei einem anderen Problem vom Threadersteller hier
/t/16828/1
Ich fahre bei der Struktur meiner Sammlung grundsätzlich dreigleisig. Alle MP3 sind nach Albuminterpret und Album getrennt. In den Albumordnern befinden sich soweit ich sie habe die Cover-Files mit dem Dateinamen "%albumartist% - %album%" und dem Zusatz Front, Back, Disk, Booklet usw. in bester Auflösung/Qualität, wie ich sie gefunden habe. Des weiteren befindet sich eine folder.jpg des Front-Covers mit 800x800 in jedem Ordner und die ist zusätzlich auch eingebettet in das mp3-file.