Ich hab ein ähnliches Problem und denk grad drüber nach, mir nen Schwimmanzug zu holen. Hab auch schon von Typen gehört, die deshalb mit Damenbadeanzügen geschwommen sind, aber das werd ich mir sicher nicht antun.
Das günstigste, was ich bislang gesehen hab, ist der X-Flat (oder so) von Arena. Von adidas müßte auch Shortys geben, aber die hab ich noch nicht gefunden.
Ansonsten zieh ich immer erst kurz vorher das Shirt aus, um möglichst wenig in der kalten Luft sein zu müssen (ja, ich geh vorher duschen

).