是的，如果速賣通上的商品外觀專利侵權(quán)，賣家可能會被罰款。這是因為專利法規(guī)定，未經(jīng)專利權(quán)人許可，使用其專利產(chǎn)品或方法的，應(yīng)當(dāng)承擔(dān)賠償責(zé)任。此外，根據(jù)《中華人民共和國專利法》第六十九條規(guī)定，侵犯專利權(quán)的行為包括：

1. 未經(jīng)專利權(quán)人許可，為生產(chǎn)經(jīng)營目的制造、許諾銷售、銷售、進口其外觀設(shè)計專利產(chǎn)品；
2. 未經(jīng)專利權(quán)人許可，為生產(chǎn)經(jīng)營目的制造、許諾銷售、銷售、進口依照該法第六十條規(guī)定受保護的外觀設(shè)計專利產(chǎn)品；
3. 未經(jīng)專利權(quán)人許可，為生產(chǎn)經(jīng)營目的將他人外觀設(shè)計專利產(chǎn)品作為包裝物或者容器；
4. 未經(jīng)專利權(quán)人許可，為生產(chǎn)經(jīng)營目的將他人的外觀設(shè)計專利作為商標(biāo)使用；
5. 其他侵犯專利權(quán)的行為。

至于為什么不會退款，可能是因為賣家已經(jīng)使用了這個專利的產(chǎn)品，或者的產(chǎn)品與專利產(chǎn)品相似度很高，以至于無法區(qū)分。在這種情況下，可能需要支付賠償金，而不是退款。