Dvorce jako součást šternberského panství vlastnili Šternberkové (do roku 1409), páni z Kravař (do roku 1460), Berkové z Dubé (do roku 1565), knížata Münsterberská (do roku 1667) a vévodové Würtenberští, za kterých došlo v roce 1692 k vyčlenění panství karloveckého. Panství karlovecké i s Dvorci koupili v roce 1699 Lichtenštejnové.