Milotice již roku 1453 byly uváděny jako pusté, Jelení bylo zničeno až uherskými vojsky Matyáše Korvína při jejich tažení do Slezska v roce 1474. Pusté Jelení předala krnovská kněžna Barbora bratrům Mikulášovi, Bernardovi a Hynkovi z Vrbna: Jelení, které pánové z Vrbna koncem 16.století obnovili, bylo až do roku 1850 součástí panství bruntálského. Milotice počátkem 15. století získal majitel Lichnova Hanuš Lichnovský z Voštic a již roku 1508 je obnovil. V roce 1622 koupili Milotice jako součást zcela zadluženého lichnovského statku krnovského knížectví, které vlastnili Lichtenštejnové.