Vízmberské panství vzniklo teprve na přelomu 16. a 17. století vydělením osmi vsí v horním povodí Desné a v povodí Merty z mateřského panství losinského. Stalo se tak za Jana mladšího z Žerotína, který nové panství přenechal svým nejmladším synům, pocházejícím z jeho čtvrtého manželství s paní Andělou Ryšanovou z Modřic, Přemkovi a Vilému Bedřichovi.