Hanušovice měly už roku 1351 kostel a faru, která se jmenuje v zakládací listině litomyšlského biskupství. Z privilegia pro hanušovického rychtáře z roku 1439, v němž se setkáváme už s nynější českou podobou jména "Hanussowicze", Ize z velikosti obdarování soudit, že byly přirozeným hospodářským střediskem jižní části kolštejnského panství. V 15. století za česko-uherských válek a následujících bojů mezi kolštejnským pánem Hynkem ze Zvole a Jiříkem st. Tunklem z Braníčka a na Zábřeze byly Hanušovice vypáleny a Vysoké Žibřidovice s Valteřicemi dočasně úplně zpustly. Teprve v následujícím století byly obnoveny. Na sklonku 16. století příbyla na jižním okraji Hanušovic nová ves Holba, která však už patřila k rudskému panství. Znovu utrpěly všechny zmíněné vsi za třicetileté války, v poklidné době druhé poloviny 17. a během 18. století se však rychle vzpamatovaly. Hanušovice se pro ně staly vzhledem k farnímu kostelu a škole i kulturním střediskem.