Zámek se nachází na svahu zvedajícím se jihozápadním směrem za zábřežským vlakovým nádražím. Leží uprostřed malého parku ve stejnojmenné, původně samostatné obci Skalička, která je od poloviny minulého století součástí Zábřeha. Od počátku 14. století je Skalička včleněna do lénního systému olomouckého biskupství, přičemž náleží k jeho mohelnické a později k mírovské provincii. Nejstarší dějiny obce jsou tak svázány s dějinami biskupského manství, přičemž k jeho vymazání z lénního registru a převedení do osobního vlastnictví leníka došlo až v roce 1874.