Úhlavní nepřítel husitů král Zikmund v součinnosti s knížetem Přemkem Opavským donutil nejprve Petra Strážnického z Kravař opustit Opavsko a pak se zaměřil i proti ostatní husitsky smýšlející šlechtě. Pravděpodobně v této době měli Drahotušové v Závadě silně opevněnou tvrz, která ale přitahovala nepřátelské síly. Za těchto akcí ves byla zpustošena. Proslulý obhájce češtiny Jan Žutar z Drahotuš v roce 1439 obdaroval rektora opavských škol a nejvyžšího zemského písaře Mistra Jana z Bělé postoupením vsi Závady s tvrzí. Jeho syn Jindřich z Bělé v neklidném závěru uherské nadvlády na Opavsku roku 1499 postoupil Závadu Stiboru Doupovcovi ze Sudic a potom v rychlém sledu se na závadské tvrzi vystřídali čtyři majitelé. Teprve v roce 1527 opět koupili Závadu zpět k benešovskému panství bratři Jan a Vavřinec z Drahotuš.