Samotná obec je rozložena v jižní stráni prudkého svahu kolem cesty. Obcí protéká Dědinský potok, který ústí do přehrady Bystřičky. Svou exponovanou polohou je Velká Lhota zcela ojedinělá. Poprvé je zmínka o Velké Lhotě v roce 1374 a byla součástí panství Krásno, ale od roku 1411 až do zániku feudalismu náležela k panství rožnovskému. V 15. století se název obce několikráte změnil. Obec se postupně jmenovala Lhota Stachova, Lukáňova, Chmelová, Hrubá a nakonec Velká Lhota.