Z půdorysu hradu a ze zachovaných zbytků zdiva je možné vyčíst, že se jednalo o stavbu typickou pro přelom 13. a 14. století. Půdorys Rychleb je nápadně podobný hradu Friedeberk, z kterého se také zachovali jen části. Hrad Friedeberk nechali vybudovat loupeživí rytíři Wüstehubové, kteří tehdy vládli tomuto kraji. To by podporovalo názor některých odborníků, že i hrad Rychleby vlastnili tito rytíři.