Andrlův chlum byl díky své výšce 559 metrů nad mořem vždy ideálním místem pro stavbu rozhledny, z níž lze obdivovat okolí. Okrašlovací spolek v Ústí nad Orlicí navrhl v tomto místě postavit první rozhlednu.
Vzorem pro jejich záměr byly rozhledny na Vrchmezí nebo Bouzově. Rozhodnutí padlo na typ Bouzov. Stavitel Jozef Hernych vypracoval návrh dřevěné konstrukce a vypočítal rozpočet. V srpnu 1905 byla stavba podle jeho plánů dokončena a otevřena pro veřejnost. Vlastníkem a provozovatelem se stal Okrašlovací spolek. Elegantní a hojně navštěvovaná rozhledna vydržela až do 17. dubna 1918, kdy náhle vyhořela. Teprve v roce 1941 dal Klub českých turistů podnět ke stavbě druhé rozhledny. Úspěšně jednala s Geografickým ústavem Ministerstva vnitra o možnosti postavit na Andrlově chlumu dřevěnou triangulační věž, ovšem doplněnou o vyhlídkovou terasu a schodiště se zábradlím. Další náklady samozřejmě hradí Klub českých turistů. Dohoda byla uzavřena a v září 1941 byla otevřena 35 metrů vysoká, opět dřevěná rozhledna. Dlouhá léta působení povětrnostních vlivů vedla k postupnému chátrání, které bylo ukončeno demolicí rozpadající se stavby v roce 1954.
Rozhledna, důvěrně známá jako Stříbrná kráska, byla slavnostně otevřena 19. května 1996. Jeho provozem pro veřejnost byl pověřen Klub českých turistů v Ústí nad Orlicí. Za příznivého počasí se z rozhledny nabízí výhled na Orlické hory, Krkonoše, Sněžník a hřebeny kopcovité krajiny v okolí Svitav.
