De sleutel van deze historische schatkamer bleef eeuwen in handen van de Duitse Orde totdat zij in 1807 door Lodewijk Napoleon gedwongen werd te verhuizen. Lodewijk Napoleon toverde het gebouw om tot Rijks Militair Hospitaal. Het pand kwam in de twintigste eeuw onder bewind van het Ministerie van Defensie, maar toen het militair hospitaal in 1986 sloot dreigde het pand langzaam te vergaan. Totdat in 1997 een intensieve driejarige restauratie begon. De gebouwen werden in ere hersteld en in september 2000 opende Grand Hotel Karel V zijn deuren. Het complex is ooit gebouwd om mensen te ontvangen, te verzorgen en onderdak te bieden, vergelijkbaar met de functie van een hotel. De verbouwing heeft het karakter van het pand niet alleen behouden, maar zelfs versterkt. Karel V ligt binnen de singels van de Utrechtse binnenstad en de bijzondere gebouwen, de imposante eeuwenoude bomen, de vijver, de bronzen beelden en de moderne tuinarchitectuur zorgen voor een oase van rust.

Op 28 januari 2010 doet Karel V voor één keer dienst als Huis van de Poëzie en kunnen poëzieliefhebbers hun hart ophalen aan de vele unieke kamers die het hotel rijk is. Bijvoorbeeld in De Gulden Vlieskamer, de kleine vergaderzaal met het schitterende kruisgewelf. In dit piepkleine torenkamertje bewaarde de Duitse Orde vroeger haar pandbrieven, maar nu zullen verschillende dichters hier voordragen. Ook de Oude Graanzolder is een ruimte vol karakter, met vele kledinghaken, bedoeld voor de plunjezakken van de militairen die hier ooit verbleven. De naar de zuster van Karel V vernoemde Maria van Hongarijezaal beschikt over een originele balklaag uit 1347 en ook de duistere kelders ademen geschiedenis. Wie tussen de voordrachten door het gebouw dwaalt kan zomaar stuiten op de privé-latrine van Karel V of op de haard waar de keizer zich ooit aan warmde – let op de steen met Karel's wapen in de schouw.