Das heutige Gebäude des Tors liegt am Ort, an dem sich das gleichnamige Tor befand. Es gehörte zur ersten Schutzwall-Befestigungsanlage der Stadt (Anfang des 17. Jahrhunderts). Das erhaltene Torgebäude wurde 1852–1855 nach dem Entwurf des Hauptmann-Ingenieurs und des Leiters des Befestigungsbaus Irfügelbrecht und des Leutnants von Heil in Königsberg erbaut. Das Projekt der Torfassade wurde vom Ober-Geheimrat für Bau und Architektur August Stüler, dem Leiter der Technischen Bauabteilung in Berlin, entworfen. Der Autor der skulpturalen Ornamente ist Wilhelm Ludwig Stürmer.
Das erste Projekt des Tores wurde 1852 vom Festungsbauamt in Königsberg entwickelt. Dieses Projekt wurde vom Geheimrat Stüler grundlegend überarbeitet. Stüler hat das Fassadenprojekt selbständig umgearbeitet und ihm eine ausgeprägte gotische Form verliehen. Das Tor hat nur einen Durchgang von vier Metern Breite. Auf beiden Seiten des Durchgangs liegen am Rande drei Kasematten. Die Torfassade besteht also aus sieben Öffnungen. Seitens der Stadt sind die Kasematten mit Fenstern ausgestattet, von außen sind Schießscharten angeordnet. Über der Vorderseite des Tors gibt es eine Zinnenreihe, die durch einen erhabenen Mittelteil in zwei Hälften geteilt ist. An den Seiten ist der Mitteteil von zwei achtkantigen Türmchen eingerahmt, die mit dekorativen Maschikulis versehen sind. Zwischen den Türmen gibt es einen hohen Bogen - so etwas wie eine Eingangspforte zum Tor. Über dem Bogen ist eine mit Zinnen eingezäunte Aussichtsplattform angeordnet. Rechts und links vom Bogen liegen Arkaden, die aus Bögen bestehen und von Säulen getragen werden. An den Seiten des Hauptbogens sind zwei Medalillon-Portraits mit den preußischen Generälen Scharnhorst und Gneisenau angebracht. Während die Stadtseite des Tors schön dekoriert ist, hat die Außenseite keine Verzierungen. Von außen ist der Durchgang mit einem Blockhaus abgedeckt, von dem aus feindliche Truppen mit Gewehr - und Artilleriefeuer unter Beschuß genommen werden könnten, und einem Wachdiensthaus (Corpe de Garde) mit Schießscharten, von denen feindliche Truppen mit Frontal- und Flankenfeuer unter Beschuß genommen werden könnten. Das Wachdiensthaus hatte Flügeltore. Vor dem Wachdiensthaus befand sich ein Wassergraben, über den eine Zugbrücke geschlagen wurde. Baubeschreibung von Baldur Köster (übersetzt von Alexey Shabunin): Das Rossgartentor hat - genauso wie das Königstor - nur einen 4 Meter breiten Durchgang. Hier wurden die beidseitig gelegenen Kasematten als Räumlichkeiten für die Wachmannschaft genutzt. Fußgängerpassagen - wie es beim Königstor der Fall ist - gab es im Rossgartentor wohl nicht, da an der Fassade noch ursprüngliche Brüstungen vorhanden sind. Hinter der Passage liegt hier der sogenannte Zwinger (umlaufende Festung). Die Gestaltung von Wänden und Gewölbe ist deutlich überdimensioniert, was eigentlich nur anhand von Zeichnungen sichtbar und bewußt werden kann. Das Rossgartentor ist mit seiner ausgewogenen Gestaltung das schönste aller Stadttore. Die lange Front, bestehend aus sieben Öffnungen, die von einer Zinnenkrone zusammengeheftet werden, wird in der Mitte durch einen hervorstehenden Teil über einer fast doppelt so großen Öffnung heftig unterbrochen, wobei die beiden Ecktürme den Eindruck eines Turms vermitteln (nur von der Seite sieht man, dass es ein Bühnenzauber ist und kein Turm ist).
Stüler versuchte, den Eindruck der Fassade zu mildern. Vor einem massiven Gebäude ordnete er eine zweite Wand an, die sich in der Mitte großer Öffnungen auflöst. Mit Hilfe dieses Kniffs, der uns nur im Zusammenhang mit gotischen Kirchenbauwerken bekannt ist, gelang es ihm, eine Gewandtheit zu spielen, die man normalerweise im Nebengebäude der Festungsanlage nicht erwartet. Aber wahrscheinlich war dies seine Idee (oder die Idee des Königs). Es war nicht im Sinn, die Stadtbürger die bedrohliche Komponente des Verteidigungsringes spüren zu lassen, im Gegenteil, es wurde bestrebt, sie mit Hilfe eines angenehm entspannten Bauwerks zu erfreuen. Trotzdem wurde die militärische Zweckbestimmung erzielt, wenn auch nicht so deutlich betont. Rechts und links vom großen Bogen sind zwei Medalillon-Portraits zu sehen, die die großen Generäle des Befreiungskrieges zeigen, der zu dem Zeitpunkt vor nur 30 Jahren zu Ende gegangen war. Es sind Portraits von Scharnhorst und Gneisenau. Nach dem Krieg wurde das Tor wieder aufgebaut und als Café-Restaurant "Sun Stone" genutzt. Für diesen Zweck wurde der große mittlere Durchgang an beiden Endteilen verglast. Die alte, sauber und fein gearbeitete Wand und das Gewölbe sind erhalten geblieben und verleihen dem Raum eine würdige Ambiente.
Die nördlichen Kasematten dienen nur als Eingangshalle und Garderobe, die südlichen Kasematten dienen als Küche und Nebenräume. Öffnungszeiten des Restaurants" Sun Stone: täglich von 12.00 bis 02.00 Uhr