Der Initiator der Gründung der Ritterakademie war der brandenburgische Kurfürst Friedrich Wilhelm I. Die Idee stand in engem Zusammenhang mit der Anerkennung Kolbergs als Festungsstadt im Jahr 1653. Auf dem pommerschen Sejm im Jahr 1654 wurde die Idee der Gründung einer Akademie in die Tat umgesetzt. Organisator und erster Kommandant war der Gouverneur von Kolberg, Oberst Bogusław von Schwerin. Er leitete die Schule in den Jahren 1655–1678. Die Idee der Akademie bestand von Anfang an darin, künftige Armeeoffiziere auszubilden. Die Schule war für Jungen im Alter von 15 bis 16 Jahren gedacht. Natürlich mussten es junge Menschen adliger Herkunft sein, obwohl es Fälle gab, in denen Nachkommen wohlhabender Mittelschichtsfamilien aufgenommen wurden. Der Lehrplan umfasste: Drill, Reiten, Fechten, Grundlagen des Befestigungsbaus, Mathematik, Französisch lernen und Tanzen. Anfangs erfreute sich die Akademie eines großen Interesses, das jedoch nach und nach abnahm. Im Jahr 1701 wurde die Schule wegen Mangels an Kandidaten geschlossen. 1703 wurde sie unter dem Namen Kadettenschule reaktiviert, 1716 jedoch wieder geschlossen.
Das zweistöckige Gebäude wurde im Stil der Florentiner Renaissance erbaut. Es wurde auf einem rechteckigen Grundriss entworfen. Die Fassaden sind mit rustizierten Wänden und einem vorspringenden, von Kragsteinen getragenen Gesims geschmückt. Das Gebäude war ursprünglich mit einem Hüllendach gedeckt. Durch den letzten Krieg wurde das Akademiegebäude schwer beschädigt. Das Dach und der erste Stock stürzten ein. In den 1950er Jahren befand sich in den Ruinen ein Panorama-Sommerkino. Später wurde das Gebäude als Sporthalle des Städtischen Sport- und Erholungszentrums umgebaut. Im historischen Keller befindet sich ein Restaurant.