Академия создана по инициативе обер-президента провинции Т. Шона (нем. Heinrich Theodor von Schön) приказом прусского короля Фридриха Вильгельма IV 1842 года на базе художественно-промышленной школы, основанной в 1790 году , и музея, располагавшегося в замке. Академия первоначально располагалась в центре города на Кёнигсштрассе, 57. Работа Академии началась 1 сентября 1845 года. Учебный план этого учебного заведения полностью соответствовал традиционному классическому художественному образованию ХIХ века. Студентов обучали рисованию гипсовых фигур, рисованию с натуры, анатомии, рисованию обнаженных фигур, перспективе, рисованию пейзажей, рисованию одежды. В 1882 году открылся класс скульптуры.
Преподавателями были в основном выпускники Берлинской академии, среди них был и самый известный живописец Восточной Пруссии того времени поляк Максимилиан Антоний Пиотровский, многие годы руководивший классом гипсов, и Роберт Троссин, заведовавший гравировальным классом. Учебный процесс был основан, в первую очередь, на обучении мастерству рисунка. Учебный план Академии предусматривал в его преподавании строгую последовательность — от рисования копий, слепков с античной скульптуры, к изучению «натуры».
В стенах Академии создавались живописные полотна на исторические сюжеты. Эти картины помещались в общественных зданиях. В течение 30 лет Академией руководил Карл Людвиг Розенфельдер. Это был расцвет исторической живописи. Самым большим ее достижением являются настенные росписи в новом актовом зале университета – аллегорические многофигурные изображения факультетов. Преподавателей в Академию приглашали со всей Германии. Число студентов достигало 40-50 человек.
Произведения преподавателей и выпускников Кенигсбергской академии художеств экспонировались на выставках в Кенигсберге, Берлине, Париже, Кракове, Бреслау, Позене. Работы скульпторов И Ф.Ройша, С.Кауэра, В. Розенберга, П. Кимритца, заняли значительное место в ряду скульптурных памятников Кёнигсберга. Генрих Вольфф сделал популярной портретную графику, создав свыше ста портретов. И.Хайдек совместно с М.Шмидтом и Э.Нейде выполнил цикл живописных произведений на сюжеты «Одиссеи» Гомера для актового зала инстербургской гимназии.
К началу нового века старое здание было уже тесно и было принято решение о строительстве нового здания. Проектирование было заказано уроженцу Кенигсберга, профессору архитектуры Академии Фридриху Ларсу, уже к тому времени известному архитектору. В 1913 году строительство было начато, а в 1919 году Академия окончательно обосновалась в Ратсхофе. Здание представляет собой вытянутое по фасаду двухэтажное сооружение с центральным порталом, украшенным рельефными изображениями двух летящих женских фигур. Автором рельефов был также профессор Академии Станислав Кауэр.
Сейчас – средняя школа №21.