Замок был основан в начале XV в. на месте старого укрепления; поблизости, на берегу реки Тыльже, была построена плотина с мельницей. Вода из Мельничного пруда была направлена тремя потоками во рвы вокруг замка и форбурга. С северной стороны замок омывался водами реки Мемель (совр. Неман). Таким образом, сам замок был окружен водными преградами со всех сторон. С западной стороны к форбургу через ров от ворот был перекинут мост, весь форбург также омывался водой. Строительством руководили мастер Ханнус Болле из Данцига и архитектор Николаус Фелденштайн.
В 1411 г. замок сильно пострадал при осаде, пришлось произвести ремонтные работы, в результате которых он стал представлять довольно внушительное оборонительное сооружение. Замок имел прямоугольный двор, окруженный стенами, и главный флигель со стороны реки. На флигеле пристроили массивную двухэтажную галерею с крестовыми сводами. В южной стене стояла большая полукруглая башня высотой 20 м и 30 м в окружности. Позднее пристроили хозяйственный западный флигель и конюшню к восточной стене. Все постройки возвели на фундаментах из полевого камня. Стены выложили из обожженного кирпича, украсив ромбовидным орнаментом. Главное здание (флигель) замка имел три этажа: первый — общего назначения, второй — главный и третий — оборонительный. На третьем этаже под высокой крышей располагался равномерный ряд амбразур.
Изначально замок в Тильзите административно относился к комтурству Рагнита, в нем находились службы ведомства пфлегера. После секуляризации Тевтонского ордена замок в Тильзите стал резиденцией бургграфа, в нем провели отделочные работы.
В 1671 г. к устаревшим оборонительным сооружениям пристроили валы для установки пушек, а по углам — небольшие бастионы. В замке разместили гарнизон.
В 1805 г. пришедший в упадок замок продали с аукциона в частное владение шестерым торговцам для хозяйственных нужд. В 1820 г. местные власти выкупили замок и разместили в нем городской суд. К этому времени строение сильно обветшало. После 1840 г. территорию замка постепенно стали осваивать промышленные и хозяйственные организации: в 1842 г.— паровая мельница, после 1844 г.— бумажная фабрика, сгоревшая в 1876 г. Этот пожар превратил остатки замка в руины, переданные заводу по производству извести. После 1945 г. на территории бывшего замка некоторое время продолжалось производство извести, а вс конца 1980-х гг. руины были совсем заброшены.
В 1995 г. землю с остатками замка продали в частные руки под снос, на его месте планировали выстроить гаражи. Общественность города Советска, начиная с 2000 г., пытается сохранить остатки замка: часть стены главного флигеля с обращенным сводчатым потолком и сильно перестроенную западную пристройку. Руины замка Тильзит относятся к объектам культурного наследия, подлежащим государственной охране. Сегодня в руинах замка располагается частная строительная компания «Новый замок».