Северный и восточный флигеля были построены в начале XV в. К западу и югу от кастела был расположен форбург. Замок в Хаапсалу впоследствии значительно расширился. По образцу конвентских зданий Ордена был сооружен и замок епископа Сааре-Ляанемаа в Курессааре (теперь город Кингисепп) на о. Сааремаа. Это единственный средневековый замок Латвии и Эстонии, сохранивший в основном свой первоначальный облик. Толчком к сооружению этого мощного замка послужило грозное восстание крестьян в Юрьеву ночь. Замок имеет в плане форму квадрата.

Для сообщения между флигелями на первом и втором этаже имеются галереи. Главные помещения расположены на первом этаже. Восточную часть южного крыла занимает квадратная капелла, своды которой опираются на восьмигранный столб. Расположенное рядом помещение является праздничным рефекторием.

Это обширное двухнефное помещение, перекрытое нервюрными сводами, опирающимися на массивные восьмигранные столбы. В западном крыле были жилые помещения епископа, в восточном — рефекторий и дормиторий, в северном — еще один дормиторий. На северо-западном углу стоит мощная башня «Стурвольт», на северо-восточном углу — небольшая башня «Длинный Герман». Эта башня должна была в случае опасности служить убежищем — она была отделена от смежных помещений глубокой шахтой, проходившей через все этажи.

Шахта служила также отхожим местом. В подвале были кухня, колодец, баня и склады. Здесь имелось и устройство для обогревания нагретым воздухом праздничного рефектория и жилых покоев епископа. Замок был окружен прямоугольным форбургом.

Строительные работы были закончены в начале XV в.