Після смерті Любарта близько 1385 р. його син Федір іменується також великим князем (Русі) , що реалізовувало ідею правонаступництва Луцького столу від монархів Галицько-Волинської держави. Проте Федір Любартович володіє Луцьком впродовж зовсім короткого часу з тієї причини, що він був сином не першої дружини Любарта — волинської княжни, яка рано померла бездітною, а від другого шлюбу Любарта з дочкою ростовського князя і тому не мав спадкових прав на Луцьке княжіння.
Після підписання Кревської унії 1385 року і затвердження присяжних грамот на вірність польській Короні король Ягайло вже 1386 року висуває претензії на Луцьку волость і досить впевнено забирає її у Федора та тримає до 1392 року. Впродовж цих років волость з містом перебуває в держанні королівських намісників Федора Даниловича Острозького, литовського князя Вітовта, сандомирського каштеляна Креслава з Курозвонок.
Тільки наприкінці 1392 р. Луцьк «навічно» переходить до князя Вітовта-Олександра Кей-стутовича, при особі якого служить воєводою в Луцьку вище названий Федір Острозький. Протягом 1393-94 рр. Ягайло та Вітовт відбирають вотчинні землі визначних українських князів литовсько-руського походження: Сіверщинуу Корибута, Воло-димирщину у Федора Любартовича, Поділля у Федора Коріатовича, Київщину у Володимира, а самих дідичів переводять переважно на роль намісників, чим було ліквідовано залишки княжого державного устрою України-Русі.
Утвердившись великим князем на Литві, зберігав титул Луцького князя і приділяв багато уваги Луцьку, вважаючи Волинь своїм особистим уділом і постійно тримаючи її в зоні своєї активної політики. Він часто перебував у місті, неофіційно надавши йому статус південної столиці Литовсько-Руської держави, звідси вирушав у кримські походи.
З діяльністю Вітовта по розбудові міста пов’язують заснування католицької Катедри, його фундації домініонам, назви каналів, мостів, доріг та ін., «Вітольдів колодязь», наприклад, а також і появу в міському суспільстві вірменів, караїмів, татар і німців. Мистецтвознавець Г. Н.Логвин, зважаючи на особистість Вітовта, висловлював гіпотезу про його причетність до спорудження Луцького замку.
Дійсно, ця _ гіпотеза є логічною вже з огляду на той факт, що Замок на час отримання Вітовтом титулу Луцького князя був напівдерев’яним. І дуже сумнівно, що він міг таким залишатись, ставши південною резиденцією великого князя Литви.
Архітектурними обстеженнями замкових мурів поза межами двох будівельних періодів Любарта, що в час Вітовта залишались дерев’яними, зафіксовано третій будівельний період Луцького замку, який мав чотири етапи.
Під час трьох перших етапів послідовно замінювались мурами дві ділянки східної і одна північної стіни, і лише на четвертому в найвищій точці дитинця було збудовано Владичу башту з невеликими пряслами мурів, що повністю замкнуло замковий терен в цегляне кільце реконструкції.
Послідовність етапів визначена за характером зв’язки мурів на стиках і не залишає ніяких сумнівів. Відсутність помітних відмінностей в характеристиках цегли і кладки говорить про те, що всі етапи третього будівельного періоду здійснювались з невеликим проміжком в часі.
Однак, ці ж дані відносно третього і другого будівельного періоду Любарта наштовхують на думку, що між ними пролягала більш тривала перерва, можливо, навіть на кілька десятиріч. Отже, третій будівельний період Луцького замку можна віднести на кінець XIV — початок XV століть, тобто на час князювання Вітовта.