Зростаючий вплив єзуїтів на населення, будівництво ними просторого і багато оздобленого костьолу з часом стали викликати заздрощі у єпископа і капітулу. Разом з тим єзуїти не покидали виділені їм місця у костьолі аж до скасування ордену 1773 р.
У зв’язку з загрозою нападу в 1648 р. війська Богдана Хмельницького школу було розпущено, костьольні коштовності перевезено до Кракова, а самі єзуїти, крім трьох сторожів, роз’їхались по інших колегіумах; після Зборївського миру 1649 р. єзуїти повернулись до Луцька, але в грудні 1652 і червні 1653 pp. знову загашали його під час нападів козаків. Лише після Андрусівського перемир’я 1667 р. колегіум почав поступово відновлювати свою діяльність. Ректори Ілімінський і Томашсвський почали зводити з руїн будинки і фільваркове господарство.
Під час Північної війни зі шведами російські війська Менжива (Menzyw) головну квартиру влаштували в колегіумі, що вже зазнав грабунків з боку козаків і шведів.
У 1718 р. пожежа знищила шкільний будинок. Ректор Юзеф Шсмбск звернувся за допомогою до членів сеймику, які, як звичайно, засідали в єзуїтському костьолі. На отримані кошти незабаром було збудовано новий просторий шкільний дім. Дерев’яна частина цієї споруди разом з колегіумом, костьолом і майже половиною міста згоріла 14 червня 1724 р. Наслідки пожежі були ліквідовані протягом трьох років ректором Мартином Луговським за пожертвувані кошти.
У листопаді 1773 р. єпископський делегат у присутності люстраторів оголосив бреве Клеменса XIV про скасування ордену єзуїтів. У приміщеннях єзуїтів Едукаційна комісія мала намір розмістити вищу професійну школу (szkote uydzialowa). Проте пожежа 1774 p.. яка пошкодила колишні єзуїтські споруди і знищила кафедральний костьол св. Трійці, змусила прийти до інших рішень. Між луцьким капітулом і Едукаційною Комісією була укладена утода. згідно з якою капітул оплатив 100 000 злотих і передав комісії власний «дім просторий на замку» для розміщення в ньому школи, а отримав від Едукаційної Комісії закопчені пожежею єзуїтські мури. Комісія обмежилась влаштуванням на території капітулу трикласного училища (szkoly podwydzialowej), а капітул приступив до реставрації спаленого колишнього костьолу єзуїтів, до якого єпископ
Фелікс Турський переніс кафедру. В інших відбудованих приміщеннях розмістились єпархіальна семінарія, помешкання для каноніків та приватних осіб. Разом з єзуїтськими спорудами кафедрі дісталась також багата єзуїтська бібліотека, що складалась з книг та рукописів. Луцький пробощ ксьондз Станьковський врятував її від розкрадання і упорядкував.
Станіслав Заленський описав історію перепоховання 1878 р. у колишньому костьолі єзуїтів Анни Омсцинської (1709-1731 pp.). яку було зараховано до лику блаженних. її прах перенесли з кляштору бригідок, де він перебував із 1835 р. Після смерті було виконано її портрет на блясі з написом: «Obiit Kokorovii cum sanctitatis opinione AD. 1731,10 deccmbris, aetatis suae 23 inchoate, sepulta Crcmeneci in tempo PP. Soc. Jesu 13 decemb.» Навколо овалу: «V.(vidua) Anna de Omiccinskie, Sanctae Brigittac novitia>. Є підстави вважати, що цей портрет знаходився у підземеллях костьолу на склепі А. Омсцинської до 1950-х pp., коли там були пограбовані і знищені усі поховання.
Опис усіх єзуїтських споруд, виконаний Едукаційною Комісією станом на 1770-ті pp., подав Тсодор Вежбовський. Тоді костьол був покритий ґонтом і частково мідною бляхою. Дві лінії колегіуму мали по три, а третя, в якій містилися школи, — два поверхи.
Старший чиновник особливих доручень при Київському. Подільському і Волинському генерал-губернаторові Олексій Мердер про початковий період перебування єзуїтів у Луцьку написав лише вкрай коротку примітку до тексту: «В 1610 р. міцно осідають єзуїти».
Даючи загальну характеристику історичі юму розвитку міста, «Podreczna cncyklopedya koscielna» вказувала на занепад Луцька після нападу на нього Богдана Хмельницького в 1648 р. Деяка стабілізація становища наступила після Замойського синоду 1720 p., але Луцьк вже не піднявся. Єзуїтський костьол св. Петра і Павла був освячений єпископом Ісмбицьким у 1640 р.
Після пожежі кафедрального костьолу св. Трійці 1781 р. у тому ж році до колишнього костьолу єзуїтів було перенесено кафедру. Після наведення останньої дати не послідовною є наступна інформація: «Але і костьол єзуїтів спалахнув 1775 p., тому луцький консул почав його реставрувати». Єпископ І (е-цишевський закінчив цю реставрацію. Костьол, побудований у стилі Відродження, мав образи, Вассіагеїі та Смуглевичем.
Велику7 роботу з вивчення архівних матеріалів, що пов’язані з заснуванням луцької католицької кафедри та її переносом у зв’язку з пожежею до костьолу єзуїтів, провів Мар’ян Луковський у 1912 р. Про спорудження костьолу єзуїтів він говорить в узагальненій формі, не беручи до уваги той факт, що єпископи М. Шишковський і П. Волуцький очолювали єпископство в різні часи: «Вибудували його, разом з колегіумом, у 1610 р. луцькі єпископи Мартин Шишковський і Павло Волуцький для ордену7 єзуїтів, освятив у 1640 р. єпископ Андрій Гембицький». Звертаємо увагу на те, що між «спорудженням» і освяченням проміжок часу ЗО років. М. Луковський викладає історію переводу кафедри в колишній костьол єзуїтів, дає стильову й просторову характеристику костьолу, називає найбільш значні живописні твори та місце їх розташування, коротко описує дзвіницю, що стоїть напроти костьолу.