Вначале он был одноглавым со шлемовидным верхом, без колокольни и с одним престолом в честь Воздвижения Честного и Животворящего Креста Господня. В середине 17 века его перестроили, появилась колокольня, новые главы и пределы.
Крестовоздвиженский собор поражает огромным четвериком главного помещения, мощными высокими барабанами, громадными куполами. Крестовокупольный, четырёхстолпный, с пятью алтарными апсидами храм увенчан мощным пятиглавием. В южном алтарном полукружии освящён придел в честь Смоленской Божией Матери, в северном – устроен тёплый придел, посвящённый Введению во храм Пресвятой Богородицы. Оба придела завершают невысокие, стройные каменные шатры, традиционно обрамлённые по основанию кокошниками. Храм освещается через окна, сделанных в пяти барабанах. Освещение сверху символизирует то, что свет Христов просвещает всех, а отсутствие окон внизу имело целью сосредоточивать внимание богомольцев на молитве в храме. Собор окружён галереей, которая была изрядно перестроена в 19 веке.
Крепкая, под стать собору шатровая колокольня с одним ярусом слухов примыкает к нему с северо-западного угла; когда-то на ней было 8 колоколов.
Изумительна стенопись собора. Её делали талантливые костромские мастера Василий Ильин и Гурий Никитин с товарищами. Жаль только, что не вся она сохранилась.
На четырёх высоких мощных столбах - в несколько ярусов изображения святых греческой и русской церкви. Среди них – имена, известные из русской истории: князь Роман Угличский, Михаил Тверской, Константин Ярославский, царевич Дмитрий, княгиня Ольга и чешская княгиня Людмила (очень редкое изображение), и другие. Росписи на галерее отражают ветхозаветную историю: сотворение мира, жизнь прародителей, историю пророка Ионы, историю Иосифа Прекрасного и многие другие библейские сюжеты, а также - картину грядущего Страшного Суда.
В самом храме на южной стене изображены Страсти Христовы и древо Иессеево, на северной – история обретения Креста, обращение Савла, на западной – Апокалипсис и сем Вселенских Соборов.
Специалисты-исследователи считают, что роспись собора была выполнена в два приёма: галерея расписана в 50-е годы, а главное помещение в 70-х. Каждая фреска Крестовоздвиженсого собора представляет немалый интерес. Для стенописи характерны крупные формы, монументальность.
Известный учёный, доктор искусствоведения В.Г.Брюсова пишет:
«… Фрески Крестовоздвиженского собора займут место в ряду выдающихся памятников монументальной живописи XVII века. Замечательные композиции являются шедеврами монументально-декоративных росписей». Сейчас в соборе проводятся большие реставрационные работы.
До закрытия в соборе находилось большое количество древних икон, среди них и особо почитаемые – чудотворная Тихвинская икона Пресвятой Богородицы (та, которую подарил царь Михаил Фёдорович Романов), Свенская икона Богородицы, перед которыми молились об исцелении людей от пьянства, образ Страстей Господних с 72-мя частицами мощей неизвестных святых, подаренный дворянкой Зацепиной.
От пятиярусного иконостаса 17 века до наших дней сохранился лишь каркас.
В 1992 году Собор возвращен Русской Православной Церкви, но активная реставрация началась лишь 2000-е годы, усилиями настоятеля, пожертвований прихожан и меценатства. Главная проблема храма - катастрофическое состояние фресок, половина из которых уже утрачены, остальным грозит полное исчезновение. С созданием в 30-е годы Рыбинского водохранилища в Ярославской области был нарушен естественный уровень и баланс грунтовых вод в результате чего фундамент храма серьезно подмывается грунтовыми водами с повышенным содержанием солей.
В настоящее время настоятель – иеромонах Антоний (Таньков), существует община, в основном молодежная, проводятся регулярные богослужения. Красивая подсветка храма устроена за счет города. Из интерьеров собора восстановлен только левый придел, в котором сейчас проводятся богослужения.