Сразу же по приезде, а еще более после того как отец Сергий стал служить во Владычне, его стали посещать многие из его духовных детей. Среди окружающих он был известен как молитвенник и человек святой жизни. Люди стали обращаться к нему за помощью, и некоторые по своей вере и молитвам праведника получали исцеления. Несмотря на пережитые узы и тяжелое время гонений, отец Сергий продолжал подвизаться как духовник и проповедник. Он использовал отпущенное ему время для научения в вере, поддержки и просвещения ближних. Духовные дети привозили ему продукты и одежду, большую часть которых он раздавал нуждающимся.

Но в селе были люди, которые ненавидели Церковь, хотели ради забвения своих грехов забыть о Боге, они относились враждебно к отцу Сергию за его открытую проповедническую деятельность. Жизнь, которую он проводил, обличала их совесть, и, вознамерившись его уничтожить, они обратились за помощью к власти.

30 и 31 января 1930 года ОГПУ допросило этих людей. Они показали: «По своему общественному, умелому подходу к народу с религиозной стороны заслуживает особого внимания. Действует исключительно религиозным дурманом. Опирается на темноту, выгоняет бесов из человека… Особенно способен на проповеди, которые говорит по два часа. В своих выступлениях с амвона призывает на единение и поддержку Церкви, религиозных целей…

Результаты таких проповедей имеются налицо… Деревня Гнездцы категорически отказалась от вступления в колхоз. Словом, должен сказать, священник Сребрянский является политически вредным элементом, который должен быть срочно изъят…»

На основании этих показаний отец Сергий был через несколько дней арестован, но «материалов» для создания «дела» недоставало, и 14 февраля следователи допросили жителей села Владычня, оставляя в деле показания лишь тех свидетелей, которые подтверждали обвинение. Но и через призму искаженных свидетельств видно, что отец Сергий был для народа подлинным старцем и подвижником, по молитвам которого совершались исцеления многих недужных.

10 марта власти допросили отца Сергия. 7 апреля 1930 года «тройка» ОГПУ приговорила отца Сергия к пяти годам ссылки в Северный край. Священнику было тогда шестьдесят лет, и после нескольких тюремных заключений, ссылки, этапов он тяжело болел миокардитом. Это время было самым тяжелым для ссыльных. Прошла коллективизация. Крестьянские хозяйства были разорены. Хлеб продавался только по карточкам и в самом ограниченном количестве. Выжить можно было, если присылались посылки. Но посылки доходили лишь в то время, когда по реке было пароходное сообщение, которое прекращалось на зимний период и на время, пока сплавлялся лес.

Отца Сергия поселили в одной из деревень на реке Пинеге. Здесь жило много сосланного духовенства. Сюда к нему приехали монахиня Елизавета и Мария Петровна Заморина, знавшая отца Сергия еще в период его служения Орле; впоследствии она приняла монашество с именем Милица. Ссыльные священники работали здесь на лесоразработках и сплаве леса. Отец Сергий работал на ледянке — вел по ледяной колее лошадь, тащившую бревна. Эта работа хотя и была легче пилки и рубки в лесу, но требовала большой ловкости и спорости. Отец Сергий, монахиня Елизавета и Мария Петровна жили в домике, как маленькая монастырская община. Отец Сергий, благодаря своей подвижнической жизни, постоянной молитвенной настроенности, духовным советам и умению утешать страждущих в самых тяжелых их обстоятельствах, вскоре стал известен как глубоко духовный старец, которому многие поверяли свои беды, в молитвенное предстательство которого верили. Северная зимняя природа произвела большое впечатление на исповедника. «Огромные ели, закутанные снежными одеялами и засыпанные густым инеем, стоят как зачарованные, — вспоминал он, — такая красота — глаз не оторвешь, и кругом необыкновенная тишина… Чувствуется присутствие Господа Творца, и хочется без конца молиться Ему и благодарить Его за все дары, за все, что Он нам посылает в жизни, молиться без конца…»

Несмотря на болезнь и преклонный возраст, старец с помощью Божией выполнял норму, данную начальством. Когда ему приходилось корчевать пни, он делал это один и в короткое время. Иногда он смотрел на часы, интересуясь сам, за какое время ему удастся выкорчевать пень, над каким, бывало, трудились несколько человек ссыльных.

С местным начальством у отца Сергия сложились самые благоприятные отношения, все любили святого старца и неутомимого труженика, который со смирением воспринимал свою участь ссыльного. Детям он вырезал и склеил, а затем раскрасил макет паровоза с пассажирскими и товарными вагонами, которых дети не видели еще ни разу в своей жизни по дальности от тех мест железных дорог.

Через два года ссылки власти из-за преклонного возраста священника, его болезней и за успешно выполняемую работу решили его освободить. В 1933 году отец Сергий вернулся в Москву, где пробыл один день — простился с закрытой и разоренной обителью и выехал с монахиней Елизаветой и Марией Петровной во Владычню. На этот раз они поселились в другом доме, который был куплен его духовными детьми. Это была небольшая изба с русской печью, кирпичной лежанкой и пространным двором. Здесь прошли последние годы жизни старца. Покровский храм во Владычне был закрыт, и отец Сергий ходил молиться в Ильинский храм в соседнее село. Впоследствии власти стали выказывать неудовольствие по поводу его появления в храме, и он был вынужден молиться дома. Последний период жизни отца Сергия стал временем старческого окормления духовных детей и обращавшихся к нему страждущих православных людей, что было особенно существенно в то время, когда большинство храмов было закрыто и многие священники были арестованы.

Во время Отечественной войны, когда немцы захватили Тверь, во Владычне расположилась воинская часть и предполагался здесь большой бой. Офицеры предлагали жителям уйти дальше от передовых позиций, кое-кто ушел, а отец Сергий и монахини Елизавета и Милица остались. Почти каждый день над расположением воинской части летали немецкие самолеты, но ни разу ни одна бомба не упала ни на храм, ни на село. Это было отмечено и самими военными, у которых возникло ощущение, что село находится под чьей-то молитвенной защитой. Однажды отец Сергий пошел на другой конец села со Святыми Дарами причащать тяжелобольного. Идти нужно было мимо часовых. Один из них остановил отца Сергия и, пораженный видом убеленного сединами старца, бесстрашно шедшего через село, непроизвольно высказал ту мысль, которая владела умами многих военных: «Старик, тут кто-то молится».

Неожиданно часть была снята с позиции, так как бои развернулись на другом направлении, неподалеку от села Медное. Местные жители, очевидцы этих событий, приписывают чудесное избавление села от смертельной опасности молитвам отца Сергия.

В последние, годы жизни архимандрита Сергия, начиная с 1945 года, его духовником был протоиерей Квинтилиан Вершинский, служивший в Твери и часто приезжавший к старцу. Отец Квинтилиан сам несколько лет пробыл в заключении и хорошо знал, что такое — нести тяготы и горечь гонений в течение многих лет. Он вспоминал об отце Сергии: «Всякий раз, когда я беседовал с ним, слушал его проникновенное слово, передо мной из глубины веков вставал образ подвижника-пустынножителя… Он весь был объят Божественным желанием… Это чувствовалось во всем, особенно — когда он говорил. Говорил он о молитве, о трезвении — излюбленные его темы. Говорил он просто, назидательно и убедительно. Когда он подходил к сущности темы, когда мысль его как бы касалась предельных высот христианского духа, он приходил в какое-то восторженно-созерцательное состояние, и, видимо, под влиянием охватившего его волнения помыслы его облекались в форму глубоко-душевного лирического излияния.

Наступило приснопамятное весеннее утро, — вспоминал отец Квинтилиан. — На востоке загоралась заря, предвещавшая восход весеннего солнца. Еще было темно, но около хижины, где жил старец, толпились люди; несмотря на весеннюю распутицу, они собрались сюда, чтобы отдать последний долг почившему старцу. Когда я вошел в самое помещение, оно было забито народом, который всю ночь провел у гроба старца. Начался отпев. Это было сплошное рыдание. Плакали не только женщины, но и мужчины…

С большим трудом вынесли гроб через малые узенькие сенцы на улицу. Гроб хотели поставить на дровни, нести на себе его на кладбище было невозможно, ибо дорога на кладбище представляла местами топкую грязь, местами была покрыта сплошной водой. Тем не менее из толпы неожиданно выделяются люди, поднимают гроб на плечи… Потянулись сотни рук, чтобы хотя коснуться края гроба, и печальная процессия с неумолкаемым пением «Святый Боже» двинулась к месту последнего упокоения. Когда пришли на кладбище, гроб поставили на землю, толпа хлынула к гробу. Спешили проститься. Прощавшиеся целовали руки старцу, при этом некоторые как бы замирали, многие вынимали из кармана белые платки, полотенца, маленькие иконки, прикладывали к телу усопшего и снова убирали в карман.

Когда гроб опускали на дно могилы, мы пели «Свете тихий». Песчаный грунт земли, оттаявшие края могилы грозили обвалом. Несмотря на предупреждение, толпа рванулась к могиле, и горсти песка посыпались на гроб почившего. Скоро послышались глухие удары мерзлой земли о крышку гроба.

Мы продолжали петь, но не мы одни. «Граждане, — слышался голос, — смотрите! смотрите!» Это кричал человек с поднятой рукою кверху. Действительно, нашим взорам представилась умилительная картина. Спустившийся с небесной лазури необычайно низко, над самой могилой делал круги жаворонок и пел свою звонкую песню; да, мы пели не одни, нам как бы вторило творение Божие, хваля Бога, дивного в Своих избранниках.

Скоро на месте упокоения старца вырос надмогильный холмик. Водрузили большой белый крест с неугасимой лампадой и надписью: «Здесь покоится тело священноархимандрита Сергия — протоиерея Митрофана. Скончался 1948 г. 23 марта. Подвигом добрым подвизахся, течение жизни скончав»».

Еще при жизни батюшка говорил своим духовным детям: «Не плачьте обо мне, когда я умру. Вы придете на мою могилку и скажете, что нужно, и я, если буду иметь дерзновение у Господа, помогу вам».