При храме Илии пророка, настоятелем о. Константином, в начале XX в. было открыто Ильинское общество трезвости с библиотекой-читальней, приобретённой на средства Лужецкого архимандрита Вениамина. Постоянно велась работа среди крестьян, делая все, чтобы они исцелились от пагубной страсти.
При посещении Можайска в 1912 г. митрополитом Владимиром ему в Ильинской церкви сослужили архимандрит Вениамин и настоятель Ильинского храма священник К.Н. Некрасов. Казначей общества, личный почётный гражданин Аркадий Алексеевич Хлебников от лица всех трезвенников приветствовал владыку Владимира, который выслушал кантату "Призыв к трезвости", исполненную хором любителей:
Сгинет похмельное зло роковое
Станет и трезв, и радушен народ
Смело, товарищи, тесной семье:
К счастию трезвой дорогой вперед!
8 июля 1912 г. члены общества трезвости со священником о. Константином Некрасовым отправились в Колоцкий монастырь. Проходя Бородинское поле, они застали перезахоронение праха генерала Д.П.Неверовского. Паломники пропели "Вечную память" павшим. Игуменья Спасо-Бородинского монастыря Ангелина предложила им отдохнуть и откушать чаю. В Колоцком монастыре архимандрит Никифор разместил их в гостинице. В соборе при пении паломников о. К. Некрасов отслужил молебен Божией Матери.