По воспоминаниям Ивана Николаевича Ионова, который в 1930 – 1940-х годах жил в деревне Русино, прилегающей к Большому Ельно, и его супруги, Валентины Степановны Ионовой (Козловой). Она в 1940 – 1950-е годы была учительницей и директором Ельненской школы.

В 1939 году на сходе сельских жителей было принято решение закрыть ещё тогда действующую Ельненскую церковь. Тогда же с церкви сняли колокольню и переоборудовали здание под клуб. Валентина Степановна Козлова в молодости была участницей клубной самодеятельности и выступала на сцене, установленной внутри бывшей церкви. Церковные книги с записями актов гражданского состояния в 1939 году были переданы в Холмский районный отдел ЗАГС.

В 1941 году немцы сожгли Ельно и окрестные деревни. После изгнания оккупантов зимой 1941 – 1942 годов жители начали восстанавливать свои дома. Тогда же начали ломать церковные стены, извлекая кирпичи для строительства печей. А после войны церковь была окончательно снесена. Кирпичи вывезены на восстановление послевоенного Холма.