Свою историю музей ведет от 9 мая 1975 года. Размещался он ранее по улице Горького, 29.
В начале 1990-х годов по инициативе ОАО «Яртекс» был закрыт музей хлопчатобумажного комбината. Часть фондов была передана в историко-краеведческий музей, часть долгое время оставалась в разных подсобных помещениях комбината, ну а часть оказалась потерянной.
Судьба Ярцевского музея в начале XXI века складывалась не просто. В 2001 г. одно из двух зданий музея было отдано в аренду МТС, а второе – на январской сессии районного совета 2003 г. было предложено продать и на вырученные деньги отремонтировать помещения в кинотеатре «Россия», где и должен разместиться музей. С июля 2003 по август 2004 Ярцевский музей представлял собой просто хранилище в разных помещениях кинотеатра — в фойе и в малом зале, там размещались выставочный и два экспозиционных зала: истории Великой Отечественной войны и краеведческий. Но с течением времени из-за плохого состояния здания кинотеатра музей был закрыт.
И вот недавно музей обрел свое новое помещение на улице Гагарина. 16 сентября состоялось его торжественное открытие, на котором присутствовали представители местной власти, благочинный Ярцевского округа протоирей Василий Мовчанюк, руководитель стройорганизации, которая занималась строительством здани, ветераны, школьники и рядовые граждане.
Всех гостей встретили хлебом-солью. От руководителя музея С. П. Хоменко прозвучали слова благодарности всем, кто принимал участие в строительстве, переезде, организации работы и обустройству музея.
Протоиерей Василий пожелал сотрудникам учреждения успехов в трудах, чтобы каждый приходящий в музей мог открыть для себя новое и утвердиться в тех знаниях, которые уже имеет. Так же священник передал в дар музею старинную книгу «Четьи-Минеи», книгу про почившего архимандрита Вадима (Малиновского) и Орден преподобного Сергия Радонежского, который был подписан архимандриту Вадиму Святейшим Патриархом Алексием II.
По информации Смоленской епархии