Первой из жён декабристов открыла дорогу в Сибирь Екатерина Ивановна Трубецкая, следом – Мария Николаевна Волконская, третьей была Александрина Муравьёва, за ней в мае 1827 года – Елизавета Петровна Нарышкина в сопровождении Александры Васильевны Ентальцевой. Гостиниц или каких-либо заезжих заведений здесь не было, найти кров было затруднительно. Поэтому жёны бунтовщиков должны были сами обеспечить себе более-менее сносные условия для проживания.
«…Госпожа Муравьёва очень желала приютить меня у себя. Мы с нею разместились в одной и той же комнате, где с трудом можем разминуться. Но найти в Чите кров сразу – большая удача.» - писала Елизавета Петровна своей матери. Далее она сообщает «необходимостью этой поездки для её счастья и полного душевного покоя».
Вскоре в Чите появился ещё один деревянный особняк, явно отличающийся своими формами от местных построек того времени. Поселилась в нём Елизавета Петровна Нарышкина, в прошлом фрейлина при императрице Марии Фёдоровне, единственная дочь знатного генерала Коновницына, героя Отечественной войны 1812 года и жена одного из государственных преступников, блестящего офицера Михаила Михайловича Нарышкина.
Построенный в 1828 году дом с мезонином и балкончиком напоминает постройки в летних усадьбах русской аристократии XIX века. Именно он положил начало улице, застроенной домами жён декабристов, которую стали именовать «Дамской».
Проживая в Чите, Елизавета Петровна, избалованная, выросшая в роскоши, училась вести хозяйство, ходила два раза в неделю на свидания с мужем. Декабристы были лишены права переписки, и единственным каналом, по которому вести о заключенных доходили до их семей, это были жены, которые писали десятки писем родственникам заключенных в Россию.

Но недолго было суждено Елизавете Нарышкиной проживать в своём доме, потому как узникам объявили о переводе во вновь отстроенную для них тюрьму в Петровском Заводе. Засобирались в дорогу и жёны. В своих мемуарах декабрист Николай Лорер пишет, что Нарышкина «продала свой домик за две головы сахара».
В 1962 году шло активное строительство «хрущовок», дом Нарышкиной был перенесён на противоположную сторону улицы.
В 1964 году обветшалый и покосившийся дом восстановили.
В 1965 году в доме Нарышкиной открыли библиотеку. Музея декабристов тогда ещё не было, и здесь принимали туристов и гостей города, приезжающих в Читу, чтобы посетить декабристские места, многочисленные группы россиян и граждан США, Италии, Франции, Германии, Канады, КНР.
Эти стены помнят внуков Дмитрия Иринарховича Завалишина – Бориса и Юрия Еропкиных, правнучку декабриста Давыдова – Ксению Давыдову, которые, бывая в Чите, заходили сюда. Письма и открытки от них хранятся как реликвии. Здесь звучали голоса известных деятелей культуры: Эвелины Соловьёвой, Валентины Зуховицкой, Михаила Вишнякова, Валентины Трухиной, Георгия Граубина. Бывали здесь и Николай Ященко, Василий Балябин, Марк Сергеев.
На втором этаже, в мезонине, была оформлена мемориальная комната, посвящённая семье Нарышкиных.

Дом Нарышкиной Елизаветы Петровны принят на государственную охрану постановлением Совета Министров РСФСР от 30 августа 1960 г. № 1327 «О дальнейшем улучшении дела охраны памятников культуры в РСФСР»..
Приказом Министерства культуры Российской Федерации №1407 от 16 ноября 2012 г. «Дом Нарышкиной Елизаветы Петровны» утверждён как объект охраны культурного наследия федерального значения.

Объемно-пространственная и планировочная композиция здания «Дом Нарышкиной Елизаветы Петровны»: 1-2 этажный дом, прямоугольный в плане, с размерами 14,46x8,8 м., образец жилого дома XIX века с мезонином, нетрадиционного для застройки г. Читы, его расположение в исторической застройке, с отступом от исторической красной линии застройки улицы Селенгинская. Силуэт здания, сформированный мезонином под двускатной кровлей, расположенным по оси здания, и одноэтажными крыльями под вальмовой кровлей, с прирубом сеней на северном фасаде под балконом. Строительные конструкции: открытый бревенчатый сруб, рубленный «в обло», с бревенчатым мезонином с вертикальной дощатой обшивкой под двускатной кровлей, нависающей над балконами и поддерживаемой прямоугольными в сечении столбами. Композиция и архитектурно-художественное оформление фасадов: стены дома бревенчатые, отесанные, неоштукатуренные. Фронтоны треугольной формы; балконы с южной и северной стороны, выполненные на ширину мезонина, с ограждением из деревянных изящных балясин. Прямоугольные оконные проемы с деревянными 8-ми стекольными рамами, оформленные рамочными гладкими наличниками, с небольшими прямоугольными свесами стоек и щитовыми ставнями; широкий проем с двумя рамами на 1-м этаже по оси главного южного фасада, балконные проемы с остекленными двустворными дверями, фланкированные узкими 4-х стекольными рамами. Пространственно-планировочная структура и элементы архитектурного оформления интерьеров здания: в средней части здания предусмотрена деревянная лестница подъема на мезонин с ограждением из деревянных балясин.