Изначально флигель (как и Дом Толстого) представлял собой часть архитектурного ансамбля, заложенного еще при князе Волконском и состоявшего из большого дома, в котором Толстой родился (этот дом не сохранился), и двух флигелей. В 1859 году в левом флигеле Толстым была открыта школа для крестьянских детей, просуществовавшая до 1862 года. В светлых комнатах второго этажа были устроены классы, на первом стояли гимнастические снаряды. Был в школе и небольшой музей естественной истории.

Позднее здесь останавливались гости. Чаще других здесь жила свояченица писателя, младшая сестра его жены Татьяна Андреевна Кузминская со своей семьей. По ее имени флигель и получил свое название. Рядом с ним находятся хозяйственные постройки — ледник и дровяной сарай.

В музейное время во Флигеле Кузминских был открыт Литературный музей. С 1990-х годов это здание используется для временных выставок, рассказывающих о деталях личной и творческой жизни писателя и истории его семьи.

В настоящее время во Флигеле размещается выставка «Что такое искусство?», которую можно посетить самостоятельно.