清乾隆年间，乔全美和他的两个兄长分家后，买下了十字口东北角的几处宅地，起建楼房。主楼为硬山顶砖瓦房，砖木结构，有窗棂而无门户，在室内筑楼梯上楼。特点是墙壁厚，窗户小，坚实牢固，为里五外三院。
乔致庸当家后，为光大门庭，继续大兴土木。他在老院西侧隔小巷置买了一大片宅基地，又盖了一座楼房院，也是里五外三，形成两楼对峙，主楼为悬山顶露明柱结构。
光绪中晚期，地方治安不稳，乔家的景仪、景俨为了保护自身的安危，花费了不少周折和银两，买下了当时街巷的占用权。
乔家取得占用权后，把巷口堵了，小巷建成西北院和西南院的侧院；东面堵了街口，修建了大门；西面建了祠堂；北面两楼院外又扩建成两个外跨院，新建两个芜廊大门。跨院间有栅栏通过，并以拱形大门顶为过桥，把南北院互相连接起来，形成城堡式的建筑群。
民国初年，乔家人口增多，住房显得不足，因而又购买地皮，向西扩张延伸。民国十年后，乔映霞、乔映奎又在紧靠西南院建起新院，格局和东南院相似。
“七七事变”爆发，日军侵华，工程停止。日军侵占时期，全家外逃，剩下空院一处，只留部分家人看护。
1985年，祁县人民政府利用这所古老的宅院成立了祁县民俗博物馆。