A comienzos del reinado Xianfeng, el palacete se convirtió en domicilio de Gongqinwang, príncipeYixin, que la denominó Gongwangfu. Luego de su muerte, su nieto Fu Wei heredó su título de nobleza y en 1921 la empeñó junto con el jardín a la Iglesia Católica. En marzo de 1937, la Universidad Furen la compró, para emplearla como edificio escolar. Después de la liberación del país, fue ocupada por un tiempo por la Universidad Pedagógica de Beijing, el Conservatorio de China y el Instituto de Arte del Ministerio de Cultura.

La mansión se sitúa en Shichahai, tiene un paisaje ameno y está completamente rodeada de agua, considerándose un “lugar precioso de geomancia”. Formada por la parte residencial y un jardín, tiene un área de más de 60.000 m² (330 m de sur a norte y 180 m de este a oeste), cuya estructura se divide en tres espacios, oriental, central y occidental y cinco patios en dirección sur-norte. Se trata del mayor Siheyuan (patio cuadrangular) del mundo.