Pero a los ojos de algunos expertos, su gran colección es perjudicial para la preservación del antiguo estilo arquitectónico Hui, porque muchas de esas casas que él desmonta son de valor histórico, arquitectónico y artístico. Para rebatir esa crítica, antes de demoler una vieja casa, Wang tomó fotos de la localización original, para documentar la historia de la construcción.
La idea del comerciante surgió por un viaje a una montaña en la provincia de Zhejiang, donde él fue a buscar algunas especies de árboles. Cuando conversó con los habitantes del lugar, conoció que una casa medio derrumbada en la cima de la montaña había atraído la atención de un hombre de negocios de Taiwán. Le explicaron que esa persona estaba dispuesta a comprarla y quitó todos los materiales para reconstruirlos en Taiwán.
Esa historia despertó la curiosidad de Wang, que subió hasta lo alto de la montaña, donde había encontrado una vieja casa de estilo Hui, de 450 metros cuadrados. Comprendió que aquella vivienda había pertenecido a una familia adinerada e influyente, por los ornamentos esculpidos en la madera y el fino diseño. Los historiadores confirmaron después que 300 años antes un rico terrateniente construyó allí 11 casas para sus 11 hijos. Esa casa fue la única que quedó y desde que fue abandonada, hace muchos años, algunas partes se derrumbaron debido a la falta de mantenimiento.
A su retorno a Shanghai, Wang Wei consultó a varios arquitectos. Llevó a algunos de ellos a visitar el lugar y quedaron todos impresionados, porque no se esperaban que en tan remota montaña existiera una arquitectura tan maravillosa, y estuvieron de acuerdo en rediseñar la vieja casa sin cobrar. Wang contrató entonces a un grupo de experimentados trabajadores y dedicó un mes a marcar y tomar medidas de todas las partes de la casa antes de desmontarla y trasladar las piezas a Shanghai. En total fueron 600 piezas grandes y 2.000 pequeñas, cada una de las cuales era un tesoro artístico.

Desde ese momento, Wang se encaprichó con las viejas casas. Comenzó a visitar los antiguos hogares de Anhui, Zhejiang y Jiangxi y quedó afligido al ver que muchas casas antiguas estaban siendo usadas como pocilgas y fábricas de gusanos de seda. Una vez vio una vieja casa en una montaña de un área remota y quiso pagar de 10.000 a 20.000 yuanes (unos 1.294 dólares) para restaurarla. Sin embargo, su oferta fue rechazada por los habitantes, porque ellos no podrían vivir luego en la casa reconstruida. Ellos preferían demoler la casa y vendérsela a él, y así poder construir una casa nueva.
El asistente de Wang, llamado Liu, que es el director responsable del jardín ecológico de Shanghai y también ha estado involucrado en la colección de casas viejas, dijo que la gente de Anhui’s Xidi, Hongcun y Tunxi tiene una conciencia fuerte sobre la protección de las reliquias culturales y también son más orientados en los negocios.