Gaoyou es un poblado de letrados, donde nacieron muchas renombradas personalidades. Se dice que la Villa Montañosa de Wenyou era el lugar donde estudiaba Qin Guan, renombrado poeta de Ci de la dinastía Song del Norte (960-1127).

Según se cuenta, Su Shi, gran literato de la dinastía Song (960-1279), al pasar por Gaoyou, se reunía con los hombres de letras Sun Jue, Wang Gong y Qin Guan para discutir la literatura mientras bebían licor, de ahí el nombre de la villa. Hombres posteriores grabaron sus poemas en la pared de la roca. El pabellón de Wenyou se construye en la cima de la montaña, en cuyas paredes se encuentran incrustadas lápidas de inscripción de obras caligrafías de Su Dongpo, Huang Tingjian, Mi Fu, Qin Shaoyou, Zhao Zi’ang, Dong Qichang, etc., recogidas por Shi Zhaolong, director del distrito Gaoyou en el reinado de Jiaqing de la dinastía Qing (1616-1911), y las grabaciones que fueron obra del famoso epigrafista Qian Yong tienen gran valor artístico.