El templo en su conjunto constituye una construcción grandiosa y de gran complejidad. Está concebido como una réplica exacta del universo tal y como está descrita en los textos sagrados o sutras. El Monte Meru, considerado por los budistas como el centro del universo, está representado por el majestuoso salón Wuzi. Los templos del Sol y de la Luna se sitúan al norte y al sur, tal y como lo hacen el Sol y la Luna en el universo. Cuatro grandes salones y otros ocho de menor tamaño se encuentran distribuidos alrededor del salón central, simbolizando los cuatro grandes continentes y los ocho continentes pequeños. En las cuatro esquinas se encuentran la Pagoda Roja, la Pagoda Blanca, la Pagoda Negra y la Pagoda Verde, custodiando el Dharma como lo harían los Reyes Celestiales. Una muralla circular rodea el templo, como si se tratase de la periferia del mundo. La distribución del monasterio de Samye se asemeja a la del Mandala en el budismo esotérico.