这块石头让薛瓦勒着了迷，也让他产生了一个念头：要是用这样美丽的石头建造一座城堡该多迷人啊！于是，他每天一边送信一边寻找着自己中意的石头，没过多久，他就收集了一大堆。但是，想要建造城堡，这些还远远不够。薛瓦勒找了一辆独轮车，每天推着它送信，找到好看的石头便往车里扔。从此，薛瓦勒过上了忙碌而充实的生活：白天，他是一个辛勤的邮递员和搬运石头的苦力；晚上则变身为天马行空的城堡设计师兼建筑工人。许多人都很不理解他的行为，以为他疯了。但薛瓦勒不以为然，依然一步一步努力地实现着自己的梦想。
二十多年过去了，他家周围出现了很多错落有致的低矮城堡。许多人慕名前去参观，连当时有名的艺术大师毕加索也专程前去参观薛瓦勒的建筑。
现在，那里已经成为法国著名的旅游胜地，它的名字就叫做“邮差薛瓦勒的理想宫”。在理想宫入口处的一块石头上，刻着薛瓦勒的一句话：我想知道，一块有了愿望的石头能走多远。据说，它就是当年那块差点绊了薛瓦勒一跤的“有功之石”。
1969年，理想宫被评定为世界文化遗产。