这两座塔始建于唐代，是杉湖公园里的主要建筑。当年鉴真和尚第五次东渡日本时，遭到暴风雨袭击，船被刮到了海南岛。鉴真一行人多方辗转，来到桂林，住在桂林的开元寺，住了大约一年时间。他筹集善款，在寺北百余步的地方，建了两座木塔，日塔和月塔。 后来，两座木塔毁于战火，只留下一些塔基的残骸。直到近代，人们在修缮两江四湖水系时，发现了日月双塔的地宫，就在原址上，建起了如今的日、月双塔。