Hallitustorin nimellä vanhoihin karttoihin merkitty aukio on istutettu puistoksi eteläsivulle rakennetun lääninhallituksen valmistuttua 1880-luvun puolivälissä. Nimensä puisto on saanut länsireunalla sijaitsevasta Kuopion ensimmäisen hiippakunnan aikaisesta piispantalosta. Puistossa on sijainnut Kuopion toinen ja kolmas kirkko sekä hautausmaa, joiden muistoksi kirkkojen entiselle paikalle on pystytetty Kuopion seurakuntien toimesta graniittinen muistokivi vuonna 1952.
Kuopion toinen kirkko valmistui Piispanpuistoon vuonna 1639 ja paloi maan tasalle salaman sytyttämänä 1718. Kolmas kirkko rakennettiin samalle paikkaa 1730. Kolmannen kirkon rakennusmateriaalina käytettiin kiveä. Viimeinen jumalanpalvelus Kuopion kolmannessa kirkossa pidettiin tuomiosunnuntaina 1815, jonka jälkeen se purettiin kesällä 1817. Todennäköisesti myös Kuopion ensimmäinen kirkko on sijainnut Piispanpuistossa.
Kirkkojen muistokiven lisäksi Piispanpuistossa sijaitsee Suomen kenraalikuvernööri Pietari Brahen (1602–1680) muistomerkki. Pietari Brahe antoi Kuopiolle ensimmäisen kerran kaupunginoikeudet vuonna 1653, mutta Kuopio kuihtui pian ja muuttui 1670-luvulla takaisin kirkonkyläksi.
Piispanpuisto on tyypillinen vuosisadan vaihteen puuvaltainen arvopuisto. Puiston valtapuuna ovat vanhat metsälehmukset, joiden rinnalla kasvavat iäkkäät pihlajat sekä puiston reunalle saneerauksen yhteydessä 1990-luvun puolivälissä istutetut koivut.
(Lähde: HELENA RIEKKI 2005. Kuopion kaupungin rakennushistoria. Kalevaprint Oy: Oulu. KUOPION TAIDEMUSEO 19.3.2013. Julkiset taideteokset ja muistomerkit ulkotiloissa. Kuopio.)