Las localidades situadas a orillas del río Teplá, donde se encuentra Karlovy Vary, son increíblemente pintorescas. Cuenta la leyenda que estas vistas escénicas atrajeron a Carlos IV, que se encontraba de caza en los alrededores. El rey quedó cautivado no sólo por los impresionantes paisajes, sino también por las fuentes termales y minerales, a las que atribuía propiedades curativas. Según esta leyenda, Karlovy Vary fue fundada por Carlos IV, de ahí su nombre. También se la conoce como Carlsbad, en honor a este legendario fundador.
La primera mención registrada de un asentamiento en el emplazamiento de la futura ciudad se remonta al siglo XIII. Karlovy Vary obtuvo oficialmente el estatus de ciudad en 1358. A lo largo de su historia, la ciudad ha sufrido una inundación y dos incendios, el más reciente de los cuales tuvo lugar en 1759 y provocó la destrucción de 224 casas, incluida la recién reconstruida iglesia de Santa Magdalena, que en su día fue una joya de la arquitectura de Carlsbad.