Farvergade er en del af området Stræderne, som generelt er præget af bebyggelser opført efter Københavns store brande i 1728, 1795 og 1807, hvor store dele af de københavnske huse gik op i flammer. Brandene var et ildevarslende tegn på, at bygherrer og arkitekter måtte tænke anderledes, når husene skulle genopbygges for at undgå lignende hændelser fremover.
Men faktisk strækker historien sig endnu længere tilbage. Allerede i 1560 fik Kong Frederik den 2. opført kongelige klædeproduktion under navnet ’Kongens Vantfarveri’, på det sted, hvor Vartov Hospital kom til at ligge fra 1666. Det var praktisk, at den kongelige farvegård skulle ligge her i netop dette område, eftersom der skulle bruges en del vand til produktionen, som kunne hentes fra datidens vandmølle ved Vandkunsten. Som kvikke læsere måske allerede har gættet, er det efter Kongens Vantfarveri, Farvergade har fået sit navn.
Udover at Farvergade sammen med nabogaderne har været centrum for byens bordeldrift, lå der i 1800-tallet også både alderdomshjem og et af byens mest berygtede værtshus. Alderdomshjemmet, som også var en slags fattiggård, lå i den historiske bygning Vartov, og så nært som i nabohuset lå logihuset "Holger Danske". Holger Danske tilbød logi til overnattende gæster, men det var skænkestuen, som huset var kendt for. Og selvom Farvergade er kort, har der ikke været langt til næste omgang.
