De eerste vermelding van Gouden Pand 5 dateert uit 1487 waarbij dit pand samen met het naburige Gouden Pand 7 als “Goede Mertens bij de Kaack” aangeduid werd, met de toevoeging ‘ontse montcken’. Die toevoeging onderstreept dat de beide panden eigendom waren van het Augustijner klooster, het gebouw had bovendien de status van een Edele Heerd. Op basis van zestiende-eeuwse restanten in Gouden Pand 7 kan verondersteld worden dat de beide panden bestonden uit één bouwlaag met daarop een dwarsgeplaatse kap. Hoewel vanwege het ontbreken van oude bouwfragmenten weinig met zekerheid kan worden gezegd over de situatie uit de vijftiende en zestiende eeuw. In 1561 verwierf de Stad Groningen de eigendommen van het Augustijner klooster en daarbij ook Gouden Pand 5-7. Vervolgens werden de beide woningen in 1630 verkocht aan Sweer Hindrix waarbij de stad de rechten die waren verbonden aan de status van Edele Heerd behield. Op een onbekend moment vanaf de zestiende tot en met de negentiende eeuw is het eenlaags pand met een verdieping verhoogd.
In 1865 vond er op initiatief van eigenaar Robertus Niehe een verbouwing plaats waarbij onder meer de verdiepingsbalklaag werd vernieuwd en het pand een nieuw (bescheiden) neoclassicistisch gevelaanzicht kreeg. Deze is nog goed herkenbaar in de huidige voorgevel, ter hoogte van de verdieping. Tevens wist hij het steegje achter zijn pand te verwerven waarmee zijn pand rechtstreeks bereikbaar was vanuit de Cornelis Albertsstraat
Bakker Menne Derk Kamp kocht het pand in 1953 en liet het gebouw in het jaar daarop grondig verbouwen. De bakkerswinkel kreeg een plek in het voorste deel van het gebouw en de gevel werd voorzien van een moderne winkelpui. Achterin kwam het kantoortje en het bakkerswerk vond plaats in de kelder. Het steegje werd overbouwd, hier kregen de ovens een plek.
In 1969 onderging het pand andermaal een grondige verbouwing. Het pand was inmiddels een rijksmonument en aan het gevelaanzicht werd bijna niets gewijzigd. De oorspronkelijke sporenkap werd wel gesloopt en vervangen door de huidige gordingenkap. Ook de zolderbalklaag werd geheel vernieuwd. Ook op de eerste verdieping werd de indeling geheel gewijzigd. Tot slot werd er ook een stalen bordes met trap aan de achterzijde toegevoegd.