Das Römisch-Germanische-Museum wurde 1974 fertig gestellt und steht in der Nähe des Kölner Doms auf den Mauern einer römischen Stadtvilla aus dem 3. Jahrhundert, an der Stelle des mittelalterlichen Palastes der Erzbischöfe von Köln. Diese Villa wurde 1941 beim Bau eines Luftschutzbunkers entdeckt.
In ihrem Hauptraum lag das römische Dionysos-Mosaik. Das Mosaik wurde also nicht in das Museum transportiert, sondern das von den Architekten Klaus Renner und Heinz Röcke entworfene Museumsgebäude wurde über das Mosaik gebaut und seine Innenhöfe folgen den Grundformen der römischen Villa an der erhaltenen Hafenstrasse.