Karl Gruber wurde 1899 in Wien (nach anderen Angaben in Zwickau, Sachsen) geboren, er war von Beruf Schlosser. Er war Mitglied der SDAP 1919/20, der KPÖ 1930-1932 und 1934-1937. Im Februar 1934 war er an den Kämpfen in Wien beteiligt; am 19. Juli flüchtete er nach Brünn (Brno) und gelangte Ende September 1934 als Politemigrant in die Sowjetunion. Dort arbeitete er als Schlosser in der landwirtschaftlichen Maschinenfabrik Rostsel'mash in Rostov-na-Donu. Am 6. Oktober 1937 wurde er verhaftet. Gruber verbrachte mehr als zwei Jahre in Untersuchungshaft, bis am 20. Dezember 1939 seine Ausweisung beschlossen wurde. Am 24. Dezember 1939 wurde Gruber bei Biala (Bielsko-Biała) den deutschen Behörden übergeben. Er traf im Februar 1940 in Wien ein und arbeitete später in den Saurer-Fahrzeugwerken in Wien-Simmering. Gruber war in Rostov ein Arbeitskollege von Josef Hoffmann, Wilhelm Kehl, Franz Sulzbacher,  Josef Dallinger und Eduard Hrdlicka; sie alle wurden am gleichen Tag verhaftet.