黎玉原名李兴唐。山西崞县人。1925年5月参加五卅运动。1926年9月在崞县中学加入中国共产党。曾任崞县中学学生会主席,中共崞县特支干事、书记。同年加入国民党,任崞县国民党部常务委员、主任委员。曾领导震惊中外的开滦五矿总同盟3万余人反帝大罢工。后任中共河北省委直中、直南巡视员,直南特委书记,冀鲁豫边特委书记。1936年被中共中央北方局派往山东,恢复和重建屡遭敌人严重破坏的中共山东省委,任省委书记,抗日战争爆发后,领导省委组织发动山东各地的抗日武装起义,并亲自领导了徂徕山起义,兼任起义部队政委。