四一二蔣介石叛變革命，激起廖乾五的極大憤慨。1927年4月15日，廖乾五、張發奎等主持召開國民黨第四軍各級黨部執監委員會議，一致決議“本軍全體同志，誓為前鋒”，討伐叛黨軍人蔣介石。4月18日，國共兩黨聯席會議決定繼續北伐。廖乾五同第四軍一起參加了第二次北伐。6月20日前后，廖乾五在漢口向中共中央軍事部部長周恩來匯報工作后，繼續抓緊四軍政治訓練工作。
7月中旬，周恩來在武昌召集黨的活動分子會議，部署從事軍事工作的中共黨員集中南昌、九江一帶，做聯張（發奎）反粵的準備工作。周恩來考慮到廖乾五年紀較大，身體不好，準備留下另行安排工作，廖乾五一再表示“堅決要去”。于是周恩來批準了廖乾五前去南昌、九江的請求。
1927年7月23日下午，廖乾五和惲代英到達九江。7月24日，中共中央正式決定在南昌舉行起義，并決定組成以周恩來為書記的前敵委員會，組織領導這次起義。同日，在有葉劍英、葉挺、賀龍、廖乾五、高語罕五人參加的甘棠湖的一條小船上，葉劍英將他在廬山上聽到的汪精衛、張發奎密謀要調賀軍長、葉師長上山的消息告訴大家。經過短時間的磋商，認定這是汪、張扣押賀、葉，罷其兵權的陰謀，做出了賀、葉不上廬山，不接受張發奎調賀、葉部到德安集中的命令，以及賀、葉部隊立即開往南昌的三項決定。甘棠湖上的這次秘密會議，史稱“小劃子會議”。它挫敗了汪精衛的陰謀，為發動南昌起義發揮了重要的作用。
7月31日凌晨，廖乾五趕往設在百花洲心遠中學的第十一軍二十四師指揮部，協助師長葉挺指揮部隊行動。8月1日凌晨2時許，起義時刻來到了，中國共產黨領導的軍隊向國民黨反動派打響了武裝反抗的第一槍。起義成功后，中共前敵委員會宣布成立一個革命委員會，廖乾五被任命為革命委員會宣傳委員會委員及二十軍（軍長賀龍）黨代表。8月3日至5日，起義軍先后離開南昌，準備南下廣東東江地區建立根據地。
9月初，起義軍到瑞金。廖乾五和周逸群在瑞金錦江邊一所小學里介紹二十軍軍長賀龍加入了中國共產黨。周恩來出席了賀龍的入黨儀式并講了話。賀龍入黨后編入有周恩來、張國燾、廖乾五、劉伯承、周逸群等為成員的中央特別小組。中共前敵委員會在瑞金召開的二十軍連以上干部會議上，周恩來宣布前委決定，任命廖乾五兼任二十軍政治部主任。
9月2日，賀龍和廖乾五率二十軍為前鋒，由瑞金向汀州進軍。9月18日，起義軍進抵廣東大埔，敵軍1.5萬余眾對起義軍進行阻擊。賀龍、廖乾五等率部與敵展開激戰，5000 多名起義軍傷亡過半。在形勢惡劣的情況下，10月3日下午2 時左右，周恩來召集前委、革委、各軍及地方負責干部聯席會議。會上傳達了中共中央決定，宣布今后要打紅旗，分田地，繼續戰斗。根據中央指示精神，會議決定起義部隊立即撤向海陸豐，非武裝人員分赴香港或上海，還宣布賀龍、劉伯承、林伯渠、廖乾五等立即離開部隊，由香港繞道上海，回中央另行分配工作的決定。
