1924年夏，员吝积堂回黄陂开展革命活动。在吝积堂同志帮助下开始接受马克思主义教育。经吝积堂、李树珍同志介绍，在武昌加入中国。后党派他到直系军阀刘佐龙部学习军事，担任副班长、中士班长。国共合作后，国民革命军准备北伐，经党组织同意，离武昌，南下广东。
1926年05月，在广东韶关附近参加国民革命军，任国民革命军第四军十二师三十四团三营九连代理排长。在著名的汀泗桥战役中，率领一个排，歼灭军阀吴佩孚四个炮兵连，受到全师通令嘉奖，被正式晋升为少尉排长。后又参加进攻武昌等地的战役。
1927年，“四·一二”反革命政变后，在党组织帮助下离开武汉，返回黄陂家乡，开展革命活动。被中共黄陂县委任命为河区农民自卫队大队长，领导农民自卫队打击地主反动武装。
“七·一五”反革命政变后，在敌强我弱的形势下，河区区委决定农民自卫队分散活动。返回徐家窑，以窑工为掩护，继续开展革命活动。党的“八七”会议后，在窑工中秘密发展党员，先后在徐家店、上屋湾和邓俞咀建立党支部。在党的“八七”会议精神鼓舞下，与田道生、丁彩光、田耕三一起，组织领导攻打夏店雨坛寺“缉私营”的武装暴动。夺得武器后，重新整编农民自卫队，转移到陂孝交界之苎麻岭山区打游击。
1927年11月，奉黄陂县委命令，率领农民自卫队参加支援黄麻起义。起义失败后，黄陂重建党的工委，担任工委领导下的游击大队分队长。任黄陂县委常委、军事部长兼夏区区委书记。领导夏区“年关暴动”。失败后，转移到黄陂塔耳岗一带，组织游击队，开展武装斗争。
1929年底，鄂豫边区党委将游击队组成五个教导队，任第五教导队党代表兼队长。1930年04月，任黄陂县赤卫队大队长。1930年05月，任鄂东暴动委员会西南总指挥。1930年10月，任黄陂县补充六师（实际上是赤卫队）师长。1931年02月，第五教导队编入中共鄂豫皖军委警卫团，任警卫二团团长。
1931年03月，警卫二团改编为红四军十三师三十八团，任团长，后任红十二师三十六团团长。1932年05月，任红四方面军独立四师师长。1932年07月，任红九军二十七师师长。
1932年09月，任鄂皖工作委员会委员。
1932年10月，红四方面军撤离鄂豫皖苏区后，带领红二十七师来到金家铺与皖西道委书记郭述申同志领导的英山独立团、六安、霍邱、霍山独立营会合，组成东路游击师，任副司令兼师长。后改编为红二十七军，任七十九师师长。
1932年11月，鄂豫皖省委决定重建红二十五军，任七十四师师长。
1933年02月，任红二十五军副军长兼七十四师师长。
1933年05月，对省委关于围攻七里坪的错误决定，提出反对意见，未被采纳，围攻七里坪失利，部队损失过半。
1933年06月，七里坪撤围后，红二十五军向皖西转移，在皖西坚持斗争。
1933年10月，红二十五军由皖西向鄂东转移，途中被敌人切断，率七十四师一部折回皖西。皖西北道委决定组建红二十八军，任军长，在皖西坚持斗争。红二十五军到达鄂东后，省委召开扩大会议，增补为鄂豫皖省委委员。
1934年04月，与吴焕先率领的红二十五军在河南省商城县豹子岩会师，合编为红二十五军，任军长，吴焕先任政委。
1934年05月以后，与吴焕先率领红二十五军打了许多胜仗，粉碎了敌人对鄂豫皖革命根据地七月至十月的三个月“围剿”计划。
1934年11月，根据中央指示，为准备长征，与吴焕先等同志率领红二十五军突破敌人四道封锁线，从皖西转移到鄂东北。
1934年11月11日，省委遵照党中央指示，决定红二十五军以中国工农红军北上抗日第二先遣队名义开始长征。改任副军长。
1935年初，在鄂豫陕省委（由鄂豫皖省委改组为鄂豫陕省委）领导下，红二十五军开展了创建鄂豫陕根据地的斗争。和吴焕先、程子华等同志率领部队开展游击战争，粉碎了敌人的反革命“围剿”，广泛发动了群众，建立了革命政权，使红二十五军发展到三千七百余人。