1937年春,重新组建中共宁津县委,任组织委员。同年9月17日,率领南北庄、李家镇10多人,在西李家镇大庙上安营插旗,组织了共产党领导的宁津县抗日武装,后与冀鲁边区各抗日武装会师,编入抗日救国军第二大队。1938年,重建了200多人的抗日武装,编为国民革命军别动总队第三十一游击支队二十二路,任总指挥兼三十一支队驻南行营司令部参谋长。同年10月,调回宁津,再次组建武装,任县大队队长,队伍很快发展到一千人。年底,改编为八路军东进抗日挺进队五支队六团,他任团长,转战冀鲁边区,战功卓著。1939年秋,六团调往鲁西南抗日前线,编为东、汶、宁支队,任支队长。同年11月,又编为一一五师特务团,任副团长。同年底,在梁山县曹家营与1000余日伪军激战。在敌我力量悬殊的情况下,巧布疑兵,诱敌误入伏击圈,大败敌军,打死打伤日伪军500多人,获得特大胜利。