1937年春，重新组建中共宁津县委，任组织委员。同年9月17日，率领南北庄、李家镇10多人，在西李家镇大庙上安营插旗，组织了共产党领导的宁津县抗日武装，后与冀鲁边区各抗日武装会师，编入抗日救国军第二大队。1938年，重建了200多人的抗日武装，编为国民革命军别动总队第三十一游击支队二十二路，任总指挥兼三十一支队驻南行营司令部参谋长。同年10月，调回宁津，再次组建武装，任县大队队长，队伍很快发展到一千人。年底，改编为八路军东进抗日挺进队五支队六团，他任团长，转战冀鲁边区，战功卓著。1939年秋，六团调往鲁西南抗日前线，编为东、汶、宁支队，任支队长。同年11月，又编为一一五师特务团，任副团长。同年底，在梁山县曹家营与1000余日伪军激战。在敌我力量悬殊的情况下，巧布疑兵，诱敌误入伏击圈，大败敌军，打死打伤日伪军500多人，获得特大胜利。