7月24日，正当第62军这支进入第九战区作战的第七战区的粤军部队踌躇难前时，接到军委会蒋委员长电令：“衡阳危急，着第62军迅速挺进衡阳解围……”。
此前，由于初来乍到，情况不熟，加上多头指挥，令62军将领们左顾右盼，不得要领。这下好了，有了委座的手令，如同有了方向。黄涛军长立即命令：“全军向衡阳挺进，即以第151师为前导，以157师为后卫，军直属部队居中的战斗序列，经洪桥、白鹤铺沿湘桂铁路向衡阳之敌攻击前进。”
25日，第151师从洪桥出发，以451团沿铁路正面，以453团在铁路南侧，向白鹤铺之日军攻击。经一昼夜激战，虽然驱逐了日军警戒部队。但白鹤铺有日军1000人占领坚固的工事，用铁轨和枕木构筑了许多堡垒，在屋顶上架设机关枪，构成严密的火力网。第151师的攻击部队难以接近，进展困难，伤亡较大。
战至26日下午，黄军长亲临453团前线视察，认为如果要攻下白鹤铺则必须增加兵力，否则时间会拖得太长，实力损失也会加大；之后还要经过谭子山战斗，这样就不知何时到达衡阳。因此决定改变原正面攻击计划，采取迂回侧翼前进，为此，命令：
一、敌人围攻衡阳甚急，其一部占领湘桂铁路距衡阳约35公里之白鹤铺、距衡阳25公里之谭子山、距衡阳约15公里之三塘及衡阳近郊之东阳铺、雨母山等等地，企图阻止我军前进。
二、本军奉命挺进衡阳解围，第151师副师长侯梅率领第469团于26日晚由白地市出发，迂回白鹤铺右侧，向谭子山之敌发起攻击前进而占领之。
三、第157师李师长率领第470团、第471团随军部向古山寺前进。
四、第151师第452团于26日晚在第469团后由洪桥出发，迂回谭子山右侧向东阳铺、雨母山之敌攻击前进而占领之。
五、第151师第452团留守洪桥，与白鹤铺之敌保持接触。第453团入夜后脱离白鹤铺之敌由林师长率领随军部跟进。
7月26日晚，第157师第469团从湘桂铁路右侧迂回向谭子山前进。27日到达谭子山车站附近时，发现日军在谭子山车站以东活动，立即派出一个连占领谭子山制高点实施对敌警戒，并架设了有线电话联系。上午9时许，日军约数百人向谭子山制高点阵地进攻。国军469团团长黄忠汉上校当即以一个营增强谭子山阵地守备。时至中午，得到增援的日军又向谭子山高地发动猛烈进攻，经过两小时激烈战斗，国军谭子山阵地失守；守军退守谭子山西南高地。当日黄昏，黄团长亲率1、3两个营反攻数次，前赴后继，激战至深夜11时伤亡官兵300余人，但仍未能夺回阵地，只好撤退到谭子山西南高地坚守。
当晚，第62军军部到达谭子山东南约15公里处。黄涛军长与侯梅副师长用美式报话器同了话。黄涛嘱咐侯梅不要与敌纠缠，争夺谭子山高地，只要与日军保持接触就行。而侯梅则误听为谭子山不可丢失，因此，侯梅命令所部倾全力向谭子山之日军阵地发起强攻，结果损失巨大。黄军长接报后，当即命令第157师李宏达师长率兵两团前往增援。
入夜后，第151师师长林伟俦少将率第453团赶到军部。据报雨母山有数百日军占领阵地，雨母山至衡阳道路上还有大批日军盘踞。林师长深恐第452团兵力单薄，即指挥第452团和第453团星夜兼程，迂回超越谭子山前进。
衡阳近郊雨母山，标高约有400米，山势连绵起伏，山峰陡峭。其主峰上有雨母庙一座，供祭着为传说中施雨救民的雨母娘娘。山上无林木，白天难以接近。
于是，林师长命令以两个营分两路进行夜袭。经1小时激战，终于28日拂晓占领雨母山。上午，继续攻击前进，占领东阳铺。日军凭借猛烈的炮火掩护，反复争夺达三次。但均被国军击退。
“侯副师长，第157师已经占领雨母山和东阳铺，你部不要再在谭子山虚耗实力，浪费时间啦！除留469团监视谭子山当面之敌外，其余部队应立即赶到东阳铺集结待命！”黄涛军长强压火气命令道。第62军军部当即推进到距东阳铺约5公里的古山寺。
29日下午，驻衡阳南郊日军之第40师团由头塘向雨母山发动反攻，与国军发生激战。时林师长已经率所部到达雨母山右侧高地，眼见日军来势凶猛，即令第453团增援上去，将日军击退。
“命令452团第1营崔直行营长率所部固守雨母山已占阵地；薛叔达团长率第2、第3两营向溃退之敌尾追猛进。争取一鼓作气突进衡阳！”林伟俦师长果断地命令。
然而，由于求胜心切，追击时未派部队严密搜索，进至头塘时遭到日军伏击，接着又遭到湘桂铁路方面的日军侧面夹击，国军部队尚未展开，即陷入日军强大的机枪、迫击炮等火力网。第452团副团长钟敬敷阵亡，团政治指导员刘大光受伤，该团损失巨大，情势非常危急。林师长随即命令第543团从右翼对敌侧击，又以师部搜索连在雨母山右侧高地占领阵地，掩护第452团收容集结队伍。日军终于没能冲击过来，时至黄昏，战斗逐渐沉寂下来。
黄涛军长率军部到达雨母山阵地后，立即召集团以上军官会议，研究敌情，商讨下一步行动方案。决定：由第157师470团李上达团长派一个营第151师第452团雨母山阵地。由林师长指挥第452团、第453团及第157师第471团向衡阳火车西站攻击前进。当晚第151师第451团仍在湘桂路白鹤铺监视日军；第157师第469团仍在谭子山与日军保持接触。此时决定该两团除各留一个营监视日军外，其余部队迅速归建。
7月30日，向衡阳火车西站前进中，452团在左，沿东阳铺通往衡阳的湘桂公路前进至头塘附近与日军遭遇，发生激烈战斗，并遭到来自湘桂铁路方面之日军侧击，攻势顿挫，进展缓慢，与敌成胶着状态。453团和471团在右，不顾一切向衡阳城郊突击前进。击退衡阳南郊之敌后，继续尾追溃退的日军，向衡阳火车西站突击。但不久就遇到日军400来人的密集反冲锋，既而又有一股100多日军和一股数十人的密集侧攻，但均被国军击退。国军453团第1、第3营和471团第1营均杀入衡阳火车西站及其附近民宅中。
只见日军遗尸甚多，其中有不少为日军军官。国军在日军遗尸上搜获手枪、军刀、望远镜军用地图等战利品甚多，武器弹药则难以记数。从日军日记中发现该敌为日军第116师团一部。一问当地居民，原来此处为日军一个联队指挥部。日军进驻后就不让居民接近。其实不是日军地116师团，而是日军的第40师团之第234联队。
林师长当即派第453团第1营副营长万天宝少校率领几个精干士兵同衡阳守军第10军去取联系。在通过一大片稻田时，被对面的日军守卫部队阻击，受伤而归，未能如愿。
当日，黄涛军长随即将该军进展情况电告军委会。蒋委员长马上命令空军前往掩护，并传令嘉奖：“第62军迅速挺进衡阳近郊西站，着即传令嘉奖，盼即再接再厉，以解衡阳之围……”
此后，从7月31日至8月2日一连三天，第62军分别在雨母山、头塘、衡阳火车西站等处与日军打援部队第40师团发生剧烈战斗。战况呈白热化状态，交战双方多处展开白刃格斗，经过反复肉搏战争夺战。第470团1营营长林志文阵亡，第471团团长丁克坚牺牲，雨母山阵地失守，援军第62军损失巨大，遭优势日军围攻，自身难保。
此时，日军集中所有的攻城炮兵集中火力猛烈炮击火车西站方面的国军。中国空军亦临空助阵，但只是快快扔完炸弹即急速离开，未能协同步兵作战。而每当国军飞机来时则日军大炮停止射击，国军第62军即发起冲锋；当国军飞机一离开，则日军又发起疯狂反扑。战斗于是成拉锯状态。而援军亦未与城内的第10军联系上，达成配合作战态势，以至解围未成。