1964年9月，根据中共中央建设大三线的精神，铁道部决定将我校迁至四川峨眉。1971年，体育部跟随学校举家搬迁，从唐山到峨眉。1972年，学校更名为西南交通大学。在峨眉校区，体育课没有教学场地，体育老师便领着学生们跑马路、蹦楼梯、爬峨眉山，投掷项目就随意找几块学校后面的建筑空地开始投掷铅球和自制手榴弹，现在想来其实很危险。最最让人揪心的课还数游泳课，游泳课的上课地点是现在谁也不敢想象的阶梯型的“水库”，现在想起来都后怕，老师们带着20几个学生一边做着示范一边提心吊胆地注视着学生们的下水情况，真是又险又惊。

　　随着学校体育场地的修建，渐渐有了排球、篮球、田径场，甚至还增加了具备看台的中山梁运动场、第一台乒乓球台，这在当时已经是非常奢侈了。当年的学生大多是工农兵学员，年龄参差不齐，身体素质都很不错，为了代表队能给学校争取更多的荣誉，在恶劣的训练环境下，老师们兢兢业业、不求回报，学生们艰苦努力、毫无怨言，他们不断地训练比赛，学生们累了、渴了，老师们从自己家里拿来当时非常珍贵的红星奶粉充一开水壶牛奶给孩子们训练时喝，学生们饿了、瘦了就领回自己家亲自下厨给孩子们改善生活。在当时的艰苦岁月里，老师、学生们没有任何怨言、没有半句喊苦，有的就是认认真真的工作态度和真真实实的师生情谊。