1966年文化大革命期间，荣高棠在被打击后，被认定为“三反分子”，被下放到江西农场，远离了体育界整整13年。1979年1月，他接到江西省委的通知，命令他返回北京向中组部报到。在中组部，荣高棠得知中央已经推翻了“四人帮”对他的种种指控，并恢复了他的党籍和工作。

在返回北京之前，荣高棠并不知道其实针对他的去向，王猛和江西省委之间发生了一场争论。王猛希望他重返国家体育委员会，而江西省委则希望他留在当地担任省委秘书长。考虑到荣高棠在江西的长时间经历，胡耀邦一度倾向于让他留在江西，但最终还是接受了王猛的意见。

春节临近，全国政协召开迎春茶话会，荣高棠受邀参加，他带着女儿乐妮走进人民大会堂。刚进门，他听到有人叫他“荣主任”，一时间感到陌生。乐妮提醒他后，荣高棠看见了曾经的跳高运动员郑凤荣和她的教练，情感激动。 z6

不久后，荣高棠重回国家体委副主任的位置，消息迅速传播开来。他的前同事徐寅生认为荣高棠经验丰富，应该当上第一副主任，并向中组部提出辞去自己的职务。中组部部长宋任穷对徐寅生的举动表示赞赏，荣高棠也感受到和老运动员之间的深厚感情。

随后，国家体委召开了一个重要的平反大会，彻底推翻“文革”时代对荣高棠的诬陷。经历了13年压抑的荣高棠终于重获自由与名誉，并积极投入到工作中，试图追赶流逝的岁月。

在王猛的领导下，国家体委逐渐恢复到正轨。1981年，王猛请求辞职，中央领导认为荣高棠非常适合接任主任一职。然而，荣高棠考虑到自己即将年满70岁，选择了退居二线，并推荐国家体委副主任李梦华接任。 z6

最终，李梦华被任命为国家体委主任，荣高棠则成为顾问，继续为中国体育事业贡献自己的力量。