1978年10月,段君毅同志任中共河南省委第一书记、省革委会主任、省军区第一政治委员。他坚持把拨乱反正、平反冤假错案作为一项重点工作,解决了河南省一批历史遗留问题。党的十一届三中全会以后,党的工作重心转移到以经济建设为中心的轨道上来。他针对河南省的实际,深入基层调查研究,积极在农村推行家庭联产承包责任制,并将农村的承包经验运用到工业企业,积极在企业进行扩大自主权试点工作,调动了企业职工和农民的积极性。他重视干部队伍建设,注意培养选拔年轻干部和有组织能力的知识分子,认真解决“文化大革命”中突击提拔干部、突击发展党员的问题,为加强河南省干部队伍的思想建设和组织建设做了大量工作。
1981年1月至1984年5月,段君毅同志任中共北京市委第一书记、北京卫戍区第一政治委员。他认真贯彻党中央关于首都建设的指示精神,围绕政治思想建设、环境美化建设、科学文化建设、适合首都特点的经济建设,狠抓落实。主持制定了《北京城市建设总体规划方案》,得到党中央、国务院的批准,加快了首都市政建设速度和经济结构调整的步伐,工农业总产值以及城镇居民和农民收入都有了较大幅度的增长。在全市广泛开展“为人民服务,对人民负责”的大讨论和“五讲四美三热爱”教育活动,强化首都服务观念,大力规范职业道德和社会公德,推动首都精神文明建设。坚持把首都的社会治安综合治理作为大事来抓,依法从重、从快、从严打击严重刑事犯罪分子,教育、感化、挽救失足青少年,大张旗鼓地发动群众同犯罪分子进行斗争,为首都社会主义现代化建设的顺利进行提供了坚强保证。
1982年9月,段君毅同志任中共中央顾问委员会常务委员,1992年10月从领导岗位退下来。他继续关心国家改革开放和社会主义现代化建设事业,参加了《中共中央关于制定国民经济和社会发展十年规划和“八五”计划的建议》、《中共中央关于制定国民经济和社会发展“九五”计划和二0一0年远景目标的建议》征求意见稿的讨论,深入基层调查研究,就解决“三角债”、加强技术改造、严禁乱摊派乱集资、减轻农民负担、积极推行企业跨省市联合等问题,向中央和有关部门提出建议。病重期间,他仍念念不忘党和国家大事,体现了一个老共产党员生命不息、奋斗不止的精神。
段君毅同志是中共第十、十一届中央委员,在党的第十二、十三次全国代表大会上当选为中央顾问委员会常务委员;第一、五、六届全国人民代表大会代表;中国人民政治协商会议第四届全国委员会委员。