抗日战争初期,中国共产党与国民党实现了第二次合作,建立了抗日民族统一战线,共产党的合法地位得以确立。在此背景下,中国共产党的地方组织得以迅速发展,其组织结构得到了完善,活动领域得到了拓宽。因此,中共中央在各地开始增设派出机构,作为代表中央指导各地区党的工作的最高领导机关。1938年12月,中共中央决定将中共苏鲁豫皖边区省委改为中共中央山东分局,郭洪涛、张经武、黎玉为委员,郭洪涛任书记。
1939年8月,为了统一山东党政军群各系统的领导,山东军政委员会成立,朱瑞、罗荣桓先后任书记。10月,郭洪涛去延安后,朱瑞接任中共中央山东分局书记。从1938年12月开始,在有关特委及其他党组织的基础上,陆续设立党的区委员会(区党委)。党的区委员会之下,依次设地委、县(工)委、分区委。党的各级领导机构的调整和健全,使党对根据地的领导有了可靠的组织保证。省级党组织的成立推动了地方党组织与基层组织的迅猛发展,为山东分局的成立提供了良好的组织基础。山东分局成立后,秉持中央决议、方针及指令,代表中央指导山东地区党的一切工作,积极地发展与山东地区其他党派的良性互动关系,并通过组建各区党委实现对各个区域的领导。随着抗日战争的变化,山东分局在中共中央的指导和帮助下,进一步完善了地方党组织与基层党组织的建设,逐渐取得了山东地区党政军民一体化的领导地位,在事实上形成了中国共产党在山东地区的一元化领导局面。1945年9月,山东分局改为中共中央华东局,完成了它全面领导山东抗战的历史使命,对抗日战争的胜利作出了重大贡献。