人民军队党委制诞生于我们党独立领导武装斗争的实践探索中，确立于红军时期，后来随着革命形势的变化几度消长，新中国成立初期被明确为党对军队的领导制度。
（一）
南昌起义前后，我们党开始探索在军队中军师两级成立党委，支部则建在团级，军师团各级分别设立党代表，领导起义的前敌委员会也是党的组织，同时还借鉴了苏军的党团组织模式，在军队中设立党团，由革命委员会统一领导军事工作，党通过党团落实党的政策。由于只强调“指导”而非“领导”，使得党不能对军队实施直接的组织领导。党组织领导功能的弱化不仅严重阻碍了军事指挥，还对部队的思想稳定带来不利影响。
毛泽东通过领导三湾改编将全军交由党的前敌委员会统一领导。其中，各级部队分别建立党的组织，班排设小组、支部建在连队上、营团建立党委、连以上设党代表，部队一切重大问题都必须经党组织集体讨论决定，从而在组织上保证了党对军队的领导，确立了人民军队党指挥枪的铁律。这一创举把党的基层组织和军队的基层单位结合起来，使党的领导深入群众、抓住士兵。对此，毛泽东后来指出，“红军所以艰难奋战而不溃散，‘支部建在连上’是一个重要原因”。
（二）
1928年5月，宁冈会师一个月后，为有效指导营党委、连支部和士兵委员会开展政治工作和宣传工作，中共湘赣边特委和红四军军委决定，红四军在团以上各级建立党委机关，兼负政治部职能，组织指导政治工作和宣传工作，克服国民革命军中只是政治部少数人做政治工作和宣传工作的弊端。同年11月，《红军第四军第六次党代表大会决议案》决定，“连上支部干事会应改称连支部委员会，扩大委员数量，使多数同志参加干部指导工作。切实做到连支委为红军核心”，进一步使党的领导贯通到基层。但是，随着井冈山革命根据地的建设发展，红四军内部就党的领导、军政关系、军内民主等问题出现矛盾与争论。
1929年9月下旬，中央在经过多次谈话、讨论和研究后，逐步形成统一意见，委托陈毅起草给红四军前委的指示信（即九月来信），其中关于肯定党委制、要求实行政治委员制和民主集中制等相关精神后来成为古田会议决议的重要依据。12月下旬，古田会议决议明确党对军队绝对领导的原则和以军队党委制为核心的领导制度，形成党委领导下军政分工负责的基本框架，为党领导军队根本制度的确立奠定了基础，党委统一领导下的首长分工负责制雏形初显。
1930年1月15日，中央军委主办的《军事通讯》创刊号全文发表陈毅写的关于红四军历史及其状况的报告，周恩来亲笔加了一段很长的编者按语，指出红四军对党领导军队的制度探索“在中国是独一无二的，在世界是未之前见或未之前闻的”，是“宝贵经验”，要求各地红军、各地方党组织都要学习和采用红四军的经验。在中央的大力宣传下，红四军党委制和党委建设经验得以在红军中推广。
（三）
由于王明“左”倾教条主义的错误领导，1932年10月，中共苏区中央局全体会议决定取消红军中的党委制，以政治委员的个人领导取代党委的集体领导。党委制的取消为全面推行“左”倾路线创造了条件，造成的后果“就是中央所在地区第五次反‘围剿’战争的失败和红军主力的退出中央所在地区”，被迫实施战略转移。
1935年1月，党中央在长征途中召开政治局扩大会议（即遵义会议），解决了党内所面临的最迫切的组织问题和军事问题，结束了“左”倾教条主义错误在中央的统治，确立毛泽东在中共中央和红军的领导地位，为党的集体领导制度的重建提供了条件，对红军胜利完成战略转移任务发挥了重大作用。长征胜利后，为进一步加强党对红军的领导，1936年12月7日，在《总政治部关于党的新任务面前红军政治工作的任务（草案）》中，以中央指示的形式取消了政治委员的“最后决定权”。
（四）
随着第二次国共合作的正式形成，根据中央组织部规定，红军改编后，八路军在总部和师两级直属队及团、支队，新四军在支队和团分别组织建立党务委员会或党总支。
在新的革命斗争实践中，中央和军队党的各级组织愈发认识到党委制在党领导军队上发挥的重要作用。1944年4月11日，陕甘宁晋绥联防军副政治委员兼政治部主任谭政受毛泽东委托，在中共中央西北局高级干部会议上作《关于军队政治工作问题》报告，提出“恢复古田决议的党的代表会议制”的建议。1945年4月24日，毛泽东在向中共七大提交的《论联合政府》书面政治报告中指出，要想争取光明的前途，就必须坚持党对军队的绝对领导。11月，中共晋冀鲁豫军区第一次扩大会议决定在各纵队及各旅建立党委会，翌年10月又决定在团一级设立党委会，并颁布暂行条例，加强了党对军队基层单位的领导。
解放战争时期，党委制日渐完善。1947年2月27日，中共中央发出关于在军队中组织党委会的指示，肯定了此前晋冀鲁豫的改组经验，要求各部队在中央草拟的军队中党的组织条例尚未公布前，可根据此经验及其文件实行改组，并将经验电告中央。据此，人民解放军团以上部队的党委先后建立。7月28日，总政治部颁发了我军第一个党委会条例，即《中国人民解放军党委员会条例草案（初稿）》，对党委会的性质、地位、作用和组织原则等作出具体规定，并对军政委员会、党务委员会等原有党组织和制度形式的调整作出说明，有效推动了全军的党委建设。
1948年9月20日，毛泽东为中共中央起草关于健全党委制的决定，指出：党委制是保证集体领导，防止个人包办的重要制度，今后从中央局到地委，从前委到旅委以及军区（军分会或领导小组），政府党组、民众团体党组、通讯社和报社党组，都必须建立健全的党委会议制度，一切重要问题均须交委员会讨论，由到会委员充分发表意见，做出明确决定，然后分别执行。同时指出，“还须注意，集体领导和个人负责，二者不可偏废”。1949年3月13日，毛泽东在中共七届二中全会总结讲话中提出12条“党委会的工作方法”，分别明确了党委组织原则、具体方法和工作作风，进一步推动了军队党委制的规范化。
新中国成立后，中共中央和中央军委于1954年4月15日颁布《中国人民解放军政治工作条例（草案）》，规定在军队中设立党的各级委员会，作为部队统一领导核心，并明确实行党委统一的集体领导下的首长分工负责制，军队党委制得到坚持和巩固。