自民党是在1955年由两个保守自由主义政党自由党和日本民主党合并产生，以抗衡当时广受欢迎的日本社会党。自民党很快在选举获胜，在1955年组成日本第一个保守政府，占得政府中大多数议席。直到1993年败选为止，自民党保持了长达38年的一党独大制。
　　自民党执政后首先改革日本外交，例如加入联合国和与苏联建交。它的领袖也使它成为1950年代日本主要政党，那时所有的选举都获得了大多数票。它的唯一对手是左翼的日本社会党和日本共产党。1955年起，自民党在国会占有过半数，而日本社会党则为最大在野党，以后每次选举，这个均势也从未被改变，故被称为五五年体制。
　　1960年代，由1964年日本主办奥运会开始，直至1972年日本宣布对越战保持中立，和日本经济奇迹开始为止，这段时期自民党和政府是由佐藤荣作领导。1970年代末，自民党开始衰落。虽然它仍处领导地位，却传出多宗丑闻。新增了公明党一员的反对派，也因此得到一点动力。
　　1970年代末，日本社会党、日本共产党和公明党，还有国际都向日本施压，要求它和中华民国断交，与中华人民共和国建交。自民党有份促成1980年日本的经济起飞和泡沫经济。80年代末冷战结束，日本也有关键角色。
　　泡沫经济爆破和其他原因（例如里库路特事件）使自民党出现分裂，宫泽喜一内阁在党员倒戈下被国会通过不信任动议，并输掉1993年选举。胜出的几个反对党派，由属自由派的新生党领导组成政府，国会新人新生党党首细川护熙成38年首个非自民党首相。别的联盟成员有日本社会党，公明党，日本新党，民社党，先驱新党，社会民主连合 (非自民·非共产连立政权)。但是社会党和先驱新党遭联盟忽略，于是离合执政联盟，转向加入自民党的反对行列。余下政党尝试组成少数派政府，但在1994年当社会党和头号大敌自民党合组大多数联盟后，这一尝试终告失败。自民党于是再度得势，虽然首相一位由社会党坐上。
　　1996年自民党在桥本龙太郎带领下再以多数党执政。日本共产党、旧称日本社会党的社会民主党，还有公明党，并一些小政党成了反对派。（日本新进党、日本新党和日本新生党已解散。）先驱新党则加入统治联盟。
　　1996年至1998年，自民党实际上没遭到反对势力。但在1998年民主党成立，而且势力日增，在2003年和2004年国会选举尤其可见。但自民党仍保持最大党地位，继续其执政。
　　自民党位于东京的总部
　　2003年11月10日，保守新党并入自民党，因它在2003年大选受挫，只赢得4席，党主席更在原区竞逐连任失败。
　　前任日本首相小泉纯一郎是来自自民党。他曾派兵自卫队前往伊拉克，解散众议院。自民党与保守的佛教政党公明党联盟。至今自民党仍是最大党。先驱新党（那时改名为先驱党）留在联盟内，直至2002年该党解散，组成绿之会。绿之会是环保政党，在国会没有议席。它非正式的支持政府，但最后也解散了。现在自民党和公明党组成了执政联盟。
　　自民党从乡村的保守农民获得最多支持，也是官僚、有名的集团企业和白领的政党。自民党经常受丑闻困扰，很多时是政场大亨收了白领官僚的献金。
　　在戏剧化演变的2003年众议院选举，自民党赢了237席，日本民主党赢了177席。在2004年参议院选举，在改选议席中，自民党赢了49席，但日本民主党赢了50席。虽然最后自民党乃占参议院114席，因为选举失败，前干事长安倍晋三请辞，但党主席小泉纯一郎只降了他的职，以武部勤取代他。
　　自民党对国内政策态度保守。虽然绝大多数党领袖支持邮政民营化，但党内少数支持邮政国有，反对首相小泉的新自由经济政策，龟井派领袖龟井静香后来更和原众议院议长绵贯民辅，原国土厅长官龟井久兴离开自民党而另创国民新党。
　　2006年9月20日，自民党总裁选举举行，安倍晋三当选。[1]
　　2007年7月，自民党在参议院选举中惨败，在此次参议院选举中仅获得37个席位，加上非改选议席，在参议院的议席总数由选举前的110席减至83席，自1955年建党以来首次失去了参议院第一大政党的地位。而与此同时民主党由81席增至109席，成为参议院第一大政党。
　　9月12日，在参议院选举失利后备受争议的安倍晋三突然宣布辞去自民党总裁，9月23日，自民党总裁选举结果揭晓，福田康夫在除麻生派的支持下(麻生包围网)成功当选，接替辞职的安倍晋三。。可惜福田内阁上任不久后就支持度低迷，而政府法案往往要利用众议院三分之二多数才可通过。在2008年9月1日，福田康夫宣布辞去自民党总裁职务，9月22日，曾任自民党干事长的麻生太郎高票当选为总裁。惜麻生内阁屡爆丑闻，在2009年连续输了五次地方选举，包括2009年东京都议会议员选举，40年来首次失去东京都议会控制权。