最早的出处，可能是宋代的话本《西山一窟鬼》红杏出墙是什么意思。其中形容女子有“如捻青梅窥少俊，似骑红杏出墙头”。这个话本说的是裴少俊和李千金不顾礼教的恋爱情事。元代白朴根据此话本，还写成著名杂剧《墙头马上》。到了元代以后，”红杏出墙“的用法就愈加明显起来。比如“恰便似一枝红杏出墙头，不能够折入手，空教人风雨替花羞”。到了近代，“红杏出墙”的用法就固定了下来。鸳鸯蝴蝶派的刘若云，还写了名作《红杏出墙记》。由于“红杏”“墙头”在古代文学中的特殊地位，所以，”红杏出墙“通常只是一种含蓄的指代，并且暗指这种出轨是事出有因的，”小扣柴扉久不开“”春色满园关不住“嘛。所以是含有浅浅的”风流“褒义。而到了今天，随着女权的兴起，“红杏出墙”这个词，用法和褒贬色彩发生了更多的变化。很多女同志，开始光明正大的对外宣称：”偶要红杏出墙了！
“红杏出墙”的原由
从前有个叫红杏的女人，结婚后相公进京赶考一年回来，对她来说已经不能让她心跳了，她相公每天很早就睡了，也正是因为这个原因，她才能常常在夜晚来临的时候去爬墙，去和早就在墙那边的王二见面——直到她再也爬不动为止——那年是六十岁。
后来在她七十岁的时候，她鼓足勇气，把这个事情告诉了她相公。他没有生气，反而写了一首诗——满园春色关不住，一枝红杏出墙来。再后来，她的故事就流传了下去。
宋·叶绍翁《游园不值》：“春色满园关不住，一枝红杏出墙来。”
后来它的意思转变为：人们不耐家庭的寂寞，发生婚外性关系，被比喻为红杏出墙，因为“红杏”的缘故所以又用来指代女性。
