然而，当沈道缘考上功名进了户部后，他就越来越忙碌了，也没时间陪柴念慈蹴鞠与下棋了。更糟糕的是，柴念慈发现沈道缘变了，他变得喜欢和一班汴京城的官家纨绔子弟一起，他们一起逛青楼楚馆。不久后，沈道缘的名声彻底坏了，柴念慈的父亲找了沈道缘，劝了他几次，但沈道缘仍旧没有收敛，照常流连烟花之地。
在沈道缘名声变坏的几个月后，圣上竟然将他从户部调到了兵部，还升他为兵部侍郎。那天为了庆贺沈道缘升官，他家里大排宴席，宴间沈道缘喝得酩酊大醉，他拉着柴念慈的衣袖说：“念慈，你看你的未来夫君多么厉害，我年纪轻轻已经是兵部侍郎了，圣上赏识我，还赏了我两个宫女做通房，一会儿你先回去，我就不送你了。”
柴念慈当时气得脸都青了，因为这是沈道缘第一次在大庭广众下这样侮辱她。当时她气愤地上前给了沈道缘一记响亮的巴掌，然后就提前离席了。结果第二天，沈道缘就上柴府向她道歉了，甜言蜜语说了一大堆，加上柴父见沈道缘官途正旺，便劝自己的女儿忍让他一下。柴念慈无奈，只能原谅了沈道缘。
不料柴念慈忍让的结果换来的却是沈道缘的第二次侮辱。那天是她十六岁生辰，沈道缘本来约了她去秦淮河放河灯，结果她一等就等了他两个多时辰。后来，沈道缘的近卫吴恩来到河边亭子里对她说：“柴小姐，我家大人今晚在教坊司喝醉了，还请小姐早点回府，不用等他了。至于生辰礼，我家大人……”
“生辰礼？你家大人也一并忘记了吧？”柴念慈厉声追问吴恩。吴恩连忙回答：“不是！大人说前天他已送过你生辰礼了。”
柴念慈听了气得脸色发灰，将手中的两盏鸳鸯图形河灯扔进了河里，对吴恩说：“就前天他送我的那把饮湖春柳图雨伞？那也太敷衍本小姐了吧。他沈道缘也太欺负人了！让他日后不必再来柴府，我明日便叫我父亲上沈府，将婚书退还你家大人。”
第二天，柴父果然一肚子怒火地去了沈府退婚。沈道缘宿醉醒来后知道柴父来退婚，竟然跪在地上痛哭求柴父的原谅。后来又送了一箱珠翠首饰来给柴念慈，说是补偿她的生辰礼，柴念慈本拒绝了沈道缘的道歉礼物，但她母亲却闹着要她收下那箱珠宝，再原谅沈道缘一次。
那么柴念慈是为什么被沈道缘逼得出家躲婚的呢？原来这件事情竟与潘镜荷有关。
那天傍晚柴念慈坐着马车碰巧路过教坊司，却见到沈道缘搂着一个花娘从大门外出来，沈道缘似乎喝醉了，肩膀靠在那个花娘肩膀上，嘴里高声嚷着：“潘镜荷，你再给我跳支扶柳舞，我爱看！”
“沈大人，你喝多了！哎哟！你看你的脖子都红了，还有这里也给抓出了一道血痕，我给你吹一下就不痛了。”潘镜荷一手扶着沈道缘的腰，一手勾着沈道缘，还侧脸低头在他脖子上轻声吹气。
柴念慈在马车上看见这一幕真是气得不轻。她身边的婢女小琴也看不过眼，咬牙对柴念慈说：“小姐，你看这沈大人也太不知羞耻了！这光天化日的就在烟花之地与花娘公然调情。”
“小琴，前面的路不堵了吧？叫马夫快点赶马吧，日后这沈道缘的一切都与我无关了，我回府后一定要我爹把这婚退了。”柴念慈用坚定的口吻说，双眸看不出半点生气，小琴觉得这应当就是心死的感觉，当你不再爱一个人，也不再恨一个人的时候，应该眸中就没有半点光了。
柴父这次是带着柴念慈上沈府退婚的，当时沈道缘上朝了，沈父便拖延了一下，说一切要等沈道缘当面跟柴念慈说才能决定。然而，沈道缘知道柴念慈想退婚后，他便一直避而不见，一时外出办公差，一时又流连青楼彻夜不归府。
退婚的事情一拖就是一个多月，柴念慈迫于无奈，也在一个多月中看破了红尘，于是就带着婢女小琴上了香山寺，求方丈明方大师寻一处尼姑庵收留她。这香山寺方丈明方大师是世外高人，他双掌合十对柴念慈说：“柴姑娘，贫僧见你脸如死灰，但命里红尘姻缘却未了，因此明方认为你还是带发在香山寺后院修行一段时日理清心绪再说吧，免得他日后悔今日的草率决定。”
柴念慈又流着泪哀求了明方大师几次，但明方大师就是既不让她剃度，也不送她去别处尼姑庵。柴念慈无奈，只能听从明方大师的安排带发修行。
不料，沈道缘知道了她要出家为尼的事，硬是派兵将香山寺围了。沈道缘用明方大师的性命逼柴念慈现身，见到柴念慈后，沈道缘黑着脸，一手搂抱着她纤细的腰肢将她打横抱起，咬牙对她说：“念慈，我发现你还真是狠心！放着俊俏的高官未婚夫不要，跑来这香山寺想出家？我一辈子都不会放你走的！”