陈友德遭受了谢舒琴的背叛，性情大变。开始游走于秦淮河边，流连忘返。而本就是风月场中出来的颜三弟，自谢舒琴死后，她已成了陈友德的正室，加上有为陈家留下骨血的功劳，在陈家可谓作威作福，对陈友德的所作所为也不以为意。反而欣喜，陈友德给她腾出了更多的机会与时间可以与吴淳文私通。
宣德六年，陈友德之子已至三岁。按照惯例陈家邀请了宾客庆贺。然而，这次庆贺却在陈友德心中种下了怀疑的种子。因当时有宾客细说其子与他和妻子皆无几分相似。此后的陈友德越看儿子，越看不像，对儿子的厌恶之情也就种下了。
宣德七年，陈友德在酒肆中饮酒，因看卖唱的女子长得有几分标致。便与众人商量，要将女子纳回家中做个小妾。怎奈卖唱的女子身份虽低微，对做小妾并无意愿。可陈友德不管不顾，非要娶下该女子。女子不从，就纠集狐朋狗友对她进行恐吓。不多几日，在陈友德与几个狐朋狗友酒过三巡后，本欲要去秦淮河边花船上寻花问柳的陈友德，恰巧在路上又遇见了卖唱的姑娘，又是一番调戏，以至于卖唱女子不慎落水，淹死于秦淮河中。幸好，陈家有家业，且陈源在当地颇有些声望，在一番调解下，由陈友德为其戴孝，并以其妾室的身份下葬，并赔了卖唱姑娘的家人一笔银子后，此事才善了。
陈源见陈友德自宣德四年谢舒琴突然殒命。性情大变后，陈源再也无法约束陈友德了，就更别说是管束。加之媳妇对陈友德的所作所为不以为意，陈源心如刀绞，也只能无可奈何。
宣德八年五月端午前夕，在酒家与客人饮酒时，突然听到隔壁房中传来大声喧哗声，本意要店小二到隔壁房中劝说一番，让其稍微安静些。仔细一听，喧哗声中说的是他儿媳颜三弟的事。他凝神静听，听得颜三弟本是风尘女子，而且一直和吴淳文有染，还说他大媳妇之死其实是颜三弟伙同吴淳文设计的局，才会闹出了悲剧。陈源越听越不是滋味。本在心里就一直不相信媳妇谢舒琴的突然殒命是媳妇犯了出妻之罪。若真是自主犯了出妻之条的女人怎会羞愧难当而自尽？一直就怀疑其中定有隐情。如今听的隔壁屋内的话语，仿佛印证了他的想法。
陈源碍于有客人在座，只好强按下心中的火气，先陪着客人。客人走后，陈源推开了隔壁的房门，问起了他们刚才说的事来。众人一见是陈源顿时安静下来，缄口不言。陈源见问也问不出什么事来，愤然而去。
回到家中的陈源将陈友德唤来。此时的陈友德刚从外面厮混回来，一身酒气，见父亲唤他，兀自来见陈源。
陈源不给陈友德问话之机，一声怒斥：“跪下。”
陈友德听得父亲一声怒吼，扑通跪在地上，不解地问：“父亲，为何要我跪下。”
陈源压抑着怒火，正色道：“你说，颜三弟到底是哪个人家的女儿？”
这一问，陈友德打了个激灵，酒意一下散去了一半。支支吾吾：“是小商户人家的女子。”
“事到如今，你还要扯谎？”陈源厉声斥责。
陈友德见事已败露，再作狡辩也无济于事。加之颜三弟已嫁入陈家五年有余，还为陈家生下一儿，真就知道了她真实的出身也断不难将其赶出家门。然而，陈友德还是想差了。陈源的心中已下定了决心要将颜三弟赶出家门去。
若只是其出身不好，陈源还能看在她为陈家生下孩子的份上让其留在陈家。可陈源听闻颜三弟与吴淳文通奸，还合谋设计害死了自己最敬重和喜爱的媳妇。他无法容忍一条毒蛇长期蜗居在家中。
陈友德无可辩解，只好承认了颜三弟乃是风尘女子的身份。
“既然你已承认了，那你即刻修书一封，休妻。我们陈家不要这种出身的媳妇”陈源语气强硬，以不容辩驳的口吻说。
休妻？这一下让陈友德从地上腾得站了起来。说：“父亲，这都是多年前的事了。因为其出身低微就休妻，不妥当。”
陈友德显然不同意父亲的建议。本来，陈源还想给陈友德一丝情面，不想把所听到的事和盘托出。可见陈友德无意休妻，只好将听到之事告诉给陈友德。哪知陈友德听了之后，不但没有表现出丁点的不快，反而说：“父亲，谣言可畏。道听途说之事岂能相信？”
陈源见儿子如此冥顽不灵，简直是气不打一处来。腾起身要给他一个耳光。哪知起身起得猛烈了些，竟然踉踉跄跄地倒回到椅子上。突然倒下的陈源不及一月就离开人世。陈源死后半月有余，其妻陈周氏也跟着去了。
陈源的突然离世，深深刺激了陈友德。尤其是陈源临终之际将他喊至床边，用尽了余生的所有力量嘱咐他，并将这些年来，对他的放纵，还有这些年来，对他的所作所为感到痛心疾首。
随着陈源及陈周氏的离世，陈家家产顺理成章地由陈友德接掌。接掌陈家的陈友德想着父亲陈源的临终嘱托，决意要好好地经营留下的祖业。自宣德八年七月起至正统八年，陈友德不忍陈家家业在其手中衰落，一反常态，苦心经营起家业来。
陈友德自接掌了陈家家业后，将原本主要经营丝绸的产业扩张到了盐业。这一来，陈家的家业又翻了番。原本见陈友德放浪形骸，怒其不争的人纷纷向他投去了敬重的目光。
正统三年，陈友德在友人的撮合下，迎娶了一商家女子为三房之妻。女子娘家姓何，名媛爱。嫁入陈家后，便随了夫家姓，改名陈家何媛清。媛清虽是商贾之女，但在琴棋书画中颇有造诣，且贤德。自嫁入陈家，从不与人发生口角，一心只想辅佐丈夫成就陈家家业。