因為江寧府廩生棒殺蔡京、李邦彥一案，吳子龍被迫引咎辭去禮部尚書之位。由網友上傳==此舉不啻公告天下，吳子龍乃鏟除大宋之禍害，蔡京、李邦彥兩大奸佞的主事者。他的去位，雖然有人拍手稱快，但更多的人扼腕嘆息，甚至憤憤不平，一些人上書請朝廷勿要讓忠良寒心，一些人廣張揭帖為吳子龍鳴冤。
吳子龍執掌禮部以來，著意提攜理社的后進，為朝廷選材無算，門生遍布朝廷上下。但他律己甚嚴，雖朝夕門庭若市，卻不曾受人一文錢禮，所得俸祿的節余也用來資助貧寒士子。理社后進的才俊當中，感念吳子龍恩惠的人極多。因此，他雖然被迫辭官，但大多數士子和普通百姓卻不以為他做錯了事。送別那天，除了陳東等清流重臣之外，鄂州及附近州縣官吏，尚未入仕的書生上千人，自覺前往武昌門碼頭相送。沿岸的百姓，觀者如堵，更為吳子龍大聲鼓噪叫好，熱鬧得仿佛不是送別，而是迎接新官上任一樣。
吳子龍應好友及門生相邀，將往杭州著書立說。武康縣乃吳子龍久居之地，他在西湖畔買了一處農家院落隱居下來。當年蔡京秉政，吳子龍只是武康縣令。義士胡可及刺死杭州知府蔡，胡可及被朝廷處以凌遲之刑。提轄武松盜取胡可及遺骸后，吳子龍公然將胡可及安葬在西湖畔，題墓碑以“大宋之義士”贊之。雖然東南州縣數萬人上書聲援，吳子龍因此第一次被貶丟官，此后他也一直以此為榮。
官船離開鄂州后，一路順江而下，每在一處停泊，當地清流都盛情相邀。對于這樣的應酬，吳子龍一律推掉，但消息傳出去，許多廩生都到碼頭上拜望他，對這些慕名前來探訪的人，吳子龍到不拒絕，無論對方聲望如何，財勢如何，他一律以禮相待，只是宦囊單薄，前來拜訪的士人，只有粗茶淡飯，船家小菜招待。然而，人人皆以得禮部尚書一見為榮。
吳子龍早年有嫉惡如仇之性，擔任禮部尚書后，更痛感官員良莠不齊，人人以利益相交，又以利益相互侵軋。朝廷命官己身不正，以至污吏橫行，上行下效，積重難返，人心淪喪，世風日下。禮部革退了一個貪官，從前并無劣跡之人坐上官位，結果在很快又在渾濁的官場風氣中墮落下去。這種情況，并非是斬殺一兩個大奸大惡之徒所能扭轉。因此，吳子龍認為要挽此末世之衰，須得用重典和教化人心雙管齊下不可。
吳子龍早年就覺得本朝的“宋刑統”已不能起到匡扶世道人心之效，只是他身為禮部尚書，既沒有時間精力，又不好干涉刑名之事。如今雖然丟了官位，他反而一身輕松，決心圣人所謂“導之以禮，齊之以刑”，編纂出一部名為的“宋禮法”新刑律。這件事他在書信中與很多同道好友，以及弟子門人都談及過。到了杭州隱居下來之后，吳子龍就閉門謝客，與若干門人一起研討禮法，著書立說。但是，朱森來訪，吳子龍卻不能不見。
朱森既是理社元老，又趙柯的國舅。他在竹林書院講學育人，聲望不下于陳趙曹吳等人。陳東秉政后，理學大興，曹良史、吳子龍等人都位高權重，相互間也有沖突，唯獨朱森然于朝政之外，與眾人的情誼未變。但當理社不得不改奉“趙杞”為天子時，身為趙柯之國舅，朱森未出一相責。單單這分度量，就令吳子龍不得不佩服。
杭州府郊外，一處竹林掩映青磚泥瓦的院子，此處便是吳子龍隱居之所。書齋內彌漫著股墨香，桌上堆積著字跡工整的手稿，書桌左邊是包括“尚書”經注在內的歷代刑律，右邊是周禮、易經、論語等儒家經注，在滿地的典籍中間清理出一塊狹窄的空地，擺了一張小方桌，桌上一壺兩杯，吳子龍和朱森對面而坐。
“寒舍簡陋，”吳子龍難得十分客氣，笑道，“這刑名之學，朱兄有什么見教么？”
“刑名之學，并非愚兄所長?！敝焐讲皇强蜌狻Ｍ瑯酉胍炀仁里L日下，他專注于節制人yu，順應天理之學，與趙行德頗有共鳴之處，但在刑名上面，他卻涉獵得不多。吳子龍窮盡心血編寫《宋禮法》，等閑人見不到他，見到他的人，必然要談及這本尚未完成的煌煌巨著。在吳子龍執意請求下，朱森斟酌道：“吳兄匡扶人心的宗旨雖然不錯，但吳兄yu盡廢‘八議’之法，只怕在朝堂上的阻力極大，再如‘貪墨受賄者，縱一錢一線之微，亦坐贓去職，終身不得敘用。貪墨受賄值千錢者，流一千里，每千錢加流一千里，貪墨過三千錢者，處以絞殺?！欠襁^于嚴苛？如此照此刑罰，我朝的官吏，只怕沒有幾個不處絞刑的?！敝焐迪?，《宋禮法》如此之嚴苛，待吳子龍聽說那件事情，不知又會如何主張？
“貪墨受賄，絕不可姑息養奸！”吳子龍搖頭道，“朱兄，你生在富貴之家，區區一千文錢何足掛齒，但你有所不知，可是對升斗小民而，一二十文往往就能逼出人命來。天下熙熙皆為利來，受賄的官員也要給人家好處。貪墨和賄賂，都要成倍，甚至幾十倍的壓在百姓身上。地方官不敢得罪士紳豪富，往往要取之于民，朝廷的賦稅本來已經過重，百姓怎能再承受起濁物的敲詐勒索呢？和百姓因貪賄所受之苦難相比，區區免官、流放之刑，我還嫌輕了呢！”吳子龍喝了口茶，又嘆道，“至于‘八議’之說，議親，議故，議貴，議賓之類，雖然是上古之制，但今時足以助長奸惡。蔡京何人？三朝老臣，因此朝廷要殺他千難萬難，可天日昭昭！天日昭昭啊！王子犯法，不能與庶人同罪！‘八議’之說，使律法只能制約激鳴狗盜之輩，而姑息了真正的巨奸大惡！法網之失，可過吞舟之巨鯨，令我大宋綱紀無存，落到如今這田地，正是姑息養奸之過！”他講到激動處，一掌拍在地上，震得桌上杯盤搖晃。