祖永复，父莹，皆为诸生。嘉庆四年（1799），陈揆考取诸生。省试对策逾格被斥，遂绝意仕进。性嗜古籍，毕生时间和精力，倾注于积聚、整理、研究古代文献。与同邑张金吾合称“藏书二友”。其宅位于县城南门九万圩曾园附近。家世皆儒生，旧有藏书，他专心于搜集古籍及乡邦著述，藏书益富，“凡邑中著述，自宋、元迄今搜罗殆遍，不下四百余种”。四方名士，挟异书，搜秘册，投入他的门下，络绎不绝。搜罗不遗余力，建藏书楼“梂虎阁”于破山寺下。后因购得唐刘赓《稽瑞》一书，遂将藏书楼改为“稽瑞楼”。当时，江南四大藏书家周锡瓒、袁廷梼、顾之逵、黄丕烈的藏书不断散出，他和张金吾互相夸示其择优。与同乡张海鹏结为姻亲和知交，其妻张昭容是张金吾胞妹。二人收藏多钱氏、毛氏所流散之书，所以善本颇多。二人志同而趣各异，张海鹏愿把藏书公开借阅，而他则一藏永逸，慎于借阅。张海鹏爱收宋元文集，而他则多收史志及野乘家说。先后藏书10余万卷，精于校勘学，每收一册古籍，手自校勘。潘祖荫为他刊有《稽瑞楼书目》，并为书目作序。学者黄廷鉴作写有《藏书二友记》，记他和张海鹏二人藏书之事曰：“两家所藏不下10余万卷，去其世有传本与秘而无关学问者，汇宋元旧刻及新旧抄，遴其精妙尚可得一、二万卷，其中多吾邑钱、毛两家旧物。”手抄书13种，价值颇高。所著《稽瑞楼书目》著录的善本有220多种，计一、二万卷。其中邑中著述的宋元刻本、抄本、校本达500多种。所藏的地方志达400多种，其中明之前有270多种，清代的有140多种。数十种录入《中国古籍善本书目》。陈揆的藏书印有：“稽瑞楼”、“稽瑞楼藏”、“文乡儒子”、“子凖”、“揆”“揆印”等。道光五年（1825）六月，陈揆离世，年四十六岁。其墓在常熟白龙港唐石桥。殁后其养子不懂收藏，藏书散佚。先后被翁心存、铁琴铜剑楼瞿氏购去大半，其余流向书肆。辑有《琴川志注草》、《虞邑遗文录》、《虞邑遗文录补集》；著有《六朝水道疏》、《稽瑞楼文草》诸书。好友孙原湘、张金吾分别写有《陈君子准传》、《陈子准别传》。

陈揆藏书特色有以下四点：（一）专于史志而旁嗜说部。据《稽瑞楼书目》统计，陈揆所收地方志书，种类颇多，有省志、府志、州志、县志、里志等，数量达417部。（二）地方文献颇丰。孙原湘又讲：陈揆"凡邑中著述，自宋、元迄今搜罗殆遍，庋诸破山寺之救虎阁，不下四百余种。"（三）好收旧本书。据《稽瑞楼书目》记载，陈揆收藏的旧本书。如下：刻本有宋刻本33种、元刻本21种、金刻本2种、高丽刻本2种、旧刻本176种；旧抄本有元抄本2种、影宋抄本19种、影元抄本3种、影金抄本1种、旧抄本169种。校本达130余种。多种入选《中国古籍善本书目》。

校勘古籍：《（宝佑）重修琴川志》15卷、《也是园藏书目》9卷、《徐公文集》30卷、《唐甫里先生集》20卷、《翰林集》1卷、《香匳集》1卷。以上古籍，均被录入《中国古籍善本书目》。编著：《琴川志注草》12卷、《续志草》10卷、《续志草补》2卷、《稽瑞楼文草》1卷、《稽瑞楼书目》4卷、《稽瑞楼杂抄》（稿本）、《虞邑遗文录》10卷、《虞邑遗文录补集》6卷。另有三部：《六朝水道疏》、《虞阳金石录》、《稽瑞楼丛书》，“钩稽精密，惜未之竟”。

陈揆藏书楼名曰：稽瑞。是楼取名与其珍藏秘本有关。该书名《稽瑞》，由唐代刘赓撰，世无传本。得之吴兴书舶，盖明万历时刊本也，以其绝无仅有，即以名其所藏书楼。

陈揆藏书之富，在常熟藏书史上，具有承上启下的特殊地位和重大影响。张金吾说：“吾邑藏书，自汲古毛氏、述古钱氏后百六十年来，无继起者，至君（即陈揆）与金吾而此风复振。”在他俩的影响下，常熟大小藏书家不断涌现，最著名者为瞿氏铁琴铜剑楼。其贡献具体体现在：第一、陈揆生前殚精竭虑地收书、护书，使他所贮藏珍贵文化遗产得以未遇兵匪劫夺、霉烂焚毁、蠹鱼饱食，后经其他藏书家的递相珍藏，留存至今，这是对我国文化事业的一大贡献。第二，陈揆对家藏古籍潜心研究和精心校勘，使这批古代文献，具有更高的学术价值。第三，陈揆严谨著书立说，为后人深入进行学术研究，具有重要的参考价值。因此，陈揆是一位有功于我国文化事业的一位藏书大家。