在陈虞之任秘书省校勘兼国史院职务期间，公元一二七四年，七月份，度宗赵崔病死于福宁殿，遗诏四岁的儿子赵显即皇帝位，谢太后临朝听政，实际上是大内奸贾似道独揽大权。这时元军已攻下西部重镇襄阳、樊城，声势大振。九月，忽必烈认为灭宋的条件业已成熟，发兵二十万分两路向宋进军，其中一路由丞相伯颜率领，以宋朝降将吕文焕为先锋，由襄阳入汉水、过长江，进逼临安；另一路由丞相合答率领，以宋朝降将刘整为先锋，东取扬州、过长江，进逼临安。一二七六年元月，元军继续东进和南下，临安岌岌可危，宋朝主管军事的枢密院官员和御史官均相继逃跑。二月，元军陷临安，将宋帝赵显俘虏北去，南宋王朝遂告灭亡。但临安以南各地军民仍在继续坚持抗元斗争。自临安陷落后，元军又继续南下，当一支元军在宋朝降将吕文艺工作者焕的带领下进犯温州时，陈虞之率领族人一千多人在永嘉绿嶂蚌拒敌，双方谣战激烈，因元军人数众多，虞之等寡不敌众，边战边退，一直退至他家乡后面的芙蓉崖。此崖巍然耸立，高插云汉，顶上平坦广阔，四面峭壁千仞，只要守住几条小径，就可据险固守，是一个“一夫当关，万夫莫敌”的天险之地。虞之等在崖上克服了许多难以想象的困难，一直坚守孤崖达两年多时间。在这期间，击败了元军发动的大小数百次进攻。他缴获的元代八思巴文“总把之印”（铜质），迄今还保存在芙蓉陈氏家庭中。一二七九年，虞之听到张世杰兵败崖山，陆秀夫负帝噶投海而死的消息，悲痛欲绝；加上芙蓉崖背面的唯一粮道，为元军所截断，致使粮食无法解决，芙蓉崖遂为元军攻下。虞之宁死不屈，将战马用布蒙住眼睛，自己带头骑上战马，策马加鞭跳崖殉国。他的妻子、弟、侄，以及族人八百余人亦全部壮烈牺牲，谱写下一曲少有的、可歌可泣的壮丽乐章。