謝應芳生逢亂世，世衰道喪，以斯文為己任，崇正辟邪。從元至正初年起便隱居于武進白鶴溪（今鄒區鶴溪河），構筑小室名叫龜巢。遂自號“龜巢老人”，鄉里子弟尊稱龜巢先生。常州府曾聘為教授。他對學生循循善誘，總結出一套教學法。浙江行省聞名欲聘為三衢清獻書院山長，辭不就。后各地義軍起，謝應芳便去蘇州一帶避難，幾次遇危險，一年中搬了五次家，經常揭不開鍋。后來蘇州人對這位年高德助的飽學之人逐漸有所了解，爭聘為子女的老師，他靠束修錢以維生。

朱元璋削平群雄，建立明王朝后，江南漸漸安定，謝應芳已是70多歲的老人，返回故鄉，在武進芳茂山（橫山）隱居，勤讀寫作，老而不倦。當時，朝中高官與在野縉紳們路過常州，必定要去芳茂山上“龜巢”拜訪龜巢老人。不管來的人官階多高、名聲多大，謝應芳都平等相待，決不低下阿諛，而且議論必及民生、言談必論向善。

謝應芳80歲時，不顧羸弱，應郡守的邀請，以德高望重之身，出來主持了《續毗陵志》的編撰工作，97歲高齡謝世。