卢高后来看不惯官场腐败弃官归里，修建玉臼山庄，吟诗作赋广交文朋诗友。同时将节约的官俸置田产给宗族，所收租金敬财给老无所养殁无所葬者。治家也特别严格在《家训》中写道：“薄责人，厚责已”。他的《泊舟诗草》、《翠环堂诗文集》流传于世。至今我们在玉臼山庄仍然能看到卢高手书的“翠环堂”匾额
