伯施。杨广封他做秘书监，赐爵永兴县子，授青光禄大夫，大家都称他“虞永兴”或“虞秘监”。因为他在这位子上面已经是九年没有挪过位子了。沉静寡欲，精思读书，书读得好，写得一手好文章，书法更是一绝，佛学方面也是有涉猎，可以称得上是一个全才了。书法更是学自于王羲之七世孙智永和尚，平日里交往的也都是当时名士，欧阳询，褚遂良，薛稷。其兄虞世基很得杨广的恩宠，但是虞世南与虞世基间隙很大，为人处世的方式互相看不惯，所以往来不多，虽说是亲兄弟，但是与路人无异，所以呢，虽然有一个得帝宠的哥哥，虞世南九年的秘书郎还是一直都没有挪过。