谢向荣的祖父就是给谢时开蒙的老师，他是个疏朗开阔的文人，虽然惋惜没有孙子，却并不执迷于此，还反过来劝说儿子和儿媳，认为这是缘分。
“你们没有儿子，是因为缘分未至，孩子是上苍的恩赐，你们既有了大娘，不如好好教养她，不也有做父母的乐趣吗？”
可惜他儿子儿媳不认命，一直折腾着想要一个儿子。
谢老先生就把孙女带在身边，孙女说，“我做梦了，梦见自己应该着男装，叫向荣，这样或许弟弟就来了。”
于是谢老先生就给她改名叫向荣。
孙女说，“弟弟可能不喜欢阳夏的风水，听闻琅琊人杰地灵，阿爹阿娘若去琅琊居住，说不定能引来灵童。”
于是他们一家就跟着被征辟到琅琊的谢老先生一起搬到了琅琊。
等战火四起，谢老先生忧愤之下病逝，谢向荣又说，“祖父半生漂泊，此时落叶当归根，这才是最重的孝道。”
于是本来想向南逃亡的父母不得不跟着她一起扶棺回乡，他们幸运的躲开了路上的匈奴大军，跟着一群流亡的难民到了阳夏，迅速联系上谢时的亲眷，被他们庇护起来，躲过了那一场兵祸。
然后谢向荣开始为祖父守孝，以守孝为名拒绝了许多亲事，去年年中出孝，谢家父母要给她说亲，她就反过来劝父母，认为他们正当年，还有希望为谢家绵延子嗣。
“我若重孝，或许上苍怜悯，能为父亲和母亲送来一个儿子，”以此为由居家为祖父继续守孝，“别人守三年，我就守六年，十二年，我相信，女儿的孝心一定能感动上苍，为父母赐下麟儿。”
她的父母被说服了，于是拒绝亲事，让谢向荣居家守孝。
但谢时说，“名为守孝，其实她是在整理叔祖的文稿和注释，想要学孔子学生为孔子著书留言之举。”
这是一项庞大的工程，谢老先生这一生读过那么多书，留下那么多注解，不同时期的感悟还有所不同，写的随笔丢得到处都是。
她要整理出来，再一一对比选择，然后为书注释，有的词句没有注释，她就回忆祖父教学时的言语，假以他的语言去注释，有时候还要写信给谢时、王臬这些师兄弟，求问他们读书时的笔记……
她在孝期就开始做这事了，只是这不是一日之功，要做好，可能需要八九年，甚至更长的时间。
谢时敬佩她的韧劲和心性，和赵含章道：“她博学多识，又机变聪慧，重孝却能守义，最合适二郎不过。”
他了解这位皇帝陛下欣赏和喜欢的女孩子是什么样的，最后哪怕婚事不成，对谢向荣来说也是一个机会。
她的父母拦着她不让她去招贤考，她对出仕也没有野心，但如果，不入朝为官，也能有一方天地呢？
在阳夏的谢向荣看完谢时的信，垂眸思索，片刻后便决定去洛阳走一趟。
谢时写给谢向荣的信里则是主要介绍赵二郎及历数这门亲事的好处。
他道：“陛下的品格你从国策之中便可窥见一二，她也是真心疼爱幼弟。赵永不聪明，却也不愚笨，他只是患有脑疾，认不出文字，以致读书困难。但你与他讲道理，讲兵法，他都能听懂并记祝”
“《孙子兵法》他已能倒背如流，由此可见他不蠢笨，只是世人误解，你想与他谈诗论赋自然不可能，但要是说兵法修列一定能谈一晚上，”谢时叹息着写道：“我知道你的打算，你想专心为先生著书。”
“以你的聪慧，自有许多种办法规避婚姻，实在迫不得已，你也能找个短命的人嫁出去，但五妹妹，在这个世界上生存是需要钱的，你有资产够自己一生衣食无忧，即便是丈夫亡故，也能衣食无忧的修书，最后出书吗？”当然不能。