①从生理学角度分析
从紫姬角度来说，可能确实如大多数人所说，她过早地（14岁）和源氏和源氏有了性行为，妨害了生育能力
从光源氏角度来说，一来他们那族人似乎生育能力本身就不强（虽然桐壶帝孩子挺多），源氏只有三个孩子，朱雀帝只生了一个男孩，宇治八亲王在年级很大了以后才有了三个女儿；源氏的儿子冷泉帝在位期间也只生了一个公主。
（不过夕雾孩子倒特别多，可能是因为妻子云居雁的关系？头中将那一脉一直挺能生。毕竟夕雾和朱雀帝的二公主结婚多年也没有孩子）
二来或许确实是流放后他的生育能力遭到了什么损伤，因为他的所有孩子都是在从流放地回京前生的。但估计不是因为衰老，源氏从明石回京时只有28，云隐时也不过53，按理说都是还有生育能力的。
②从对紫姬的塑造角度分析
有人说因为紫姬没有孩子，她就会将所有爱留给源氏，作为一个彻彻底底的妻子（或者恋人）的角色。其实这也不太准确，因为在三公主升二品、她失去源氏妻子中第一人的地位后，宁愿将爱分给明石女御的孩子；她并不是一个丈夫不在就坐在空旷的内室幽怨饮泣的女人。
我觉得，没有孩子应该是因为作者并不想塑造一个传统中生儿育女、相夫教子的幸福理想女性。在全书女子中，紫姬是个悟性、思想境界格外高的角色，唯有她和少许一些人最终想通了情爱的不可依恃（六条显然就没有想通）。但即使她已对源氏心灰意冷，也保持了平静宁和，对他没有怨恨，反而同情他在失去自己后将有的悲痛。作者希望她在繁华中依然能看清人生无常与孤独的真相，她在后期地位的下降、没有血脉留下孑然一身等，都是为了促使她能领悟这种真相而设置的情节。从这个角度说，紫姬没有孩子是为了塑造紫姬的理想性与独特性；因为她的理想性不在她的命运，而在性情。
③从谋篇布局角度分析
题主说如果源氏有四个孩子对剧情也没啥影响，其实还是有很大差别的。
源氏的三个孩子关系着《源氏物语》的政治暗线，即对应着源氏一族荣华富贵的主题，这是作者很早就定好的，从第十二卷才正式出场的明石姬在第五卷就已经在传闻中出现可以就看出。光源氏三子不仅关系着情节，还关系着创作构想。
从夕雾方面说，夕雾是作者让葵姬退场的补偿；而葵姬虽然因为六条妃子而死，但从创作层面，她是为了紫姬能当上光源氏正妻而不得不退场的。
我之前也提过，作者没有在葵姬身上费太多笔墨，葵姬甚至连和歌都没有，这和女性中吟咏和歌数量第二的紫姬形成鲜明对比。我们有理由认为，葵姬在某种程度上是一个工具人。于是出于对此的愧疚，作者补偿她了一个儿子，也是光源氏的继承人。如果紫姬也有儿子，那万一光源氏由于对她的爱而让这个孩子影响到了夕雾的地位，那作者苦心经营的角色间的平衡不就达不到了吗？如果有女儿，对明石姬也是同理。（当然这部分有点过度解读了……）
从冷泉帝方面说，不得不提到藤壶。作者很精心地控制着藤壶和紫姬在光源氏心中的地位，很长时间她们在光源氏心中地位都是相当的，就比如源氏将须磨明石两张画卷分别送给了藤壶和紫姬。如果紫姬有了源氏的孩子，这种地位的平衡就又会被打破。还有，在光源氏眼里，这两位女性很大意义上是相互关联相互重合的，出于愧疚，他大概会认为因为他和藤壶有了不义之子，所以上天惩罚他无法和作为藤壶延续的紫姬有孩子吧。
关于题主所说的女三宫的问题，一来，剧情需要她必须外遇一个孩子来让光源氏偿还旧债；二来，可能是因为柏木是头中将家的生殖能力比较强……？三公主确实和紫姬同样都是十三四岁结的婚，可能个人身体情况不一样吧。
总结，比起生理原因，更多出于作者的意志和操控。
