正如燎原先生所评说的那样，“昌耀的确太庞杂、太丰富，也太深奥”。此话可谓一语中的。昌耀一生也的确是内容丰富、复杂而深奥。而这种复杂而深奥，首先是来源于庞杂而富有传奇色彩的家庭背景。这点无论是昌耀本人的自述文字，还是有关他的传记性资料中都有相当表述。
昌耀原本姓王，名叫王昌耀，1936年出生于湖南省常德县城关大西门内育婴街17号，但其祖宅却在常德桃源乡王家坪。其家庭在当地是个豪门望族。据称，其老家宅院是约占去了全村建筑面积一半的一个旧式豪门城堡，昌耀幼年就居住在这座旧式的深宅大院中。这个年代久远的古老建筑，给幼年的昌耀留下极深的印象，以至多年后他仍能清晰、准确地详加记忆:
这是一座“封火筒子”建筑。所谓“封火筒子”，我猜度是指平外均高大结实，闭，热法强的“前子“式建，。因此筒子里”也就成了当地人“去王家坪”之泛称。……仅就老宅而言更确切地讲，这是一座被外围乡邻保护而由女眷留守的城堡。它的朝门正门一常年紧闭，由插在门道两侧臼洞的一根柱形门杠严实把关，进门则是纵深三进的堂屋，横梁与柱头挂着许多楹联牌匾，正中神龛则是钟磬烛台香炉。凝冻在烛台的红蜡油与炉中的冷灰常令我有一种莫名的恐惧。对于孩子更有一些活力的倒是东头的耳门，这不仅是它高高的山墙抹得粉白，墙头层层叠加的以黑瓦覆盖的檐角从不同的高度弯弯挑起，显示了女性般轻柔的曲线美，有别于正门的森严凝重之气
这种对祖宅的细致生动叙写，不免让人想起巴金的名著《家》中对那种古老气派的封建豪门大宅的描述。拥有这种宅院的家族，自然是充满神秘感而且是蕴藏着许许多多故事的。已经成了名作家、诗人的昌耀，在他那篇题为《我是风雨雷电合乎逻辑的选择》却至死仍是“未完成稿”的《昌耀自叙》中，忆及两个最久远也颇有神秘色彩的细节
在我能够推及到的最深远的记忆层里也确乎保留了一两个这样其一，我与一位夫人沿着一部宽敞的红漆楼梯拾级而上，我的左手扶住旁边的护栏，夫人拽紧我的右手。我不断受她的鼓励。而我也乐于完成这样艰难的作业、那夫人是谁?是我的母亲?是我的祖母?她郡样的慈祥，那样的爱我。我就这样感受到了人类母爱的光辉并铭刻在我的记忆里，永世不被抹去，那一年我当不晚于两岁。在我记事以后，我独自追思过那一“红漆楼梯”究系何处，似杳渺不可解。
其二，是在某地市内一座城郭附近，一部小汽车，后座一位夫人抱我坐在膝头，一男子通过车门向夫人索去车票用器械“咔嚓”剪了一个缺口重新还给夫人……这是在哪里?又是为何故?这是武汉1950年夏天，我随部队北上驻防辽东，从桃源乘船在武昌登岸街头一城关门洞触动了我，感觉似曾相识。
这样带有神秘色彩的神奇家族，自然会有着一些传奇性人物出现，演绎出悲壮和带有悲剧意味的许多传奇性故事。的确，昌耀的父辈，以及他自己本身，在20世纪中国政治文化那波澜壮阔却又是云谲波诡的舞台上，都先后扮演着一些悲剧的主角。
在那个封建城堡式的大宅院里，昌耀父辈5兄弟，可以说，每个人都有着一个颇为曲折又可堪叙写的不平常人生。其中，又以其大伯王其梅及排行老二的昌耀父亲王其桂最有代表性。
王其梅在新中国历史上是一个有点名气的政坛人物。其一生广为世人所知的要数20世纪50年代初人民解放军进军西藏，他以18军副政委身份担任“进藏先遺支队”的司令员兼政委，是当年率部攻占昌都并最先进入拉萨的中国共产党最高级别负责人另外，他在“文化大革命”中因所谓“61人叛徒集团”案蒙冤屈死。“文化大革命”后平反
昌耀的父亲王其桂之早期经历几乎与大哥王其梅相似。但新中国成立后两人结局有天渊之别。1934年离家赴北平读书后，于1937年参加薄一波领导的抗日决死队，而且当上指导员一类的职务，后来又去了延安抗日军政大学。本来应当是前程大好的时候，他却在解放战争中以“地主不能革地主的命”为由，从豫东军分区作战科长任上开小差回了老家。湖南解放后，王其桂避往北京，“镇反”时被迫去公安局自首，后被判刑两年。“文化大革命”期间他在“北大荒”兴凯湖上作业时从船上失足落水亡故。但据知情者说，他很可能是有意落水但求一死，属于“自杀”一类。
而王其梅在“文化大革命”之初的1967年8月，以“西藏最大的走资派”身份离世，官方及媒体的说法，一直是“被迫害致死”、“含冤去世”这种比较规范，也很含混的表述。其实，私下里有消息称，王其梅是在被关押中自杀身亡的。由此似乎可以说，昌耀父亲王其桂和其大哥王其梅，虽然共和国以来两人身份地位及荣辱经历大不相同，但在“文化大革命”中，两人几乎以相同的方式走完了自己的人生之路，有点“殊途同归”的意味，都是颇带悲剧色彩的
昌耀的三叔王其棠之人生及死亡结局也很带一点传奇性。据说他当年是因私自宰杀了当地农民的一头肥猪而被告到官府，桃源官府将其捉获归案，不问青红皂白即将其处决。其间之复杂原因及内幕，外人始终不得而知。
其四叔王其棟，在昌耀记忆中，只知其抗战前是位仪表堂堂的旧式军人，他的详细身世对昌耀来
父辈中，唯其五叔王其榘非军非政，算是真正意义上的知识分终是个谜
早年在长沙兑泽中学读高中，后北上求学。新中国成立后，是北京中科院近代史研究所的研究员。
昌耀这种复杂神奇的家族背景，似乎也注定了昌耀要经历一个不平凡的人生