“反右”运动结束后，年轻的昌耀被戴上了“囚徒”的荆冠开始了艰辛漫长的苦难之旅。先是在西宁近郊的监狱工厂冶炼钢铁，抟土坯。对他这样一个手无缚鸡之力的书生，在干这些繁重的体力劳动时的艰难程度和屈辱，可想而知。但年轻且对未来前途多少还带点理想主义的昌耀，还是咬着牙坚持着，有时，为了完成每天的定额，他累得昏倒了也在所不惜
毕竟是诗人出身，置身这种艰难险恶环境中的昌耀偶尔还不忘苦中作乐，在监狱强制劳动的环境中寻找某种“诗意”。20世纪90年代初，昌耀在一篇题为《工厂:梦想与现实》的随笔中，颇有感触地谈及这种“狱中诗情
30多年前我从湟源县看守所被当做“有文化的犯人”选拔出来，寄押省垣一家监狱工厂并在那里学习钢铁冶炼。我在化铁炉干活任务是将焦炭、铸铁、废钢材装筐从堆放场地搬运到化铁炉跟前过磅配料后由升降机提升到几层楼高的投料口，这是一种简单劳动·但这种前所未有的对于参与大工业操作的体验甚至让我感到有几分豪迈:瞧，厚重的黑色原是我所追求。……因之红色的火焰就显得更是我理想中那份撩动的样子而感人肺腑了。理智与情感都让我尽量在想象中否认这是事实上的一座监狱工厂。因之，诸如鼓风机与炉膛的吼声都让我看作是被无产者驱动的可感豪迈的自然力种诗意的节奏，全无今人作为噪声公害对待所怀之嫌恶。
接下来，昌耀以作家的抒情之笔写道:“我还记得起两个人的身影:一个是年老的工长。另一个是工地上唯一佩戴脚镣劳动的同犯—一所谓同犯，仅只是一种称谓，身陷囹圈的人互称同犯。这个同犯在我记忆里尤其印象深刻，这不只是戴镣，还在于他体魄高大壮实，手操一柄重磅大锤一这一切以至包括了化铁炉、通红的火炬在内的物象呈示的含义纯是出于梦眼中的一种与我身份不适的自作多情的构想:无产者诗人的梦幻。当然监狱里不可能有勃洛克马雅可夫斯基，同犯不可能是无产者。不过，这个同犯之所以给我印象深刻还在于时时漂浮在他脸上的与其高大体魄不甚相容的温驯笑容。”昌耀继而深沉且带点幽默感地写道:“我始终不解他的笑容何以那么温驯。”接着，昌耀继续抒写说，“而那温驯的笑容似在表示:世上无可惊异。然而他对于自己脚上的铁镣却无可奈何也许他从来就不曾意识。命运的魔力惯常如此，就好比堂吉诃德先生眼底的梦觉。而身处囹的我却还在以无产者诗人自居的眼光审度其间劳动与炉火的壮美，稚气得可以。真的，有一段时间我以为自己对过去的种种—包括工厂及那一同犯的微笑是淡忘了，其实不，既已残存下来的印象每每是以一种更顽强，更带自觉的精神重读到这些文字，似乎让人想起前苏联诺贝尔文学奖获得者索尔被记起
仁尼琴的惊世名著《古拉格群岛》中的某些篇章不过，囚犯毕竟是囚犯。对一个囚犯来讲，监狱生活绝大多数情况下，不但“诗意”全无，而且艰难险恶，残酷无情。
随着“千万不要忘记阶级斗争”之类的指示发布，类似昌耀这种“政治囚犯”在狱中的处境亦越加险恶。一个13岁即参军投身革命，且为新中国在战场上经历过生死考验的年轻诗人，又带着内心美好理想与激情建设新中国，却仅仅因两首尚未发表的诗成了“囚犯”。这种冤情，昌耀始终无法真正接受。而且，他天真地以为，他昌耀的蒙冤受难，不是整个政治大环境使然，不是从上至下政治运动之故，而只不过是下面的个别人胡搞乱整”所致。因之始终相信上头有“青天”，会给他的冤情平反纠正。于是，他幻想着申冤。在狱中，夜深人静，他一手紧握着冰冷的铁链，借着昏暗的灯光，一字一句地写出一篇近万宇的《辩护书》。这是他平生唯一一篇没有丝毫诗歌美感的严酷文本。万万没想到，正是因为他的申诉，被认定为“不服改造”、“翻案”，而恶化了处境。他被转押到青海省监狱，这是专门关押重犯的监狱。在这座监狱中，他因为吃糠而付出了他的满口牙齿，以致在以后数十年的生活中不能咀嚼，只能吞咽流食。特别是那些凶蛮的刑事犯的欺凌和恶作剧，让他人格受辱，几乎彻底丧失了一个诗人作家的自尊。
不久，昌耀又被转押到祁连山的劳动农场。这里寒冷荒凉，环境更加艰苦，劳动强度更大。每天抬着上百斤重的条石修筑水渠并从事其他各种苦役。昌耀因申诉而招来更大的打击，他悲愤交加，差点失去了生存的勇气。
有一天，他因体力不支，致使失衡的石料砸向踝骨，当场便昏死过去。醒来后，监管人员正吆喝着抬他去急救。可他吼叫着，宁愿一死而不从。这种负气式的表示抗议的悲愤，带有自残的倾向，说明其心绪已恶劣到极点。
在祁连山下的劳改营里，让昌耀感到比严酷的大自然和超常强度的苦役更可怕的，是看不见任何希望的明天，以及那种极端的内心孤独。他找不到一个可以说话的对象，而他那敏感而随时处在思索状态的心灵深处，却有很多话要向人倾诉。可是，劳改营地这里没有战友和亲人，更没有朋友和知已，有的，只是凶相十足，粗蛮野气的刑事犯和那些居心叵测的告密者。实在孤独无聊时，诗人昌耀只有把伐木遗下的树墩当做一个情人来对话，把荒原上偶尔跑过的野物也看作是自己的朋友。
不过，祁连山劳改营里，多年“大山的囚徒”这种奇特的人生经历，对作为诗人的昌耀也有好处。除了世人常说那句名言，“苦难是天才的垫脚石”之外，那就是，祁连山这座中国西部曾经造就了“敦煌文化”的伟大山脉，其雄奇险峻、广阔坦荡的大山胸怀，以及那冷峻坚硬的泥土，不仅给了他诗的灵感，而且将他逐渐锤炼打造成一个百折不挠的文学勇士，一介货真价实的中国“西部诗歌王子”
由此，正是在这个角度上说，祁连山下“大山的因徒”的经历，使诗人昌耀，无论从人生意义，还是文学意义上，都产生了质的飞跃。