权力是个怪东西，总让人为之去折腰，去追求，去捍卫，作为权臣如此，作为帝王更甚。
汉昭帝年幼时，霍光“初辅幼主，政自己出”(《汉书•霍光传》)，这无可厚非，也是汉武帝的遗命和嘱托。随着时间推移，汉昭帝成长成人，必然想收回权力，霍光仍不归政，这就说不过去了。念及霍光还算忠于汉室，更忌惮其在朝中的根基和势力，汉昭帝自知斗不过霍光，只能继续坐在龙椅上充当近似玩偶的傀儡皇帝，这让心气和天赋极高的汉昭帝感到很憋屈。至于班固所论“孝昭委任霍光，各因其时以成名，大矣哉!”，不过是汉昭帝的无奈之举罢了。
除了皇权旁落，汉昭帝在私生活上也受到了霍光的极大限制。汉昭帝九岁时，“穿淋池，广千步……乃命文梓为舟，木兰为枻……毕景忘归，乃至通夜”，让自幼长于深宫之中的汉昭帝玩得很欢畅，“帝大悦”，可惜好景不长，“及乎末岁，谏者多。遂省游荡奢侈，堙毁台池，鸾舟荷芰，随时废灭”，汉昭帝不得不就此作罢。能发动群臣扫皇帝兴趣的，也只有霍光了。此后十余年，一直到驾崩，汉昭帝再也没能感受“万岁为乐岂为多”(晋王嘉《拾遗记•前汉下》)的乐趣。
霍光专权，除了限制汉昭帝玩乐，连宫闱之事也横加干涉。十二岁时，汉昭帝大婚，立上官桀之子上官安之女，也就是霍光的外孙女，年仅六岁的上官氏为皇后。抛开诸多人情因素，这终究是一桩政治婚姻，也是上官皇后被冷落的根源所在。后来，上官桀父子密谋造反失败后被霍光诛杀，夷灭宗族，牵连甚广，因“皇后以年少不与谋，亦光外孙，故得不废”(《汉书外•戚传》)。尽管没有废掉上官皇后，但经此一变，汉昭帝对皇后越发冷落，已经透漏出了对霍光的不满。
上官皇后毕竟是霍光的外孙女，又居后宫之首，霍光出于私心，“欲皇后擅宠有子，……言宜禁内……后宫莫有进者”，(《汉书•外戚传》)，意思是说，霍光为了让外孙女获得专宠，增加怀孕几率，不许后宫诸妃嫔进御。对此，《汉书•五行志》也有记载，“光欲后有子，……禁内后宫皆不得进，唯皇后颛寝”，陪皇帝睡觉，替皇帝传宗接代，成为皇后一个人的专利，其他妃嫔一概靠边。
为了确保上官皇后专宠受孕，防止汉昭帝随意与其他宫嫔云雨，霍光干脆玩了手绝的，“虽宫人使令皆为穷绔，多其带”(《汉书•外戚传》)。穷绔，类似于现在形制的裤子，即开裆裤;多其带，即多用丝带缠绕。对于穷绔，唐代语言文字学家颜师古称“穷绔有前后当(裆)，不得交通也。”这样一来，汉昭帝连男欢女爱之事也不得随心所欲。有花不能采，有欲不能泄，每天只能和那位毫无感情甚至厌恶的上官皇后背对背，汉昭帝的心境和处境可想而知。
想当权不能当权，想玩不能玩，想宠幸宫嫔不能宠幸宫嫔，汉昭帝在权威、玩乐、性趣上均受到了权臣霍光的严格扼制。不能玩乐也就算了，但作为当朝皇帝，无实权可抓为一大恨;作为正常男人，无女人可御又为一大恨，如此毫无尊严、毫无活力的屈辱遭际，还不如一个王侯将相，不如一个平民百姓，你说他苦恼不苦恼，忿恨不忿恨，憋屈不憋屈?时间一长，汉昭帝也只有生病的份了。
从“侍疾”、“体不安”到“寝疾”，仅仅三年，就让一个原本生龙活虎的青年皇帝倒在了病床上。究其原因，就是因为权臣霍光“亡周公之德，秉政九年，久于周公，上既已冠而不归政”(《汉书•五行志》)，以及对汉昭帝私生活的无耻干涉和横加限制，使汉昭帝有苦难言，有怨难诉，有忿难平，欲哭无泪，最终肝火内炽，病入膏肓。汉昭帝看似突然死亡，其实有个漫长的煎熬过程，他是因处处受制于霍光，长期郁闷憋屈而死。可以说，汉昭帝是中国历史上死得最憋屈的皇帝。