“江上荒城猿鳥悲，隔江便是屈原祠。一千五百年間事，只有灘聲似舊時。”這是宋代大詩人陸游路過秭歸時，目睹了屈原祠在一片殘廢荒涼之中，心中感慨萬千，于是寫下了這首七律詩篇。

在屈原抱石沉江500多年后，屈原家鄉的人民為了緬懷他，修建了屈原祠。

公元九世紀，也就是唐元和15年（公元820年），時任歸州刺史的右神策將軍王茂元，了解到屈原是秭歸人，然無廟祠以祭，于是便按《史記》及《圖經》等典籍所載之描述，組織秭歸的父老鄉親及工匠，在歸州城東5里的屈原沱，離江水500米的山坡上建起了秭歸歷史上第一座屈原祠。其“神象章服，悉遵唐制。”并作《楚三閭大夫屈先生祠堂銘并序》，銘文充分頌揚了屈原“先生義特百夫，文雄千古，其忠可以激俗，其清可以歷貪。”并對屈原的遭遇深表哀悼。后來這篇銘文被宋代收錄于四大書之一的《文苑英華》。

200多年后，到了公元1080年，也就是北宋元豐3年，宋神宗皇帝趙頊詔封屈原為“清烈公”。這是有史書記載以來，中國歷史上第一個為屈原封號的皇帝。消息傳到秭歸后，屈原家鄉的人民無不為之高興。大家自發地組織起來，募捐款項，在屈原沱原址重新修建了一座屈原祠。祠宇為硬山頂，四合院式，有山門、大殿、后殿、配房四大部分組成，總建筑面積約400平方米。這也是屈原祠自修建以來的第一次出現的關于屈原祠的建筑風格、式樣、規模的文字資料，取名為“清烈公祠”。

到了元朝泰定初年（公元1324年），時任歸州知州的王禿哥不花對清烈公祠…….“嘗修之，久而撓無以妥，靈將遂湮廢”。經考證，當時州府財力有限，時逢災荒，且無民力，又無修葺淄重所致。過了18年后，也就是元至正2年（公元1342年），郡長密兒哈吧提議再修，并率先捐款。秭歸人民看見官老爺拿出自己的奉銀倡導維修屈原祠，于是紛紛解囊相助。正在商議維修方案如何籌集材料之時，忽然長江陡漲洪水，從上游漂流下來許多木材。密兒哈嗎迅速組織當地深識水性的船工，到江中撿拾了大量的木材。大者以為棟梁，小者以為榱角，門堂寢室，咸資其用,民歡呼曰：“我侯興土木，財不傷，民不擾，神輸鬼運，陰或相之(?)。”此事被當地百姓相互傳頌，成了一則帶有神秘色彩的故事。經過兩年的努力，新祠落成，郡長密兒哈嗎將清烈公祠改為“清烈公廟”，并請湖北道僉憲耶律恒齊出面，邀湖廣儒學提舉黃清老作《清烈公廟記》以銘。