祭遵字弟孙，颍川颍阳人。少好读经书，家境殷富，但祭遵恭谨节俭，不喜穿戴。母亲死了，他自己背土起坟，以孝闻。曾经被部吏侵害，祭遵结客杀之。开始，县中人以其柔弱，而后又怕他。
刘秀昆阳破王寻后，过颍阳，祭遵以县吏身份进见，刘秀爱其容仪，安排他作门下史。刘秀北徇河北，祭遵一直默默无闻，征伐王郎时，他担任了军市令，刘秀舍中儿（近侍）犯法，祭遵竟敢格杀之。刘秀大怒，命拿下祭遵，这时主簿陈副劝谏道：“明公常欲众军整齐，今遵奉法不避，是教令所行也。”一句话点醒刘秀，刘秀赦免了他，从此对祭遵刮目相看，任命他为刺奸将军。并告诉众将说：“当备祭遵！吾舍中儿犯法尚杀之，必不私诸卿也。”不久又拜为偏将军，偏将军可独自领兵。祭遵跟着光武平定河北，封列侯。
建武二年春，拜为征虏将军，劳苦功高，定封颍阳侯。颍阳侯是县侯，又是祭遵家乡，荣耀故里，足可以让人满意了，但是他的事业才刚刚开始。
这一年，祭遵与骠骑大将军景丹、建义大将军朱佑、汉忠将军王常、骑都尉王梁、臧宫入箕关，打击弘农、厌新、柏华蛮中贼。战斗中，弩箭射中祭遵口，穿了一个洞，血流不停。众人见祭遵受伤，都害怕了往后退。祭遵呼叱制止，士卒士气被激励，倍力而战，遂大破敌。新城蛮中山贼张满，屯结险隘祸害百姓，祭遵攻打他们。祭遵先断其粮道，张满数挑战，祭遵坚壁不出。而厌新、柏华余贼又来同张满会合，祭遵于是分兵击破降之。明年春，张满饥困，城拔，生获之。祭遵斩张满，夷灭其妻子。之后，祭遵参与平定邓奉叛乱，在杜衍（邓州南阳县西南）南击破邓奉弟邓终。
建武三年涿郡太守张丰执使者举兵反，自称无上大将军，与彭宠连兵。四年，祭遵与朱佑及建威大将军耿弇﹑骁骑将军刘喜俱击之。祭遵兵先到，猛攻张丰，张丰难以抵挡，功曹孟厷抓住张丰投降。张丰要被问斩，声称：“肘石有玉玺。”，祭遵就命人用锥子打破了它，结果什么也没有，张丰知道被人骗，仰天长叹：“当死无所恨！”
祭遵接令在良乡（北京良乡）驻扎抵御彭宠，祭遵派护军傅玄袭击彭宠部将李豪于潞（潞河），大破之，斩首千余级。相拒岁余，数次挫败其锋芒，彭宠党羽多有投降的，最后，彭宠内乱而死，祭遵最终平定渔阳之乱。
六年春，光武准备解决隗嚣，召开军事会议研究部署，诸将都说：“可宽延隗嚣时限，加封其将帅，离散其军心。”唯独祭遵说：“嚣挟奸久矣。今若按甲引时，则使其诈谋益深，而蜀警增备，固不如遂进。”光武采纳祭遵的意见，并命祭遵作先锋。五月，双方战于陇坻，隗嚣令王元对抗汉军，祭遵应战，初战告捷，追到新关。诸将也一起赶来，但是汉军大败。祭遵为后卫，退保汧，多次击退隗嚣的进攻。
建武八年春，祭遵和来歙艰苦跋涉奇袭略阳，祭遵病重回营。同年秋天，祭遵抱病随光武翻陇山征伐隗嚣。祭遵治军，好整以暇，颍川贼反，光武平叛东归，经过祭遵大营，慰劳将士，作黄门武乐，一直欢歌到深夜。儒家不是清教徒，推崇礼乐教化，子曰：“兴于诗，立于礼，成于乐。”按朱子所注：“乐可以养人之性情，荡涤其邪秽，消融其查滓。故学者之终，所以至于义精仁熟，而自和顺于道德者，必于此而得之，是学之成也。”儒家以礼乐治军。
祭遵有重病，光武赐给厚厚的垫子，用在车上，命令祭遵屯扎在陇下。当公孙述派兵救隗嚣时，吴汉﹑耿弇等都逃回，唯独祭遵坚守不退，留下唯一的进攻要点。
光武写信表彰祭遵道：“将军连年距难，众兵即却，复独按部，功劳烂然。兵退无宿戒，彻食不豫具，今乃调度，恐力不堪。国家知将军不易，亦不遗力。今送缣千匹，以赐吏士。”
九年春，祭遵抱着没有看到天下一统的遗憾离开人世。
祭遵为人清廉谨慎，克己奉公，赏赐都分给士卒，家无私财，身上穿的是韦藳（劣质衣服），夫人衣裳不加缘。光武因此十分敬重祭遵，对祭遵之死十分悲伤，哀悼格外隆重，亲自到河南县迎灵。百官皆会，光武素服临之，望哭哀恸。灵车过城门，光武涕泣不能止悲。
丧礼完毕，又亲祠以太牢，这是最高的丧礼，以汉宣帝追悼霍光仪式哀悼祭遵。为什么光武以如此隆重的礼节安葬一名普通战将。博士范升上疏说明了缘故：“臣窃见遵修行积善，竭忠于国，北平渔阳，西拒陇、蜀，先登坻上，深取略阳。众兵既退，独守冲难。制御士心，不越法度。所在吏人，不知有军。清名闻于海内，廉白着于当世。所得赏赐，辄尽与吏士，身无奇衣，家无私财。同产兄午以遵无子，娶妾送之，遵乃使人逆而不受，自以身任于国，不敢图生虑继嗣之计。临死遗诫牛车载丧，薄葬洛阳。问以家事，终无所言。任重道远，死而后已。遵为将军，取士皆用儒术，对酒设乐，必雅歌投壶。又建为孔子立后，奏置五经大夫。虽在军旅，不忘俎豆，可谓好礼悦乐，守死善道者也。”
自古以来，先公后私者已属难得，大公无私者更是凤毛麟角。像祭遵之类的儒生投身光武统一大业，是为了实现治国救民的儒家理想，所以他敢于犯颜执法，不避斧钺刑罚，拜官授爵不图利，不图子孙，更不是为了享受生活。更难得的是祭遵没有功名意识，竟没有留下一句豪言壮语，一生只是为信仰而默默奋斗。
《左传》借穆叔之口论不朽，说：“太上有立德，其次有立功，其次有立言，虽久不废，此之谓不朽”。古人又说青史留名者惟有立德最难，难为后人所知，祭遵精神的伟大被埋没了二千年。但是他实现了儒家最崇高的人生追求，儒家精神是我们的民族精神。
孔子说：“仁以为己任，不亦重乎。死而后已，不亦远乎。”仁人志士，任重道远，大公无私，死而后已。这就是儒家情怀。
“先天下之忧而忧，后天下之乐而乐，微斯人，吾孰与归？”。光武以后常常想起祭遵，禁不住流泪，说：“安得忧国奉公之臣如祭征虏者乎！”
这件事对于马援刺激很大，马援感奋之余，定不让祭遵专美，那么我们看看同被称作儒生的马援在历史上又是如何留下足迹的？
