慈湖书院
慈湖之滨有慈湖书院，为纪念南宋大儒杨简在此讲学。杨简，字敬仲，人称慈湖先生。
据文献记载，江西乐平县长乐坊、嵊县北门也有慈湖书院，分别建于元代和明代。乐平县学庙后面还有慈湖遗书阁，建于南宋。除了慈溪车厩有杨简墓，江西贵溪应天山麓也有杨简的衣冠冢。这些都是为纪念杨简曾经在此地做官讲学而建的。
明代国子监祭酒陈敬宗写过一首《过慈湖书院》，颂扬慈湖先生的道德文章：“青山郁郁树苍苍，中有慈湖旧讲堂。庭草尚含书带色，壁尘犹护墨花香。三秋霁月海天渺，千古清风云水长。留得遗书传后学，几回中夜仰奎光。”意为青山环抱，绿树掩映，其中有慈湖先生讲学传道的旧讲堂。庭院里长了荒草，但这荒草也好像带着书卷气；墙壁上布满灰尘，但拂去灰尘能看到前人留下的墨迹，就好像还透着墨香。几百年过去了，慈湖先生的形象依旧像茫茫海天衬托下的明月，他的风范就像千古不灭的流水清风。他的著作是留给后人的宝贵精神财富；他的故乡文运昌盛，是因为他就像天上的星星，在指引后人前进。
杨简在朝为官时，有一年北方金国遭遇大饥荒，百姓纷纷南下逃难，而南宋边将隔着淮河射箭，阻止百姓过淮河。杨简很伤心地说：都是一样的百姓，非但见死不救，还用箭射他们，真是没天理啊。他立即上奏朝廷，恳请给北方灾民一条生路。可是朝廷迟迟不予答复。当时，边将阻止北方金的百姓过淮河，原因有两个：一是南方宋的老百姓都不够吃，担心无力救济；二是怕给金兵入侵找到借口，因为当时南北宋金立有条约，规定无论南方或北方都不能收留对方的人民。而在杨简看来，北方和南方的老百姓都是一样的人，自己有吃的，就不能让别人饿死，况且孔子说过：“古之为政，爱人为大。不能爱人，不能有其身。”南宋朝廷不以北方百姓为念，又怎能得民心，最终又怎能自保呢？
南宋文学家洪迈写过一首《送杨简迁国子博士》，称赞杨简担任地方官时赈济灾民，就像老百姓的再生父母：
杨君解墨绶，去作国子师。邑人十万户，遮道婴儿啼。曩岁天旱苦，赤地无余遗。饥殍千百辈，上山争采薇。采薇有时尽，讵能救工饥。慨然顾自任，舍我将告谁。昧爽出厅事，日暮忘旋归。大家贮陈粟，出粜不敢迟。偷儿纷狗鼠，锄治如平时。一意摩手抚，如子得母慈。明年麦登，比屋无流移。史牒载循吏，于今亲见之。我亦受一廛，惜哉轻语离。桥山未迄役，酌饯疎酒卮。聊述路人颂，持作送君诗。
杨简为官一向正直敢言。当初宋理宗赵昀是权臣史弥远拥立的，而弥远曾经做过杨简的学生。有一次理宗问杨简：“听说史相小时候是您教过的？”杨简回答：“臣教弥远不是现在这样的。”理宗问：“此话怎讲？”杨简说：“弥远把君主当作棋子任意摆布。”理宗默然无言。后来理宗又把杨简说的话告诉弥远，弥远听了无奈地说：“臣师素有头疾，就让他回家休息去好了。”由此可见杨简忠君爱国，不计个人得失，并没有因为史弥远位高权重或曾经做过自己的学生而包庇他。
杨简的父亲杨庭显，人称老杨先生，具有很高的学养，是南宋大儒陆九渊十分敬佩的贤者。九渊曾称赞他说：“年在耄耋而其学日进者，当今所识，四明杨公一人而已。”而《宋元学案》也记载了老杨先生遇盗不惊的一个故事：
老杨先生家里进小偷了，第二天他召集子孙们说：“仆人刚告诉我家里来过小偷的时候，我心里很平静；张灯查看，丢的东西很多，我心里也很平静。现在对你们说这些话的时候，我心里还是很平静。”因为他说过：“财物是末事，爵位是末事，知此几事是末，则知本矣。”在他看来，丢失一些财物乃至爵位都不能算大事，如果懂得了这个道理，也就懂得了做人的根本。
还有一个以园仆为师的故事：
有一天老杨先生问种菜的园仆，地里的菜老被别人偷走，如何防盗？园仆说：“就当分一点给那些小偷好了。”老杨先生听了很高兴，说：“你是我的老师啊。”园仆讲的其实就是孔子提倡的“君子不尽利以遗民”，君子要同情生活有困难的人；而更深的意思则是老杨先生意识到自己的本心已被私欲污染，是园仆净化了他的灵魂。他曾说：“如有樵童牧子有以诲我，亦当敬听之。”——于是他能以园仆为师了。
光绪《慈溪县志》还记载了杨简的几位后裔，能继承先祖美德，如：
杨芮，字大章，杨简的五世孙。生活俭朴，却乐善好施，只要衣食稍有富余，就拿出来分给贫者。元代学士危素、御史余嘉宾等几次推荐他出来做官，都被他拒绝。明朝初年，有司又特意推荐他出山，也被他借口生病给辞了。他的儿子伯纯，授南康都昌县丞；孙子杨圭，知南阳郏县。《宋元学案》称赞他们祖孙三代“世笃先训，不丧所守”，不愧为慈湖先生后裔。
明嘉靖年间，又有一位杨简的裔孙杨淡，“笃奉先训，不忘所守”。他恢复了先祖的春秋二祭，在慈湖书院以西构筑朴素的小楼三间，题曰“鸠居”。“鸠居”出自《诗经·鹊巢》，后演化为成语“鸠居鹊巢”——这是杨淡自谦之辞，谓自己不能继承先祖德业，居之有愧。小楼前有八九亩菜园，产量却能超过平常人家的十亩地，因此每年都有富余。他是一位自食其力、无求于外人的高士。人们称赞他的生活方式“勤勉而不劳累，简朴而不贫困，节俭而能布施，快乐而不放纵”，颇有五柳先生陶渊明风范。
应佛大妻杨氏，也是杨简后裔。佛大在明朝灭亡后看破红尘，当了和尚，留下杨氏一人守节，过着贫苦生活。顺治十一年（1654），官府为表彰她的品行，赐予匾额花红，邻里都感到光荣，而她坚决不要，说：“丈夫祝发远游，无意于人世，我还要这些做什么？”颇有夫唱妇随、不食周粟的气节。在她去世后，官府表彰她为义妇。
杨简的后裔也有迁居郡城的，如明代刘球在《杨氏重庆堂记》中写道：鄞县重庆堂杨氏乃杨简后裔，由慈溪迁鄞县，世守诗礼，唯善是宝，乐善好施。其中有一位叫杨寔，字诚之，举人。他家四世同堂，祖父母与父母俱存，故名其堂曰“重庆”。
此外，《四明谈助》记载“东城杨氏”，有一位安成训导杨实，曾编修成化《四明郡志》，“世绍慈水家学”。由此推测，“杨实”与“杨寔”可能为同一人，是杨简后裔。