1953年以后，甘祖昌的脑震荡后遗症越来越严重，经常昏倒，1954年到庐山疗养治病，仍不见好转。他每日发愁，觉得自己做的工作太少了。1954年军阶鉴定，同志们一致通过他为正师级，报到总政治部，被批准为准军级，1955年授予少将军衔。在授衔仪式上，他穿着将军服，神采奕奕，但回家后却对妻子说：“比起那些为革命牺牲的老战友，我的贡献太少了，组织上给我的荣誉和地位太高了!”此后，他不止一次向组织上写报告：“我自1952年跌伤后，患了严重的脑震荡后遗症，不能再做领导工作了。但是我的手脚还是好的，请求组织上批准我回江西农村去，我愿为建设社会主义新农村做贡献。”当时，他的请求没被批准，1957年他又接着写。这一年，总政治部副主任萧华到新疆检查工作，他当面向萧华提出申请。最终，组织上批准了他的请求。

　　从新疆到江西，精简家什，却把家禽家畜优良品种带回去;带领乡亲种果树、改良田、修水库、建电厂、修桥筑路，恩施十里八乡，情系农民群众

　　1957年8月，甘祖昌带着家属从新疆动身回莲花。临行前，他对家人说：“新疆到莲花，路途遥远，要尽量少带行李，为国家节省点差旅费。”全家大小14人，行李精简成3个箱子，此外就是带了8只笼子，装着6头约克猪、15对安哥拉兔、15只来航鸡。

　　甘祖昌一到家，就把弟妹们叫来，说了两件事：“一是我回来当农民，和你们一样是个平民百姓，靠劳动过生活。你们看我把新疆家禽家畜的优良品种都带回来了，为的是在家乡发展生产;第二件事，我们的家庭以前受到国民党反动派的摧残，以后有苦同当，有福同享。我回来了，大家一块过好不好?”大家表示同意，公推大弟森昌当家，甘祖昌和他的孩子们都服从他的指挥。

　　农村的生活条件和卫生条件都很差，刚回来的时候，甘祖昌住在墙壁乌黑、光线阴暗的阁楼上，白天苍蝇成群，晚上蚊子肆虐。老伴担心他的身体，怕他适应不了。甘祖昌却很安然地说：“这有什么关系，苍蝇多勤拍打，蚊子多挂帐子，没电灯早睡觉，生活不是很好么?”

　　他每天天刚蒙蒙亮就起床，叫醒孩子们，每人背个粪筐，到村外去捡粪。他边走边对孩子们说：“狗屎最肥，猪屎也好，牛屎差一点，但喂鱼最合适。肥料是，庄稼才能长好。”半年时间里，甘祖昌和孩子们为队里集肥上万斤。村民们在他的带动下，也都早起拾粪了。甘祖昌又对孩子们说：“现在抬粪的人多了，这是好事。我们不和别人争肥料，以后你们每天早晚割一担草。牛要吃草，又可以沤肥。”这样，他又手把手地教孩子们割草。

　　初冬的一天，甘祖昌把全家人召集到屋后的虎形山上说：“我们队里人多田少，应该扩大耕地面积，这片荒山多可惜，把它开垦出来种上蔬菜，栽上果树多好!”

　　小弟洪昌有不同意见：“这片黄泥山不长庄稼，种了也白费力!”

　　甘祖昌摇摇头说：“不是土质不好，而是你们开垦的方法不对。南泥湾土质比这更差，庄稼同样长得很好。主要是挖得深，水份可渗入底层，不容易被太阳晒蒸发掉。方法是先把表层土挖五六寸深放置一边，再深挖下去一尺，然后把表土覆盖在上面，施上些农家肥，庄稼一定长得好。”大家听他说得有道理，决定试着干。甘祖昌本人带头，一冬天挥汗如雨，挖断了六七把锄头。工夫不负苦心人，第二年春天，在这片用汗水浇灌的土地上，终于长出了半斤多重的大萝卜、十几斤重一兜的大番薯。在甘祖昌的带动下，周围的乡亲也向荒山进军。寒冬腊月，甘祖昌又带领孩子到离家七八公里的苗圃去买树苗栽种在虎形山上。连续4年，栽果树上千棵，成活率95%以上。待虎形山成了花果山时，甘祖昌又把它无偿地交给了集体，并嘱咐孩子们，以后不准再上山摘果子吃。为国为民，功成身退，这就是甘祖昌的性格。

　　甘祖昌所在的坊楼沿背大队(现为沿背村)共有1400亩耕地，其中600多亩是冬水田，常年水汪汪，人牛下田烂泥没腿肚，亩产只有100多公斤，因此全大队年年吃国家返销粮。怎样才能改造好冬水田呢?甘祖昌查看了16个垅、60多块冬水田的土质。他想起了城市挖地下水道排除污水的方法，便把大队干部和部分中青年农民召集起来开座谈会，谈自己的想法。生产队长谢回生说：“开沟排水的确是个好方法，可以先搞一丘田做试验。”

　　在甘祖昌的倡导下，由谢回生、刘云林、谢秋苟、刘范朗等5人成立了改造冬水田实验小组。经过试验，开沟排水的方法成功了，当年种的红花草，第二年就获得丰收。接着，就在全大队推广，经过两三年的努力，亩产提高了50公斤，脱掉了“吃返销粮大队”的帽子。为了支付社员的劳动报酬，甘祖昌拿出自己多年的积蓄，给大队社员发奖金，改造l亩冬水田，奖钙镁磷或过磷酸钙25公斤。20世纪60年代头3年，他共发出化肥5万余斤。由于他带领群众改造红壤和冬水田成绩卓著，中国科学院江西分院聘请他为科学研究员，并邀请他到南昌参加过3次江西省农业科学大会。

　　1962年农历大年初二，坊楼公社(现为坊楼镇)书记刘可兴来拜访甘祖昌。甘祖昌紧握着他的手说：“老刘，全公社七八百亩望天田亩产只有400多斤，每年要吃返销粮300万斤，种田的没饭吃，这个问题你非解决不可。”刘可兴谦虚地说：“我来向你请教，靠你老人家支持把产量搞上去。”甘祖昌点头说：“好嘛，我们合作!”刘可兴提出修水库引水灌田，这正说到甘祖昌的心坎上。他高兴地说：“我们公社的田就得了两种病：一是肺结核，二是胃肠炎。犯胃肠炎的冬水田我们大队整治得初见成效。我想利用修水库的办法医治肺结核的望天田是完全有效的。只要你能把这两种病治好，群众就会拥护你。”

　　为了修水库，甘祖昌和刘可兴跋山涉水去勘测。他们走到小五庙、龙潭冲时，甘祖昌说：“看看，这里是天生建水库的地方，山上有股长流水，山下是石底，水面也不宽，可以节约很多劳动力。”他又走到浆山冲，找到一个石底水面窄的地方，对刘可兴说：“这小河下游，曾建过两次水库，都让大水给冲垮了。现在我选了这个地方，估计洪水流量不会很大，最适宜建坝。”经过详细研究，决定第一批先建两个水库。

　　修水库的计划报上去了，吉安地区特派水利工程人员来勘测，整个工程概算需四五十万元，县里拿不出钱来，公社也只有几万元经费。甘祖昌左思右想，想到了附近停产的峙垅煤矿，如果先把煤矿搞起来，拿挖煤赚的钱修水库，经费不就解决了吗?公社采纳了他的意见。煤矿两年创造了20多万元利润，基本上解决了修水库急需的经费开支。