自古名山佛占多。桂峰山，海拔1034米，是呂田境內的一座名山，也是從化流溪河的發(fā)源地之一。 傳說(shuō)很久很久以前，有幾個(gè)云游四海的高僧，路過(guò)呂田，就上桂峰山，受到當地村民盛情款待，奉上當地盛產(chǎn)的黃豆和豆腐。高僧說(shuō)：“黃豆、豆腐食無(wú)數，四處不及桂峰好。”
高僧詳細考察，發(fā)現桂峰山空氣好、水質(zhì)好、土質(zhì)好，還是石灰巖地帶，加上豆種不同，長(cháng)出來(lái)的黃豆粒小皮青。高僧贊曰：“真乃精品也，善哉，善哉！”高僧繼續考察制豆腐的工具和制作方法，發(fā)現當地人家是把黃豆放在青色的花崗巖石磨中手磨。高僧又問(wèn)：“山上不見(jiàn)青巖，此青石磨何來(lái)？”當地人說(shuō)：“有一天電閃雷鳴，1，轟轟巨響，山巖裂開(kāi)，極深處露出青石，十分光潔，后來(lái)用繩索將石工放下去開(kāi)采，制成石磨，磨出來(lái)的豆漿特別鮮滑，制成豆腐特別滑嫩，且不易破碎。”高僧嘆曰：“奇哉！奇哉！”
桂峰水流出呂田河，呂田墟周?chē)拇迩f也家家學(xué)會(huì )了磨豆腐，桂峰豆腐便發(fā)展成呂田豆腐了。