方敦崇实行，处道学风气之末，独守坚确。总督吴兴祚闻其名，使招之，方走匿，不能得也。事父母，色养靡不周，而心常如不及。遇有病，忧形於色，药必尝而后进。夜必衣冠侍，未尝就寝。及居丧，藉草宿柩旁，三年不入内。先人田庐，悉以与弟，授徒自给。族姻不能自存者，竭力资之。有达官赍重金乞其文为寿，不应；吏慑之，不应；家人告以绝粮，不应。乡曲子弟偶蹈不韪，有原就鞭扑，不原闻其事於方者。里中语曰：“可被他人笞，勿使胡君知。他人笞犹可，胡君愧煞我。”其从学者，仕与未仕，白首犹懔懔奉其教。虽困甚，终不入公庭。闻声向慕，以得见为喜，曰：“教我矣！”有以荫得官，则大惭曰：“吾未能信，得无辱我夫子。”方告之曰：“为官能不爱钱，致力於官守，有何不可？”其人卒不负其言。

四十后杜门著述，所居曰盐步。元和惠士奇督学粤东，闻方名，舣舟村外，遣吴生至其家求一见，急挥手曰：“学政未蒇事，不可见！不可见！”出吴而扃其门。士奇乃索所著书而去。试事毕，仍介吴生以请，则假一冠投刺，至，长揖曰：“今日斋沐谢知己。方年迈，无受教地，不能执弟子礼。”数语遂起。惠握其手曰：“纵不欲多语，敢问先生，乡人谁能为文者？”答曰：“并世中无人。必求之，惟明季梁朝钟耳！”士奇遂求梁文并各家文刻之，名曰岭南文选。既而疏荐於朝。士奇尝语吴生曰：“胡君貌似顾炎武，丰厚端伟，必享大名。”盖当时知方者，士奇一人而已。卒，年七十四。著有周易本义注六卷，四子书注十卷，庄子注四卷，鸿桷堂诗文集六卷。集中谒白沙祠诸作及白沙子论，具见渊源所自。

金竹冈村居住着胡、蔡两姓村民，其中胡姓人居多。当时，有个姓胡的“尊者”，平日依仗权势，目中无人。蔡姓有块屋地，靠近胡姓的地块。这“尊者”恃着本族人多，硬说这块屋地（住宅基地 ）是胡氏祖辈的遗产，意欲强占。蔡姓的人当然据理力争，可又拿不出地契为凭，唯有上告衙门打官司。

县官接获此案便亲自到村中查察，当事人双方各执已见，婆说婆有理，公说公有理，县官一时难以断案。忽然想起了村中知名人士胡方，他所写的道德文章不但论点有建树，而且深受乡民赞誉。县官想：不妨听听他对此案的看法，于是，马上召见胡方先生。

不一会，县官见他远远绕路而来，不踏足那块有是非争议的地块，心中便明白了几分，立刻将该屋地判给蔡姓的人。蔡姓的族人大喜，都说胡方先生公正；而姓胡“尊者”因为败诉，便泄怒于胡方先生，怪他不帮本姓，那位“尊者”恃着族老的身份，扬言赶胡方出族。胡方先生知道后，觉得已得罪了族人，无必要对族人耿耿于怀，斤斤计较，决定离开村子。于是，便迁往盐步（今佛山南海区）居住。后来，由于他学识渊博，刚正不阿，广东学政便向朝廷推荐，让他担任地方官员。后来，那名族老则众叛亲离，失去权势，渐渐没落。胡姓族人觉得胡方先生大义凛然，帮理不帮亲，公允无私，是无辜被逐出本族，实属冤屈，于是，派人去盐步寻访他，请他还族，胡方先生答应了族人的请求。

李蟠《岭南书风》有诗咏胡方“堂堂金竹希贤圣，书爱端芳不受圆，真草若从前代取，停云应许与随肩”。说明胡方的书法与文征明似。然楷书有异趣，文氏起笔多尖，胡恪守中锋，文氏字扁，胡氏字长，章草较今草尤胜，沉雄奇崛。?