和哥哥一样，他的名字也出自于《易经》。每个方以智的研究者都会提到他名字的出处：《易大传》第十一章"耆之德圆而神，卦之德方以智；六爻之义，易以贡。圣人以此洗心，退藏于密，吉凶与民同患。"经学大家方大镇据此为其长孙命名方以智，字密之，真是巧合天成，高明之至。《易文言传》对"坤"卦第二爻的解释"直其正也，方其义也。君子敬以直内，义以方外，敬义立，而德不孤"。方其义的名字也是方大镇取的，姓方名其义，字直之，对照《易》之传辞，同样也是奇巧之合，天衣无缝。

他一岁多丧母，幸好二姑方维仪寡居娘家，又无儿女，便接过了抚育侄儿的重担。哥哥方以智长他将近10岁，他视之为师，方家弟兄就这么两个，手足情深不难想象。《桐城耆旧传》载方以智"有异禀，年十五，群经子史略能背诵，博涉多奇。"

幼年丧母的方其义，在姑母的恩养和兄长的教诲下成长，也是聪灵早慧，学有建树。在《方以智年谱·传略》里，说到他这唯一的弟弟，附有这样的释文："方其义，字直之，中丞孔炤仲子也。未入塾，能辨四声。属以对句，出人意表。长而笃嗜古学经济之书……其兄愚者，诗名倾当世。其义出，遂与齐名。又矫捷多力，挽强善射……其义博洽多艺，临池篆刻，击剑弹棋，无所不工。里人宝其书法。所著《时术堂集》十卷行世。"可见方其义的才情智能和方以智不相上下。

惜乎生逢乱世，他求生于战火烽烟的夹缝中，虽有文才武略，又有何人来识？报国无门啊！他的郁闷可想而知。1634年桐城民变后，方家移居南京，其义年才15岁。跟在哥哥方以智和姐夫孙临后面，也是好武任侠，狎妓斗酒，名士做派。《桐城耆旧传·方密之传》后，关于方直之附录有这样的文字："好侠，工为诗，力能挽五百斤弓。尝客黄靖南侯所，较射连发皆中的，侯大惊。"在同一本书《孙临传》中则附有这样的文字："尝偕方直之大雪中，挟妓游钟山下，戎服骤马过通衢,避不及者或至颠扑。"

方以智于1640年进京为官，此后至1644年明亡国破，这四年间方其义在南京一定是情怀激烈，悲不能抑的。首先他的父亲方孔炤因战事失利被下在京城狱中，其次他的岳父张秉文战死在山东济南抗清前线，岳母同时也是他的大姑母方孟式投大明湖殉节。他独立支撑着一个千疮百孔、支离破碎的家，其痛必是难当。家事、国事、天下事，事事痛心。接下来，天崩地坼，国破朝改，他们一家人分散逃亡，流离数年，才返回桐城家中，依老父隐居在白鹿山庄。可是，1646年，姐夫兼挚友孙临又战死福建莆城，姐姐方子耀和外甥孙中岳流落在外，哥哥方以智更是在秘密斗争中生死未卜，嫂子和最小的侄儿也不知漂泊在何方。可以想见此时的方其义心中之悲苦以及肩上之责任。

方其义虽因自身年幼和政局动荡未曾参加考试取得功名，但他的出身决定了他的遗民本质，而他也一直跟在哥哥方以智和姐夫孙临后面，参与了复社的许多活动，他的女儿就许给了复社名士陈名夏之子。他还有一个儿子方中发，在他死后，这个儿子也和方以智另外三个儿子一起，参与了方以智的许多秘密活动。国破家亡之际，方其义眼睁睁看着身边的亲人和朋友死的死、逃的逃，而他却使不上一点儿力量，能不摧肝裂胆，壮怀激烈。