吕乂的父亲吕常，送原先的将军刘焉入蜀，因官道堵塞，于是不能返回中原。
吕乂自小失去父亲，喜好读书弹琴。当初，刘备平定益州，设置盐府校尉一职，管理盐、铁的财政收益，后来校尉王连请吕乂与南阳人杜祺、南乡人刘干等共为典曹都尉。吕乂后被升任为新都、绵竹县县令，他心地善良体恤百姓，百姓无不称颂，在本州各县城中首屈一指。又升任巴西太守。丞相诸葛亮连年出兵，征调各郡兵员、钱粮，不少地方都不能及时如数送交，吕乂召募士兵五千人交给诸葛亮，他对这些人进行慰问讲明道理并加以监督制约，这些人竟没有一人逃走。吕乂被转任为汉中太守，兼任督农，负责供应军需粮草。