李迥秀自幼便有英名，祖父和父亲都担任刺史，是世家出身。然而他的母亲出身贫贱，连姓什么都不知道，却是罕见的美女。当她在李家为婢女时，甚得主人宠爱，生下了李迥秀。可能是源于母亲的血统，李迥秀也长得眉清目秀，一表人才。他颇有文才，喜欢交友，兴起吟诗，不辞斗酒，但绝不因酒乱性，号称当代第一风雅人物。
武则天时有爱宠张易之。张易之的父亲死得早，母亲阿臧多年守寡。不想，不甘寂寞的阿臧看上了年轻俊秀的凤阁侍郎李迥秀，想要与之成亲，实际上也就是充当臧氏的面首。则天皇帝对才能、人品、容貌都相当杰出的李迥秀非常有好感。因此，偶尔会召他和他的母亲到宫中，给予优厚的待遇。婢女出身的母亲，享受如此待遇使李迥秀心中很感激皇上。当他知道皇上要把阿藏嫁给他时，心中非常苦恼。他早有妻妾，但又怕为此事犯违敕之罪，让宗族及个人蒙受不幸。加上张易之的权力威逼，不得已接受这项敕命。
李迥秀在张易之和女皇的双重压力下被迫答应了这门婚事。可是，成亲当夜，阿臧满脸的皱纹、满头的白发，还是远远超出
李迥秀的心理承受能力。他几近疯狂，却无力反抗，只能日日买醉，荒饮无度，终日沉醉，唤之不醒。阿臧和张易之非常不满，便将
李迥秀贬到了衡州担任刺史。