梁守谦为安定人，唐德宗贞元末年入宫，历任内府局令、学士院使、掖庭局令、内常侍等职。宪宗元和四年，“总枢密之任”。十一年冬，讨淮西吴元济，以梁守谦为行营招讨都监。次年五月，“诏命口阙，却秉机务”。然未置使， 至“宪宗元和中，始置枢密使二人”，“刘光琦、梁守谦皆为之”。 也不是二人同置，刘光琦元和元年“知密”。 梁守谦于元和四年接任其职事。
元和十三年，梁守谦任右监门卫上将军、右神策护军中尉，十五年，迁骠骑大将军，兼右武卫上将军，深得宪宗宠信，权势极大。梁守谦先后拥立过两位皇帝即位，即唐穆宗李恒和唐文宗李昂。宪宗死后，“宗社未定，公首册储贰，肃清宫闱”。左神策中尉吐突承璀欲立宪宗第二子澧王李恽，梁守谦联合王守澄、马进潭、刘承偕、韦元素等宦官，杀死吐突承璀与李恽，拥立穆宗。宝历二年冬，“彗起萧墙， 祸生宫掖，潜龙未震，神器不安。公引兵诛夷，旋定社稷”。指宦官刘克明、田务澄、许文端与苏佐明、王嘉宪等人勾结，杀害敬宗，欲立绛王李悟之事。据《资治通鉴》载：“克明等欲易置内侍之执权者，于是枢密使王守澄、杨承和、中尉魏从简、梁守谦定议，以卫兵迎江王涵入宫，使左右神策、飞龙兵进讨贼党，尽斩之”。
据《功德铭》载：“伏以元和、长庆释教大兴，雅叶所归，转得亲近。谨于大兴唐寺花严院，为国写古今翻译大小乘经论、戒律，合五千三百廿七卷。公私禄利，不入其门，凡是难得，无所爱惜，尝求善书者，令绝外尘，不饮茹，浴身至于精刹，焚香而就笔砚。择其力多者，以多价酬之，少者去之，人不约而自劝也”。反映了这一时期佛教兴盛以及统治者佞佛的基本状况。此事在梁守谦主持下，由于组织得法，管理严格，缮写了大量的经卷，为佛教的传播和发展作出了贡献。
大和元年春，梁守谦因病请求致仕，退归私第。同年十月二十日死，享年49岁。梁守谦历经德、顺、宪、穆、敬、文等六朝，从元和四年知枢密事至太和元年致仕，握重权达19年之久，是这一时期炙手可热的人物。