1922年（大正11年）、福島県二本松市で、染物業を営む家に生まれる。安達太良山や阿武隈川の豊かな自然に触れて育ち、1943年（21歳）に東京美術学校（現・東京藝術大学）日本画科を繰り上げ卒業した。学徒出陣による過酷な戦地での体験を経て、復員後の1946年（24歳）に第2回日展で初入選を果たす。その後、1947年（25歳）に日本画壇の重鎮・山口蓬春に師事し、日本画家としての確固たる基盤を築き上げた。

1952年（30歳）、第8回日展において特選・白寿賞および朝倉賞をトリプル受賞し、画壇における存在感を一躍高める。1967年（45歳）の法隆寺金堂壁画再現模写への従事を経て、1968年（46歳）には文部大臣賞、1973年（51歳）には日本藝術院賞を受賞するなど、日展の中心的存在として活躍を見せた。さらに日展理事長や会長も歴任し、戦後の日本画壇を牽引した。

1996年（74歳）に勲三等瑞宝章を受章、1999年（77歳）に文化功労者として顕彰され、2006年（84歳）には最高の栄誉である文化勲章を受章。2009年に86歳で逝去した。

大山忠作の作風の最大の魅力は、対象の命を深く捉える確かな写生力と、生命感あふれる力強い筆致にある。その芸術的探求が実を結んだ歴史的代表作が、成田山新勝寺における壮大な制作である。1980年（58歳）の光輪閣襖絵第1期「日月春秋」28面を皮切りに、1984年の第2期「杉・松・竹」22面、および1992年の聖徳太子堂壁画に至るまで、幽玄かつ華麗な色彩感覚と四季折々の自然美が融合した大作を描き上げた。

「描きたいものを描く」という真摯な姿勢から生まれた数々のモチーフの中でも、水飛沫をあげて優美に泳ぐ「鯉」を描いた作品は、画伯の代名詞として絶大な人気を誇る。立身出世を願う縁起物としても多くの美術愛好家から求められており、富士山や故郷の福島を描いた風景画や、独自の色彩感覚で彩られた花鳥図とともに、その温かく力強い画面は見る者に深い感動を与える。