1868年（明治元年）、水戸藩士の長男として茨城県水戸市に生まれる。1885年（17歳）に上京して私立東京英語学校に入学し、傍らで鉛筆画を学んだ後、1888年（20歳）に母方の姻戚である横山家を継ぎ、姓を横山と改めた。結城正明に毛筆画を学び、東京美術学校の創立準備室にいた狩野芳崖を訪ねて教えを受け、1889年に同校へ第1回生として入学。1893年に卒業後は、京都市立美術工芸学校助教諭を経て、東京美術学校助教授に就任する。1898年（30歳）、師である岡倉天心に殉じて同校を辞職し、日本美術院の創設に正員として参画した。

日本美術院では、菱田春草らとともに従来の日本画にはなかった線を抑えた没線描法に挑む。当初は「朦朧体（もうろうたい）」と揶揄されるほどの厳しい批判を浴びたが、1904年からの渡米、翌年のヨーロッパ巡回展（ロンドン、ベルリン、パリ）での高い評価を機に、逆輸入される形で国内での名声を確立した。1914年（46歳）には日本美術院を再興し、近代日本画壇の絶対的な中心として君臨する。

1929年（61歳）、ローマ開催の日本美術展覧会へ出品するための代表作『夜桜』を制作し、翌1930年に美術使節としてイタリアへ渡った。1937年（69歳）、その圧倒的な画業と日本美術への貢献が称えられ、記念すべき第1回文化勲章を受章する偉業を成し遂げる。晩年まで力強い筆を振るい続け、1957年（89歳）の『不二』を絶筆とし、1958年に90歳で逝去した。

横山大観の作風の最大の魅力は、深い精神性と気迫が漲る壮大なスケール感にある。輪郭線を用いず色彩や墨の滲みで描く革新的な技法「朦朧体」を開拓したのち、大正・昭和期には水墨画の神髄を極め、独自の表現世界を築き上げた。

中でも、生涯にわたり描き続けた「富士山」の作品群は、横山大観の名とともに不動の人気を誇る。日本人の魂の象徴として富士に向き合い続けた大観にとって、霊峰はたんなる風景の対象ではなく、日本の精神そのものであった。気高くそびえる富士の姿と、幽玄な墨の世界が織りなす風景画は、自然の描写を超えた力強いエネルギーを放ち、見る者の心に深く刻まれる。