1924年に神奈川県鎌倉市に生まれる。1943年（19歳）に慶應義塾大学文学部を中退し、東京美術学校（現・東京藝術大学）日本画科に入学。1952年（28歳）に同校を卒業後、山本丘人に師事した。

1954年（30歳）に新制作協会展に初入選を果たすが、やがて特定の美術団体に所属しない道を選ぶ。日本画のみならず、陶芸、挿絵、版画など幅広い分野で独自の創作活動を展開し、「孤高の画家」と呼ばれるようになった。1969年（45歳）、雅号を「淳」から本名の「淳作」に戻し、中央公論画廊にて初個展を開催した。

小泉淳作の作品は、自然や生命に対する深い洞察と、力強くも温かみのある筆致が特徴。初期の日本画から、後年のダイナミックな水墨画に至るまで、既成の枠組みにとらわれない自由な精神が貫かれている。

確かなデッサン力に裏打ちされた風景や植物の描写に加え、水墨の濃淡と余白を活かした表現は、見る者の心に深い精神性と静謐さをもたらす。どの団体にも属さず自己の芸術を追求し続けたその姿勢が、作品に比類なき気骨と品格を与えている。

1974年（50歳）に第1回創画会展に参加し入選。1977年（53歳）には第4回山種美術館賞展にて優秀賞を受賞するなど着実に評価を高めた。

2000年（76歳）に鎌倉・建長寺法堂の天井画「雲龍図」を完成させ、翌2001年（77歳）には京都・建仁寺法堂の天井画「双龍図」を完成させるという偉業を成し遂げる。同年、第50回神奈川文化賞を受賞。さらに2010年（86歳）、5年の歳月をかけて完成させた四十面の東大寺本坊襖絵を奉納した。2012年1月、87歳で逝去。