Va néixer el 5 de desembre de 1866 a Moscou (Rússia). Va cursar estudis de pintura i dibuix en Odessa, i de Dret i Economia en la Universitat de Moscou. Quan va complir 30 anys es va traslladar a Munic. Encara que les seves primeres obres s'emmarquen dintre d'una línia naturalista, a partir de 1909, després d'un viatge a París en el qual va quedar profundament impressionat per les obres dels fauvistes i dels postimpressionistes, la seva pintura es va fer més colorista.

En 1911, va formar, juntament amb Franz Marc i altres expressionistes alemanys, el grup Der Blaue Reiter (el genet blau). La seva influència en el desenvolupament de l'art del segle XX es va fer encara major a través de les seves activitats com teòric i professor. En l'any 1912, va publicar “ De la part espiritual en l'art”, primer tractat teòric sobre l'abstracció.

Cap a 1913, va començar a treballar en les que serien considerades com les primeres obres totalment abstractes dintre de l'art modern: no feien cap referència a objectes del món físic i s'inspiraven en el món de la música, del que prenia els títols.

Va treballar com professor en l'Acadèmia de Belles Arts de Moscou entre 1918 i 1921, i entre 1922 i 1933 de la Bauhaus a Alemanya.

Les seves abstraccions es van tornar cada vegada més geomètriques, són un conjunt de línies, cercles, arcs i altres formes geomètriques. En obres molt posteriors, assoleix un bellíssim equilibri.

Va morir el 13 de desembre de 1944 en Neuilly-sud-Seine, als afores de París.