Василий Гроссман родился в интеллигентной еврейской семье. Его отец, Соломон Иосифович (Семён Осипович) Гроссман, инженер-химик, был выпускником Бернского университета и происходил из бессарабского купеческого рода. Мать — Екатерина (Малка) Савельевна Витис, преподаватель французского языка, происходила из состоятельного одесского семейства, получила образование во Франции. Родители Василия Гроссмана развелись, и мальчик воспитывался матерью. Ещё в детстве уменьшительная форма его имени Йося превратилась в Вася, и стала впоследствии его литературным псевдонимом. В 1922 году Гроссман окончил школу и поступил на химический факультет Московского государственного университета. После его окончания в 1929-32 гг. работал на угольной шахте в Донбассе инженером-химиком. Затем химиком-ассистентом в Донецком областном институте патологии и гигиены труда, ассистентом кафедры общей химии в Сталинском медицинском институте. С 1933 года постоянно жил и работал в Москве. В 1934 году опубликовал повесть из жизни шахтёров и заводской интеллигенции «Глюкауф», встретившую поддержку Горького, и рассказ о Гражданской войне «В городе Бердичеве». Успех этих произведений укрепил Гроссмана в желании стать профессиональным писателем. В 1935, 1936, 1937 гг. издавались сборники его рассказов, в 1937—1940 — две части эпической трилогии «Степан Кольчугин» — о революционном движении от 1905 года до Первой мировой войны. С первых дней Великой Отечественной войны и до Дня Победы Василий Гроссман был специальным корреспондентом газеты «Красная звезда». Работал на Белорусском и Украинском фронтах. В 1942 году написал повесть «Народ бессмертен», ставшую первым крупным произведением о войне. Участвовал в создании документального фильма о битве под Москвой. Во время битвы под Сталинградом находился на Сталинградском фронте. За участие в Сталинградской битве награждён орденом Красной Звезды. На мемориале Мамаева кургана выбиты слова из его очерка «Направление главного удара». Повести «Народ бессмертен», «Сталинградские очерки», другие военные очерки сложились в книгу 1945 года «В годы войны». Широкую известность получила книга «Треблинский ад», открывшая тему Холокоста, а в 1946 году — «Чёрная книга», составленная в соавторстве с Ильёй Эренбургом, но опубликованная лишь в 1980 году с купюрами в Израиле. Пьеса «Если верить пифагорейцам», написанная перед войной и опубликованная в 1946 г., была осуждена как «вредная».

С 1946 по 1959 год работал над дилогией «За правое дело» и «Жизнь и судьба». Эпический роман «За правое дело» (1952), написанный в традициях Льва Толстого и повествующий о Сталинградской битве, после разгромной критики в партийной печати Гроссман вынужден был переработать. На Втором съезде Союза писателей СССР в 1954 году Александр Фадеев признал, что его критика романа как «идеологически вредного» была несправедливой. Рукопись продолжения романа «За правое дело» — романа Жизнь и судьба, носящего резко антисталинский характер, над которым писатель работал с 1950 года, после того, как Вадим Кожевников передал её КГБ, в 1961 была конфискована в результате обыска КГБ у писателя. Другая копии в середине 1970-х, уже после смерти писателя, попала на Запад. Роман был опубликован за рубежом в 1980, а в СССР — в 1988 году, в перестройку. Вместе с «Жизнью и судьбой» была конфискована рукопись повести «Всё течёт», над которой Гроссман работал с 1955 года. Писатель создал новый вариант повести, который завершил в 1963 году (публикация за рубежом — 1970, в СССР — 1989). Посмертно издан сборник рассказов и очерков «Добро вам!». Очерки и записные книжки военных лет вошли в сборник «Годы войны» (М.: Правда, 1989).