Johannes nasceu no dia 23 de Novembro de 1837, em Leyden, na Holanda. A sua infância e juventude foi passada na sua terra natal, onde recebeu a sua educação, e onde acaba por dar aulas, posteriormente.

Em 1865 licenciou-se em Física e Matemática, concluindo o seu doutoramento, em 1873  com uma tese intitulada ” Acerca da continuidade da fase gasosa e líquida”. Todos os seus trabalhos na área da física, foram na vertente dos gases, daí ter ganho, em 1910, o Prémio Nobel da Física pelo seu trabalho com a equação para os estados líquidos e gasosos.

Para além do Prémio Nobel da Física van der Waals, recebeu outros prémios e distinções, de entre os quais se destacam, membro honorário da Sociedade Imperial de Naturalistas de Moscovo, da Royal Irish Academy, da Sociedade Filosófica Americana.

Casou com Anna Magdalena Smit, em 1864, que morreu jovem, deixando-o com três filhas e um filho. Johannes não voltou a casar, acabando por falecer em 1923, no dia 8 de Março, em Amesterdão.