¿Qué son la latencia, el lag y el ping y por qué es útil conocerlos?

La latencia, el lag y el ping son algunos conceptos que hemos escuchado con frecuencia, ¿Qué son y por qué conocerlos es útil?