Carl Malmsten arbetade inom analysen, där han bl.a. gav bidrag till teorierna för oändliga serier och differentialekvationer. Han införde även Cauchys metoder vid behandlingen av analysens grunder. Malmsten verkade även inom sannolikhetsteorin, speciellt rörande dess tillämpningar inom försäkringsväsendet.