Arvid Horn var den svenska politikern med mest makt i Sverige i början av frihetstiden. Hans motståndare tyckte att de som höll med Arvid Horn ”pratade i nattmössan”. Det vill säga att de pratade strunt. Därför kallades partiet mössorna. Motståndarna kom efter detta att kallas för hattarna.