Doit-on écrire "par moment" ou "par moments" ?

Exemples :

Ils viennent par moments sur la place.

Je suis si heureux par moments. 

Sa tête avait une laideur grandiose et fulgurante dont l’effet par moments était électrique et terrible.

Hugo, Étude sur Mirabeau

Cependant, « par moment », au singulier, existe aussi, bien qu’il soit plus rare. 

Et les rayons du jour brisés par le feuillage,
Se glissant par moment sous le mobile ombrage,

Lamartine, Visions

Il était à cheval. Eh bien ! il galopait par moment ventre à terre, et puis il s’arrêtait pour aller pas à pas. 

Balzac, La Maison du Chat-qui-pelote

Ils ont l’air par moment de cracher sur Dieu

Hugo, Les travailleurs de la mer

Il voudrait être de son âge, et par moment il en est comme malgré lui ; 

Sand, Les Beaux Messieurs de Bois-Doré