Saint Vaast de Longmont fut dédiée à l’abbé Saint Vaast (VIe siècle), évêque de Gaule franque chargé de l’éducation chrétienne de Clovis. Avec de grands espaces de terres cultivables, la commune est composée de bois, rûs, cavées et grottes...
L’église romane de Saint Vaast de Longmont date du XIIe siècle et a été classée bâtiment historique en 1883. Son clocher octogonal, comportant quatre niveaux, est l'un des plus beaux de l'Oise. Il contient Elizabette, une cloche de 541 kilogrammes et 1 mètre de diamètre.
La commune dispose de deux calvaires et deux lavoirs. Le château de Cappy néogothique en brique et sa serre témoignent d'un riche passé. La carrière Saint-Éloi, où furent extraites, depuis 1780, les pierres pour la construction du château de Compiègne, du barrage de Venette et de l’École Militaire de Paris, est encore visible.
