La leggenda racconta che Venanzio era imparentato con la famiglia dell'imperatore Carlo Magno (800-814), che era fratello del martire san Gengolfo e fratello di santa Farailde, venerata a Gent. Dopo avere vissuto qualche esperienza nell'esercito imperiale, lasciò il suo paese in segreto e iniziò a condurre una vita da eremita. Si stabilì allora in un luogo che in epoca più tarda prese il nome di Saint-Venant in suo onore, a poca distanza da Aire-sur‑la-Lys, nel dipartimento francese del Pas-de-Calais.

Qui conobbe sant'Isberga di cui divenne padre spirituale. Credendolo depositario di un tesoro, alcuni malviventi locali lo uccisero e gettarono il cadavere nel fiume Lys. Le tracce più antiche del suo culto, assai poco diffuso anche originariamente, risalgono al XV secolo.