En principio hay un sistema vst nativo para Linux
Las librerías se bajan de la página de desarrolladores de steinberg pero hay que estar registrado y nadie garantiza que la instalación funcione, y no se puede distribuir como un paquete normal de Linux (dev, rpm, pkg, etc). Además no tengo idea si el soporte sigue activo porque desde que se anunció han pasado años, yo personalmente nunca he tenido interés en instalarlo.
Tal como un vst para windows no te funciona en Mac y vice-versa, un vst de windows o mac no te funcionará en Linux. Teniendo acceso al código fuente se puede forkear en versión nativa para Linux.
En esta página tienen plugins vst nativos:
http://www.linux-vst.com/
Un host por excelencia para vst nativo es jost, pero qtractor y ardour-vst también soportan esta tecnología. Tienes que instalar la librería de steinberg y compilar estos programas con parámetros especiales.
Ahora, si lo que quieres es instalar un vst de windows en Linux tienes dos alternativas: dssi-vst y fst.
Ambos requieren de wine, básicamente windows actúa como capa intermedia que hace que un binario o librería de windows te funcione en linux. y con estos plugins puedes hacer que un vst te funcione como si fuera un DSSI.
Finalmente, existe un clon de vst para Linux, antes se dividía en dos Ladspa y DSSI. Ahora existe LV2 que es una combinación de ambos. Ahí puedes encontrar una amplia gama de plugins algunos muy buenos con guis muy profesionales. En mi caso personal mis necesidades de plugins tanto en instrumentos virtuales como en efectos están completamente cubiertas por la oferta que hay en Linux.
PD Off Topic: Lo único que me pregunto (En volá Pablo_F que todo lo sabe tiene la respuesta) es por qué todos los LV2 y DSSI que he visto tienen guis gtk, ¿será una restricción particular de estas tecnologías, o es sólo coincidencia?. ¿se podrá crear un LV2 con guis qt, tcl-tk o la gui de bristol?, y lo más importante ¿cómo lograron en LMMS crear un plugin zynaddsubfx con la gui de zynaddsubfx, no se podrá hacer lo mismo con LV2?