вообщето jar - это всего-лишь навсего архив. на основе arj. сам байт-код находится в *.class.
а как именно байт-код приедет к вам на корыто - не важно. по отдельному классу, в подписанном архиве - дело техники.

главное это то, что llvm компилит все вначале в байткод (собственно также делает и gcc), а потом уже этот байткод под конкретную платформу либо в файл (также делает и gcc), либо на лету в память и выполняет как обычную программу (вот тут-то он и отличается от gcc). и делает он это максимально быстро (по крайней мере стремится. ведь это и есть цель проекта)

а так да, работа может быть похожа на загрузку jar из сети и его выполнения. но не в песочнице, а полноценно, нативно и т.д., и т.п.
в общем лично я считаю, что llvm - это очень большой конкурент .net может стать.