調べたら出るとは思うけど
「VLC ビデオソース」を表示させるには、PCに「VLC media player」がインストールされてる必要がある。
「VLC media player」をインストールしてからOBS Studioを起動したらソースに表示される。
2017年08月29日 14時40分現在のバージョンなら

Windows
32bit OBS Studioで使うなら32bit版 VLC media player
http://get.videolan.org/vlc/2.2.6/win32/vlc-2.2.6-win32.exe
64bit OBS Studioで使うなら64bit版 VLC media player
http://get.videolan.org/vlc/2.2.6/win64/vlc-2.2.6-win64.exe

Mac
https://get.videolan.org/vlc/2.2.6/macosx/vlc-2.2.6.dmg