LinuxやMac OS X，WindowsなどのOSは，事務机上の操作・状態を画面に置き換えることでユーザー・インタフェース（GUI）を表現している。
GUIの4大要素は，ウインドウ，メニュー，アイコン，マウス・ポインタだ。最も単純な場合，すべての要素が1つのディスプレイ画面，すなわちデスクトップ内に収まっている。Windowsはこのタイプだ。
一方，X Window Systemでは，ウインドウを複数のデスクトップに配置できる。各デスクトップを「仮想デスクトップ」と呼ぶ（写真1）。ディスプレイ画面には，そのうち一つのデスクトップが表示される。通常，すべての仮想デスクトップに同一メニューとアイコンを表示する。
一方，アプリケーション・ソフトウエアなどが開くウインドウは，どの仮想デスクトップ上に表示するかをユーザーが指定できる。
このような仕組みを採ったため，ディスプレイ装置が1台しかない場合でも，例えば，特定のアプリケーション・ソフトウエアを用いる作業ウインドウは仮想デスクトップ1を使い，別の一連のファイル処理用のウインドウは仮想デスクトップ2を用いる，というように作業内容ごとにデスクトップを分けることができる。これも現実世界の一種の比喩となっている。
GNOMEやKDEなどは標準設定では4つの仮想デスクトップが利用できる。「4」という数に意味はなく，多くのLinuxディストリビューションでは簡単な操作で仮想デスクトップの数を変更できる。
2005年から開発が始まったXgl（X over OpenGL）は，デスクトップを3次元グラフィックス用のAPIであるOpenGLを用いて描画する。このため，4つのデスクトップを立方体の4つの側面に張り付け，回転させることで切り替えるといったGUIの表現が可能になっている（写真2）。
