VRで使われるHMDを素通し形にすれば、眼前に広がる現実世界にバーチャルな世界を重ねて表示することができる。こういうHMDをシースルー型HMDと呼ぶが、技術的には大別して2つのタイプがある。
1つは「光学シースルー」で、ハーフミラーを用いてリアルとバーチャルを光学的に重ねる方式、もう1つは「ビデオシースルー」で、外界をカメラでとり込み、それにバーチャルな映像を重ねるという方式である。冒頭の写真は、最近話題のHoloLensだが、これは光学シースルーである。
1990年代のおわりごろ、当時の通産省が大型プロジェクトとして、MRをとりあげている。この時代にARの国策会社があったと聞くと、びっくりする人がいるのではないだろうか（昔の役所は今よりずっと実験的精神に富んでいたと、著者は思っている）。このプロジェクトは通産省支援の下、キヤノンによって設立された「MRシステム研究所」によって実施され、大学(東大・北大・筑波大)が協力するという形をとった。
MRシステム研究所では、シースルー型HMDの開発をはじめとして、実写画像ベースのバーチャル世界の構築技術の開発、リアルとバーチャルが融合する際の人体影響の調査など、さまざまな角度から革新的技術が研究された。下の写真は、著者の研究室で試作した「サイバーシティ―・ウォーカー」であり、本気で開発すれば、Google Street View に先んじたかもしれないシステムであった。
MRプロジェクトは5年間つづくが、プロジェクトを進めていくうちに、面白いことに気が付いた。MR、特にARに要求されるVRは、これまでのVRとやや違った性格を持つということであった。
