Figuur 1: Meta Quest 2.

Metodologie, Datastelle en Pose-estimasiepyplyn

Die projek het begin met ’n stel sinteties gegenereerde datastelle volgens die LineMOD-formaat, wat uitgebrei is om verskillende beligtingstoestande, agtergronde en obstruksies te dek. Hierdie datastelle is gebruik om EfficientPose, ’n gevorderde 6DoF-pose-estimasienetwerk, op te lei.

Daarna is werklike data vasgelê met behulp van die VR-headset se eie ruimtelike karteringsensors, terwyl twee Logitech C270-webkameras RGB-data in reële tyd aan EfficientPose verskaf het.

Om die diep-leer-benadering te vergelyk, is ’n ArUco-merkerpyplyn parallel geïmplementeer. Beide pyplyne het hul pose-uitsette na die VR-enjin gestuur, wat elke voorwerp met minimale vertraging in die gebruiker se gesigsveld gerender het.

Tasbare Immersie—Waarom Kartering Belangrik is

Ten spyte van pogings om VR so realisties as moontlik te maak, bly daar ’n groot gaping. Huidige tegnologie laat nie gebruikers toe om die virtuele omgewing fisies te voel nie, wat die immersie van die ervaring beperk.

Visuele kwaliteit alleen is nie genoeg as jou hande nie werklik deel voel van die toneel nie. Plastiek-beheerders herinner jou aan hul vorm, en handopsporing sonder hulpmiddels bied geen tasbare terugvoer nie.

Deur werklike voorwerpe soos ’n beker, sleutel of gereedskap in VR te karteer, word hierdie probleem opgelos en word die tasbare ervaring herstel:

• Tekstuur en oppervlak: Voel die hout van ’n hamer of die groefies van ’n voorwerp.
• Gewig en traagheid: Lig ’n werklike voorwerp en sien hoe dit identies in VR beweeg.
• Temperatuur: Ervaar die koue van metaal in ’n simulasie.

Hierdie benadering gebruik bekostigbare kameras en alledaagse voorwerpe, en vermy die koste en kompleksiteit van spesiale haptiese handskoene of toestelle.