VIKI XR HCI HACKATHON 2025

I. AI Tréner a VR Képzésben

Milyen AI-alapú megoldás szolgálhat trénerként?

• LLM modellek integrációja, de on-prem megoldásként, azaz hálózati elérés nélkül futtatható SLM (Small Language Model) megoldások alkalmazásával.
  • Letölthető és helyben futtatható AI modellek, például:
  • DeepSeek Coder / Chat (kódolásra és általános asszisztensi feladatokra optimalizált SLM)
  • Mistral 7B / Mixtral (könnyen futtatható helyi LLM megoldások)
  • Llama 3 vagy Phi-2 (hatékony, kisebb nyelvi modellek XR trénerhez)
  • GPT4ALL vagy Whisper (hangvezérelt interakció támogatására)
•  Tréner formája és vizualizációja
  • Virtuális avatár vagy robot kiképző (pl. egy emberi karakter vagy android, amely SLM-alapú kommunikációt biztosít).
  • Holografikus mentor vagy monitor alapú instruktor, amely a helyben futó AI segítségével biztosít vizuális és hangalapú utasításokat.
  • AI által támogatott szimuláció, ahol az AI reagál a felhasználó mozgásaira és döntéseire VR környezetben.

II. HCI Interakció fejlesztése

Hálózatfüggetlen interakciós módszerek

• Hangvezérelt AI tréner – on-prem futtatható Whisper vagy Phi-2 modellekkel.
• Gesztusfelismerés és kézmozdulat-alapú interakció – az XR headset beépített kameráit vagy Leap Motion szenzort használva.
• Szemmozgás-követés – a tréner az AI által feldolgozott szemmozgási adatok alapján reagál.
• Multimodális interakciók – kombinált hangvezérlés, gesztusok és vizuális elemek használata.

Javasolt megoldási irányok és példák

AI Tréner egy virtuális kiképző formájában

• Megoldás: Egy emberi avatár vagy robotikus tréner, amely DeepSeek, Mistral vagy Llama alapú helyi SLM-modellt használ, és hálózat nélkül biztosít válaszokat.
• Példa: Egy katonai VR kiképzésben az AI értékeli a lövészgyakorlatokat, visszajelzést ad és szituációs döntéseket szimulál.

On-prem AI-alapú interaktív monitor vagy HUD instruktor

• Megoldás: Egy lebegő virtuális képernyő, amely helyben futó AI-modell (pl. DeepSeek vagy Mixtral) segítségével vizuális és szöveges visszacsatolást ad.
• Példa: Egy műszaki karbantartó VR-szimulációban a felhasználó egy AI által generált vizuális segédletet kap a hibajavításhoz.

Szemmozgás-alapú visszacsatolás AI trénerrel

• Megoldás: Egy AI vezérelt virtuális mentor, amely az XR headset beépített szemkövető technológiáját használja és lokálisan futó LLM-mel dolgozik.
• Példa: Egy pilóta VR kiképzésben az AI figyeli, hogy a kadét milyen műszerekre koncentrál, és visszacsatolást ad a helyes figyelemirányításról

Kezdeti koncepciók leadási határideje: 2025. március 25-ig.

Koncepció leadása ajánlott, de nem kötelező, amit a viki.hackathon@defenseinnovation.hu email címre van lehetőség megküldeni.

Hackathon kimenete és elvárások

• Egy működő prototípus vagy koncepció (on-prem SLM API integrációval, interakciós megoldással).
• Egy rövid prezentáció vagy demó, amely bemutatja a megoldást.
• Dokumentáció vagy pitch deck, amely magyarázza a technológiai megoldásokat és a potenciális alkalmazásokat.