Fotogrammetria
In questa serie di video tutorial imparerai ad usare la fotogrammetria per generare un modello 3d di un oggetto reale e pubblicarlo su web e realtà aumentata con My AR Studio.
[1/7] Introduzione
La fotogrammetria è una tecnica di rilievo che permette di acquisire dei dati metrici di un oggetto tramite l'analisi di immagini.
Utilizzerai dei dispositivi di uso comune come il tuo smartphone o una fotocamera e software disponibili come Metashape e Blender.
Infine li pubblicherai sul web per condividerli via browser e realtà aumentata senza bisogno di app con My AR Studio.
Avremo bisogno di:
- Una macchina fotografica o uno smartphone per fotografare l'oggetto
- Opzionalmente di una app per scatti automatizzati come Phototimer+
- Un software di fotogrammetria come Metashape per generare il modello
- Un software di modellazione 3d come Blender per correggere il modello
- Un editor di immagini come Photoshop per correggere la texture
- Un account su My AR Studio
[2/7] Scattare le foto
Il set fotografico
Per scattare correttamente le fotografie del nostro oggetto avremo bisogno di:
- uno smartphone o una fotocamera.
- un marker (se non ne avete uno pronto potete scaricarne uno cliccando sul pulsante) Scarica il marker
- un oggetto da riprendere, l'importante è che sia opaco. Infatti non si possono generare in modo affidabile modelli di oggetti lucidi o riflettenti.
- un supporto per tenere l'oggetto sollevato.
Scegliamo un ambiente con una luce morbida e sistemiamo i marker 1, posizionandoli in modo da lasciare al centro lo spazio necessario per l'oggetto.
Misuriamo e annotiamo la distanza tra i marker 2, ci servirà più tardi, e posizioniamo quindi l'oggetto al centro 3.
Scattare le foto
Usiamo la nostra macchina fotografica o smartphone per prendere le foto. Se utilizziamo un iPhone, scarichiamo e apriamo Phototimer+. Settiamo quindi il numero di foto a 40 e premiamo take photos.
Scattiamo: 40 foto da sopra 1, 40 foto al centro 2, 40 foto da sotto 3.
[3/7] Generare il modello
Generare la Point Cloud
Apriamo Metashape e andiamo su Workflow > Add Photos 1. Selezioniamo le foto precedentemente scattate con SHIFT + tasto sinistro del mouse e clicchiamo quindi Apri 2.
Dal menu in basso selezioniamo tutte le foto 1, clicchiamo quindi Workflow > Align Photos 2. Manteniamo i parametri standard 3 e clicchiamo OK. Al termine del processo ci troveremo con una point cloud preliminare del nostro oggetto.
Rifinire la Point Cloud
Clicchiamo sull'Icona della Fotocamera 1 per nascondere le foto. Utilizziamo quindi lo Strumento di Selezione 2 per selezionare i punti indesiderati 3 ed eliminiamoli premendo CANC. Continuiamo così fino a restringere il campo attorno al nostro oggetto.
Clicchiamo ora con il tasto destro su una foto, selezioniamo Estimate Image Quality 1, selezioniamo All Cameras 2 e OK. Eliminiamo quindi tutte le foto di qualità inferiore a 0.5 3, in modo da ottenere uno scan di qualità.
Scalare la scansione
Andiamo ora su Tools > Markers > Detect Markers 1, clicchiamo OK. I marker verranno quindi rilevati e mostrati sul menu a sinistra 2.
Ora recuperiamo i dati di distanza tra i marker misurati nel tutorial precedente. Selezioniamo una coppia di marker, clicchiamo tasto destro > Create Scale Bar 1 e assegnamo il valore misurato. Ripetiamo l'operazione per i restanti marker e clicchiamo Check Scale Bar 2, il modello verrà quindi scalato alle dimensioni reali.
Generare la mesh
Aumentiamo la definizione della Point Cloud cliccando su Workflow > Build Dense Cloud 1 e dando OK. Successivamente generiamo la mesh cliccando su Workflow > Build Mesh 2 e dando OK 3.
Riprendiamo ora lo Strumento di Selezione 1, ed eliminiamo gli eccessi 2 premendo CANC.
Infine clicchiamo su Workflow > Build Texture 1. Abbiamo così ottenuto così il nostro modello, quasi definitivo. I dettagli sono realistici ma necessitiamo ancora di un po' di editing per rifinire le superfici.
Esportare il modello
Clicchiamo su Export > Export Model 1. Assicuriamoci che il formato selezionato sia obj 2. Assegnamo un nome 3. Scegliamo il formato per la texture tra jpg e png e confermiamo l'esportazione.
[4/7] Importare la scansione 3d in Blender
Importare la scansione
Apriamo Blender e cancelliamo subito gli oggetti presenti nella scena di default. Clicchiamo il menu Select > All 1 e premiamo CANC sulla tastiera. Successivamente clicchiamo il menu File > Import > Wavefront (.obj) 2 e importiamo il file della scansione.
La vista 3d
Se l'oggetto viene importato al di fuori della vista corrente, basterà cliccare il menu View > Frame All 1 per mostrarlo.
Per spostarci nello spazio 3d possiamo usare i gizmo sul lato destro della vista:
- la croce 2 ruota la vista e, cliccando sui pallini, la allinea agli assi
- la lente 3 ingrandisce la vista
- la mano 4 sposta la vista
- il reticolo 5 passa alla vista ortogonale
Allineare l'oggetto
La scansione della scarpa non è orientata correttamente ed è spostata rispetto al centro degli assi. Vediamo anche che le dimensioni della scarpa sono fuori scala.
Usiamo gli strumenti Move 1, Rotate 2 e Scale 3 per posizionarla correttamente.
Cliccando sulla piccola freccia sul bordo destro della finestra 3D apriremo il pannello delle coordinate 4. Impostando numericamente le coordinate potremo posizionare la scarpa con molta più precisione.
Impostare il materiale
Clicchiamo sulla tab Shading 1 per impostare il materiale della scarpa
Trasciniamo il file della texture della scarpa nell' editor a nodi 2 e la colleghiamo 3 al nodo materiale
Impostiamo i seguenti parametri sul nodo materiale:
- roughness a 1 4
- specular a 0 5
Salvare il file blend
Ora che la scarpa è stata impostata correttamente possiamo salvarla. Clicchiamo sul menu File > Save As 1. Selezioniamo la cartella di salvataggio 2, impostiamo "air jordan 01" come nome file 3 e clicchiamo Save As 4.
[5/7] Correggere la scansione
Sculpt mode
In questo tutorial vedremo come correggere gli errori di scansione del modello utilizzando le funzioni di sculpting di blender.
Per entrare in sculpt mode selezioniamo la scarpa 1 e clicchiamo sulla tab Sculpting 2. Se dovessimo uscire per sbaglio dallo sculpt mode, basterà ri-selezionare la scarpa e scegliere la voce Sculpt Mode dal menu di scelta del modo d'interazione 3.
Allarghiamo la Toolbar 4 con tutti i pennelli per lo sculpting. Vedendone i nomi sarà più facile utilizzarli.
Nel tutorial precedente abbiamo visto come utilizzare i gizmo di navigazione della vista 3d 5. In questo tutorial invece utilizzeremo mouse e tastiera in questa maniera:
- premendo la rotellina del mouse ruoteremo la vista
- premendo SHIFT insieme alla rotellina del mouse sposteremo la vista
- girando la rotellina ingrandiremo la vista
Pulire il rumore
Per prima cosa andremo a sistemare il rumore a bande creato dalla scansione. Scorriamo la lista dei pennelli ed attiviamo Mesh Filter 1. Dal menu in alto selezioniamo il filtro Surface Smooth 2.
Clicchiamo in un qualunque punto della vista 3d e trasciniamo verso destra 3. Più trasciniamo più il filtro pulirà il rumore.
Riempire gli incavi
Per riempire le parti "mangiate" della scarpa useremo il pennello Clay 1 in questo modo:
- Cliccando e trascinando il mouse riempiremo gli incavi
- Tenendo premuto CTRL mentre dipingiamo toglieremo materiale
- Premendo SHIFT mentre dipingiamo andremo a lisciare la superficie
Alternativamente, per lisciare la superficie possiamo usare direttamente il pennello Smooth 2. Inoltre, variando il parametro strength 3, regoleremo l'effetto di ogni pennello.
Proteggere la superficie
Per proteggere parti della scarpa che non vogliamo modificare useremo il pennello Mask 1. Aumentiamo la strength 2 del pennello a 1 per ottenere la massima protezione e procediamo così:
- Cliccando e trascinando il mouse dipingeremo la maschera di protezione
- Tenendo premuto CTRL mentre dipingiamo cancelleremo la maschera
- Premendo SHIFT mentre dipingiamo sfocheremo la maschera
Dopo aver pulito il modello andremo a salvare un nuovo file cliccando sul menu File > Save As.
[6/7] Correggere la texture
Smacchiare la scarpa
Apriamo la texture della scarpa in Photoshop. Usiamo lo strumento Toppa 1 per cancellare le macchie in questo modo:
- selezioniamo l'area che contiene una macchia 2
- trasciniamo la selezione in un punto pulito della scarpa
Ripetiamo l'operazione finché non eliminiamo un buon numero di macchie. Salviamo un nuovo file cliccando sul menu File > Salva con Nome 3.
Controllare il risultato
In Blender, clicchiamo sull'icona della cartellina 1 del nodo texture del materiale della scarpa. Carichiamo l'immagine appena salvata e controlliamo il risultato sul modello 2.
Ripeteremo l'operazione ogni volta che vorremo controllare l'avanzamento del lavoro.
Rimuovere il supporto
Usando lo strumento Lazo 1 selezioniamo un pezzo di suola 2. Duplichiamolo in un nuovo livello cliccando sul menu Modifica > Copia e Modifica > Incolla 3. Spostiamo il nuovo livello sopra al supporto usando lo Strumento Sposta 4.
Duplichiamo il livello trascinandolo sull' icona aggiunta livello 5 del pannello livelli. Lo spostiamo per coprire meglio il supporto e ripetiamo l'operazione finché necessario. Dal menu del pannello livelli scegliamo Unisci Visibili 6 per fondere assieme tutti i livelli che abbiamo creato.
Selezioniamo e duplichiamo un altro pezzo di suola. Clicchiamo sul menu Modifica > Trasformazione Libera 1 e posizioniamo il livello a coprire il lato del supporto. Se necessario possiamo deformare il livello tenendo premuto CTRL mentre spostiamo i punti di controllo 2. Ripetiamo l'operazione finché necessario.
Uniamo i livelli e con lo Strumento Toppa rifiniamo i bordi della zona. Sovrascriviamo l'immagine cliccando sul menu File > Salva 3.
Infine in Blender ricarichiamo l'immagine della texture e salviamo un nuovo file cliccando sul menu File > Save As.
[7/7] Esportare per My AR Studio
Per esportare un file GLB ottimizzato per My AR Studio andremo a modificare sia la texture che il modello della scarpa. Lo scopo è di far pesare il meno possibile il file mantenendo però la massima qualità del risultato finale.
Ottimizzare la texture
Apriamo la texture in Photoshop. Clicchiamo sul menu Immagine > Dimensione Immagine 1 e impostiamo la nuova dimensione a 2048 pixel 2.
Clicchiamo sul menu File > Salva con Nome 1 e salviamo una nuova copia della texture scegliendo il formato jpg 2.
Ottimizzare il modello
Apriamo la scarpa in Blender e clicchiamo l'icona della cartellina 1 sul nodo texture del materiale. Selezioniamo l'immagine appena salvata 2 e la carichiamo 3.
Clicchiamo sulla tab Layout 1 e attiviamo la modalità Wireframe 2. Con la scarpa selezionata aggiungiamo un modificatore Decimate 3. Diminuiamo il valore di Ratio a 0.25 4 per ridurre il numero di poligoni.
Andiamo in modalità solid 1 e notiamo che si vedono gli spigoli dei poligoni. Clicchiamo sul menu Object > Shade Smooth 2 per impostare un ombreggiatura morbida.
Esportare il GLB
Andiamo sul menu File > Export > glTF 2.0 1 Apriamo il pannello Geometry e attiviamo l'opzione Apply Modifiers 2 per esportare la geometria semplificata. Diamo un nome significativo al file e clicchiamo su EXPORT GLTF 2.0 3.
Caricare in My AR Studio
Apriamo My AR Studio e clicchiamo l'icona di nuovo progetto.
Trasciniamo il file GLB appena esportato dentro la finestra 1. Impostiamo un illuminazione a piacere e creiamo il poster 2. Diamo un nome al progetto 3 e infine lo pubblichiamo 4.
