Differences

This shows you the differences between two versions of the page.

--- projects:iotaiuto:mycroft [2021/12/10 10:04] – daniel
+++ projects:iotaiuto:mycroft [2021/12/15 13:10] (current) – daniel
@@ Line 153: / Line 153: @@
   * Andare su https://home.mycroft.ai/skills (o server locale) e inserire ip di home assistant e token
-===== Addestramento di una rete neurale =====
+==== Installazione DeepSpeech (pre addestrato) ====
-**ATTENZIONE**\\
-Usa questa parte di guida solo se vuoi addestrare manualmente una rete neurale DeepSpeech.\\
-Se vuoi usare la rete neurale DeepSpeech italiana già addestrata, salta questa parte.\\
-A breve caricherò una versione addestrata della rete neurale aggiornata con il nuovo dataset CommonVoice di mozilla.\\
-Requisiti: PC linux con scheda grafica nvidia
-Verificare se i driver nvidia sono installati:
-<code>
-nvidia-smi
-</code>
-Questo comando dovrebbe mostrare una tabella con alcune proprietà della gpu
-Installare docker e nvidia-docker: seguire una guida specifica per il proprio sistema operativo\\
-https://docs.docker.com/engine/install/\\
-https://github.com/NVIDIA/nvidia-docker\\
-Prima di proseguire è consigliato fare un test per assicurarsi che docker riesca a vedere la gpu
-Scaricare il dataset più recente di CommonVoice\\
-https://commonvoice.mozilla.org/it/datasets
-Dovrebbe essere un file chiamato it.tar.gz\\
-Posizionate l'archivio nella home e lanciate questi comandi:
-<code>
-cd $HOME
-mkdir -p data/sources
-chmod a+rwx -R data
-mv it.tar.gz data/sources
-chmod a+r data/sources/it.tar.gz
-</code>
-=== Creare l'immagine Docker: ===
-<code>
-cd $HOME
-git clone MozillaItalia/DeepSpeech-Italian-Model.git
-cd DeepSpeech-Italian-Model/DeepSpeech
-</code>
-Nella versione di DeepSpeech che stiamo usand sono presenti alcuni bug. Possiamo correggerli cambiando il file
-"generate_base_dockerfile.sh"
-con una versione modificata che trovate qui:
-https://github.com/danieltinazzi/DeepSpeech-Italian-Model/blob/master/DeepSpeech/generate_base_dockerfile.sh
-<code>
-chmod +x generate_base_dockerfile.sh
-./generate_base_dockerfile.sh
-docker build . -f Dockerfile.train -t deepspeech/base:0.9.3
-docker build . -f Dockerfile_it.train -t deepspeech/it
-</code>
-=== Avviare l'addestramento ===
-<code>
-docker run -e "TRANSFER_LEARNING=1" --rm --gpus all --mount type=bind,src=$HOME/data,dst=/mnt -it deepspeech/it
-</code>
-Se non avete un supercomputer potrebbe essere necessario modificare il BATCH_SIZE
+DeepSpeech è il motore STT di Mozilla\\
+Scaricare ed estrarre questo modello basato su DeepSpeech:\\
+https://coqui.ai/italian/jaco-assistant/v0.0.1
-Funzionante sul mio laptop con gpu 4gb:
-<code>
-docker run -e "BATCH_SIZE=32" -e "TRANSFER_LEARNING=1" --rm --gpus all --mount type=bind,src=$HOME/data,dst=/mnt -it deepspeech/it
-</code>
-Work in progress.
-==== Installazione DeepSpeech (pre addestrato) ====
-DeepSpeech è il motore STT di Mozilla\\
 Dal terminale del raspberry:
 <code>
@@ Line 235: / Line 168: @@
 mkdir deepspeech
 cd deepspeech
-curl -LO https://github.com/MozillaItalia/DeepSpeech-Italian-Model/releases/download/2020.08.07/transfer_model_tflite_it.tar.xz
-tar xvf transfer_model_tflite_it.tar.xz
+# copiare in questa cartella il modello tflite e lo scorer scaricati
-rm transfer_model_tflite_it.tar.xz
 git clone https://github.com/MainRo/deepspeech-server
@@ Line 246: / Line 179: @@
 </code>
-Aggiungere a config.json:
+Aggiungere a config.json: (assicurarsi che le path siano corrette)
 <code>
 ...
 "deepspeech": {
-  "model" :"/home/pi/deepspeech/output_graph.tflite",
+  "model" :"/home/pi/deepspeech/model.tflite",
-  "scorer" :"/home/pi/deepspeech/scorer"
+  "scorer" :"/home/pi/deepspeech/kenlm_it.scorer"
 },
 ...
@@ Line 300: / Line 233: @@
 **Work in progress**
+===== Addestramento manuale di una rete neurale =====
+**ATTENZIONE**\\
+Prosegui solo se non vuoi usare il modello già addestrato e vuoi addestrare manualmente una rete neurale DeepSpeech.\\
+Requisiti: PC Desktop con scheda grafica nvidia
+Assicurarsi che il sistema operativo supporti CUDA 10.0.0. Non usare versioni più recenti di cuda.
+(Testato con Ubuntu 18.04)
+Verificare se i driver nvidia sono installati:
+<code>
+nvidia-smi
+</code>
+Questo comando dovrebbe mostrare una tabella con alcune proprietà della gpu
+Installare Cuda 10.0.0, potrebbe essere necessario disinstallare i driver nvidia e reinstallarli dopo cuda\\
+https://developer.nvidia.com/cuda-downloads\\
+Installare docker e nvidia-docker: seguire una guida specifica per il proprio sistema operativo\\
+https://docs.docker.com/engine/install/\\
+https://github.com/NVIDIA/nvidia-docker\\
+Prima di proseguire è consigliato fare un test per assicurarsi che docker riesca a vedere la gpu
+Scaricare il dataset più recente di CommonVoice\\
+https://commonvoice.mozilla.org/it/datasets
+Dovrebbe essere un file chiamato it.tar.gz\\
+Posizionate l'archivio nella home e lanciate questi comandi:
+<code>
+cd $HOME
+mkdir -p data/sources
+chmod a+rwx -R data
+mv it.tar.gz data/sources
+chmod a+r data/sources/it.tar.gz
+</code>
+=== Creare l'immagine Docker: ===
+Ho preso un tool di Mozilla-Italia che semplifica l'addestramento, ne ho risolto alcuni bug
+<code>
+cd $HOME
+git clone https://github.com/danieltinazzi/DeepSpeech-Italian-Model
+cd DeepSpeech-Italian-Model/DeepSpeech
+</code>
+<code>
+chmod +x generate_base_dockerfile.sh
+./generate_base_dockerfile.sh
+docker build . -f Dockerfile.train -t deepspeech/base:0.9.3
+docker build . -f Dockerfile_it.train -t deepspeech/it
+</code>
+=== Avviare l'addestramento ===
+<code>
+docker run -e "TRANSFER_LEARNING=1" --rm --gpus all --mount type=bind,src=$HOME/data,dst=/mnt -it deepspeech/it
+</code>
+Se il processo occupa troppa memoria della gpu potrebbe essere necessario ridurre il BATCH_SIZE, esempio:
+<code>
+docker run -e "BATCH_SIZE=32" -e "TRANSFER_LEARNING=1" --rm --gpus all --mount type=bind,src=$HOME/data,dst=/mnt -it deepspeech/it
+</code>