Differences

This shows you the differences between two versions of the page.

--- projects:iotaiuto:mycroft [2021/11/12 13:00] – daniel
+++ projects:iotaiuto:mycroft [2021/12/15 13:10] (current) – daniel
@@ Line 153: / Line 153: @@
   * Andare su https://home.mycroft.ai/skills (o server locale) e inserire ip di home assistant e token
-==== Installazione DeepSpeech ====
+==== Installazione DeepSpeech (pre addestrato) ====
 DeepSpeech è il motore STT di Mozilla\\
+Scaricare ed estrarre questo modello basato su DeepSpeech:\\
+https://coqui.ai/italian/jaco-assistant/v0.0.1
 Dal terminale del raspberry:
 <code>
@@ Line 164: / Line 168: @@
 mkdir deepspeech
 cd deepspeech
-curl -LO https://github.com/MozillaItalia/DeepSpeech-Italian-Model/releases/download/2020.08.07/transfer_model_tflite_it.tar.xz
-tar xvf transfer_model_tflite_it.tar.xz
+# copiare in questa cartella il modello tflite e lo scorer scaricati
-rm transfer_model_tflite_it.tar.xz
 git clone https://github.com/MainRo/deepspeech-server
@@ Line 175: / Line 179: @@
 </code>
-Aggiungere a config.json:
+Aggiungere a config.json: (assicurarsi che le path siano corrette)
 <code>
 ...
 "deepspeech": {
-  "model" :"/home/pi/deepspeech/output_graph.tflite",
+  "model" :"/home/pi/deepspeech/model.tflite",
-  "scorer" :"/home/pi/deepspeech/scorer"
+  "scorer" :"/home/pi/deepspeech/kenlm_it.scorer"
 },
 ...
@@ Line 229: / Line 233: @@
 **Work in progress**
+===== Addestramento manuale di una rete neurale =====
+**ATTENZIONE**\\
+Prosegui solo se non vuoi usare il modello già addestrato e vuoi addestrare manualmente una rete neurale DeepSpeech.\\
+Requisiti: PC Desktop con scheda grafica nvidia
+Assicurarsi che il sistema operativo supporti CUDA 10.0.0. Non usare versioni più recenti di cuda.
+(Testato con Ubuntu 18.04)
+Verificare se i driver nvidia sono installati:
+<code>
+nvidia-smi
+</code>
+Questo comando dovrebbe mostrare una tabella con alcune proprietà della gpu
+Installare Cuda 10.0.0, potrebbe essere necessario disinstallare i driver nvidia e reinstallarli dopo cuda\\
+https://developer.nvidia.com/cuda-downloads\\
+Installare docker e nvidia-docker: seguire una guida specifica per il proprio sistema operativo\\
+https://docs.docker.com/engine/install/\\
+https://github.com/NVIDIA/nvidia-docker\\
+Prima di proseguire è consigliato fare un test per assicurarsi che docker riesca a vedere la gpu
+Scaricare il dataset più recente di CommonVoice\\
+https://commonvoice.mozilla.org/it/datasets
+Dovrebbe essere un file chiamato it.tar.gz\\
+Posizionate l'archivio nella home e lanciate questi comandi:
+<code>
+cd $HOME
+mkdir -p data/sources
+chmod a+rwx -R data
+mv it.tar.gz data/sources
+chmod a+r data/sources/it.tar.gz
+</code>
+=== Creare l'immagine Docker: ===
+Ho preso un tool di Mozilla-Italia che semplifica l'addestramento, ne ho risolto alcuni bug
+<code>
+cd $HOME
+git clone https://github.com/danieltinazzi/DeepSpeech-Italian-Model
+cd DeepSpeech-Italian-Model/DeepSpeech
+</code>
+<code>
+chmod +x generate_base_dockerfile.sh
+./generate_base_dockerfile.sh
+docker build . -f Dockerfile.train -t deepspeech/base:0.9.3
+docker build . -f Dockerfile_it.train -t deepspeech/it
+</code>
+=== Avviare l'addestramento ===
+<code>
+docker run -e "TRANSFER_LEARNING=1" --rm --gpus all --mount type=bind,src=$HOME/data,dst=/mnt -it deepspeech/it
+</code>
+Se il processo occupa troppa memoria della gpu potrebbe essere necessario ridurre il BATCH_SIZE, esempio:
+<code>
+docker run -e "BATCH_SIZE=32" -e "TRANSFER_LEARNING=1" --rm --gpus all --mount type=bind,src=$HOME/data,dst=/mnt -it deepspeech/it
+</code>