[APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Qui trovate le applicazioni sviluppate in esclusiva per RetroPie Italia Forum ;-)
Rispondi
Avatar utente
Nike
Messaggi: 74
Iscritto il: gio mag 04, 2017 9:41 am
Ha ringraziato: 1 volta
È stato ringraziato: 0

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Nike »

Buongiorno,

dopo qualche annetto ho aggiornato il mio retropie, e di conseguenza ho deciso di aggiornare anche THE scraper (usavo la versione 2.70!)

Tutto benissimo per la maggior parte dei sistemi, bellissima l'opzione dei flyer (anche se alcuni risultano come solo immagini bianche.. ma devo ancora lavorare su quel problema).

Il problema principale è con la scraping della cartella arcade.
Ho provato varie opzioni, ma anche a me si blocca sempre allo stesso punto, corrompendo il file gamelist.
Ricopio l'errore dal terminale.

Codice: Seleziona tutto

Traceback (most recent call last):
  File "THE_scraper_Main.py", line 37, in <module>
  File "application_source_code/THE_scraper_launcher.py", line 59, in THE_scraper_launcher.main
  File "application_source_code/THEscraper.py", line 211, in THEscraper.THEscraper.startApplication
  File "application_source_code/THEscraper.py", line 301, in THEscraper.THEscraper.select_system
  File "application_source_code/THEscraper.py", line 356, in THEscraper.THEscraper.select_sub_system
  File "application_source_code/THEscraper.py", line 414, in THEscraper.THEscraper.select_database
  File "application_source_code/THEscraper.py", line 492, in THEscraper.THEscraper.select_snapshot_type
  File "application_source_code/THEscraper.py", line 511, in THEscraper.THEscraper.ask_to_skip_video
  File "application_source_code/THEscraper.py", line 548, in THEscraper.THEscraper.ask_for_system_region
  File "application_source_code/THEscraper.py", line 570, in THEscraper.THEscraper.select_gamename_type
  File "application_source_code/THEscraper.py", line 594, in THEscraper.THEscraper.select_scraping_type
  File "application_source_code/THEscraper.py", line 619, in THEscraper.THEscraper.select_skipping_mode
  File "application_source_code/THEscraper.py", line 632, in THEscraper.THEscraper.set_threshold
  File "application_source_code/THEscraper.py", line 712, in THEscraper.THEscraper.main_sequence
  File "application_source_code/THEscraper.py", line 804, in THEscraper.THEscraper.search_game_and_try_to_save_snapshot
  File "application_source_code/ScrapingEngineMAMEBased.py", line 199, in ScrapingEngineMAMEBased.ScrapingEngineMAMEBased.save_snapshot_mame_based2
  File "application_source_code/Utility.py", line 308, in Utility.download_web_content
  File "urllib/request.py", line 222, in urlopen
  File "urllib/request.py", line 525, in open
  File "urllib/request.py", line 543, in _open
  File "urllib/request.py", line 503, in _call_chain
  File "urllib/request.py", line 1352, in http_open
  File "urllib/request.py", line 1324, in do_open
  File "http/client.py", line 1260, in request
  File "http/client.py", line 1271, in _send_request
  File "http/client.py", line 1123, in putrequest
http.client.InvalidURL: URL can't contain control characters. '/dettaglio_mame.php?game_name=Golden Axe III (Japan)&lang=it' (found at least ' ')
[1681] Failed to execute script 'THE_scraper_Main' due to unhandled exception!
Nel log l'errore non si vede: il report si ferma all'ultimo gioco analizzato.

Io non ci capisco niente... avete suggerimenti?

Grazie!

EDIT: ho notato da solo l'ultima riga, dove il problema sembrava essere Golden Axe III. In realtà nel nome non c'era nessun carattere vietato, e anche togliendo le parentesi il problema si riproponeva. Ho risolto togliendo in toto la rom. Mah!
のんびり暮らす大冬眠鼠

Avatar utente
Administrator
Site Admin
Messaggi: 477
Iscritto il: gio feb 25, 2016 6:32 pm
Ha ringraziato: 0
È stato ringraziato: 361 volte

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Administrator »

Nel tuo caso il problema è dovuto al fatto che il romset si chiama Golden Axe III (Japan) (contiene spazi nel nome), cosa che su un sistema arcade basato su M.A.M.E. non è possibile in quanto i nomi delle roms sono codificati (e se non ricordo male non esiste un Golden Axe III in sala giochi).

Presumo sia una rom per Mega Drive, hai fatto quindi bene a toglierla.

Grazie comunque per la segnalazione perché indipendentemente da questo dovrò mettere un controllo per situazioni di questo tipo, come quella segnalata appena sopra al tuo post. Portate pazienza, la versione 6 di THE scraper è stata completamente riscritta, più persone la usano e più è facile individuare e sistemare problemi come questo
"A volte sono le persone che nessuno immaginava potessero fare certe cose quelle che fanno cose che nessuno può immaginare" A. Turing
_____________________________________________________________
Aiutiamo il forum con una donazione :-)

Hardware:
Raspberry Pi Model B Rev 2
Raspberry Pi 3 Model B Rev 1.2
Raspberry Pi 4 Model B Rev 1.2

Avatar utente
Nike
Messaggi: 74
Iscritto il: gio mag 04, 2017 9:41 am
Ha ringraziato: 1 volta
È stato ringraziato: 0

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Nike »

Molte grazie! Sì ieri notte ho avuto l'illuminazione e mi sono accorto che golden axe 3 non c'entra niente con il mame... :?

Ora sto tentando di risolvere il problema delle copertine bianche, che sembra essere presente solo nel nes e nello snes.
Devo ancora capire dove stia il problema, proverò a fare uno scraping con il database 1 come prima cosa (di solito parto col 3).

Ecco, ho imparato una cosa nuova: non avevo idea che i nomi delle rom mame non andassero rinominate pena il non funzionare. :lol:
のんびり暮らす大冬眠鼠

Avatar utente
JohnTitor
Messaggi: 253
Iscritto il: mar dic 27, 2016 4:41 pm
Ha ringraziato: 59 volte
È stato ringraziato: 13 volte

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da JohnTitor »

Nike ha scritto:
ven ott 08, 2021 10:06 am
Ecco, ho imparato una cosa nuova: non avevo idea che i nomi delle rom mame non andassero rinominate pena il non funzionare. :lol:
Eh sì, se lo fai non le riconosce nemmeno il M.A.M.E., i nomi devono essere quelli presenti nel file dat/xml
Provengo dal 2036...
Nel '75 ho recuperato un IBM 5100 per risolvere un problema del futuro, adesso sono qui perché nel 2038 sarà fondamentale avere più RPi possibile... non posso dirvi il motivo ma nel fratttempo una partita me la faccio! ;-)
_____________________________________________________________
Aiutiamo il forum con una donazione :-)

Hardware:
Raspberry Pi v3 B

Avatar utente
Nike
Messaggi: 74
Iscritto il: gio mag 04, 2017 9:41 am
Ha ringraziato: 1 volta
È stato ringraziato: 0

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Nike »

Update: usando il database 1 ho risolto il problema delle immagini bianche.
Ho anche controllato nella cartella dedicata, le immagini erano corrette e si vedevano benissimo, ma dall'interfaccia le vedevo come rettangoli bianchi.
Pensavo potesse essere un problema del mio tema (ne ho uno un po' personalizzato) ma cambiarlo non è servito.

Col database 1 tutto bene, ora dovrò capire come mantenere la copertina giapponese per i giochi in giapponese, ma va beh, pian piano.

Grazie!

PS ora che ci penso: c'è modo di rimuovere l'artwork da un singolo gioco? Mettiamo che mi ha preso l'immagine sbagliata e me ne sono accorto dopo. Per fargliela ricercare dovrei se non sbaglio rifare tutto il sistema, visto che l'integrazione ovviamente mica lo sa che bisogna rifare anche quell'artwork. Quindi, come "resettare" il singolo gioco? Modifico il file gamelist (o come si chiama)?
のんびり暮らす大冬眠鼠


Avatar utente
Guybrush
Messaggi: 2366
Iscritto il: gio feb 25, 2016 6:33 pm
Ha ringraziato: 159 volte
È stato ringraziato: 166 volte

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Guybrush »

Nike ha scritto:
ven ott 08, 2021 11:35 am
PS ora che ci penso: c'è modo di rimuovere l'artwork da un singolo gioco? Mettiamo che mi ha preso l'immagine sbagliata e me ne sono accorto dopo. Per fargliela ricercare dovrei se non sbaglio rifare tutto il sistema, visto che l'integrazione ovviamente mica lo sa che bisogna rifare anche quell'artwork. Quindi, come "resettare" il singolo gioco? Modifico il file gamelist (o come si chiama)?
Apri il gamelist corrispondente al sistema, cerca il nome della rom (del file!) ed elimina il contenuto presente nel tag

Codice: Seleziona tutto

<image></image>
Per quanto riguarda le immagini il problema potrebbe essere il tema o la quantità di RAM video selezionata nelle impostazioni del Raspberry Pi
"Dobbiamo costruire computer per le masse, non per le classi" J. Tramiel
_____________________________________________________________
Aiutiamo il forum con una donazione :-)

Hardware:
Raspberry Pi Model B Rev 2 (x2)
Raspberry Pi 3 Model B Rev 1.2

Avatar utente
Administrator
Site Admin
Messaggi: 477
Iscritto il: gio feb 25, 2016 6:32 pm
Ha ringraziato: 0
È stato ringraziato: 361 volte

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Administrator »

Ho risolto i problemi segnalati da B3tt3R e da Nike, nella versione 6.04 che rilascerò il prima possibile dovrebbe essere tutto a posto
"A volte sono le persone che nessuno immaginava potessero fare certe cose quelle che fanno cose che nessuno può immaginare" A. Turing
_____________________________________________________________
Aiutiamo il forum con una donazione :-)

Hardware:
Raspberry Pi Model B Rev 2
Raspberry Pi 3 Model B Rev 1.2
Raspberry Pi 4 Model B Rev 1.2

Avatar utente
Administrator
Site Admin
Messaggi: 477
Iscritto il: gio feb 25, 2016 6:32 pm
Ha ringraziato: 0
È stato ringraziato: 361 volte

Re: [APP] "THE scraper", lo scraper UNIVERSALE per RetroPie by F. Lancioni

Messaggio da Administrator »

Rilasciata versione 6.04

É disponibile la versione 6.04 che principalmente è una versione che risolve alcuni problemi in caso di errori di connessione HTTP.

Segue il changelog:

Codice: Seleziona tutto

v6.04 (13/10/2021)
- Gestione migliore degli errori HTTP (problemi segnalati nelle pagine 74-75 del thread di THE scraper)
- Rimossa domanda sulla licenza
- Per sicurezza sono stati eliminati i caratteri accentati nei log
- Corretto un problema nel contatore dei giochi aggiunti senza snpashot
- Cambiamenti nel codice "a basso livello"
- Aggiunto warning generico (visibile durante l'esecuzione) per problemi HTTP inattesi
Questi utenti hanno ringraziato l'autore Administrator per il post:
Nike
Reputazione: 10%
"A volte sono le persone che nessuno immaginava potessero fare certe cose quelle che fanno cose che nessuno può immaginare" A. Turing
_____________________________________________________________
Aiutiamo il forum con una donazione :-)

Hardware:
Raspberry Pi Model B Rev 2
Raspberry Pi 3 Model B Rev 1.2
Raspberry Pi 4 Model B Rev 1.2

Rispondi