Erreur depuis aujourd’hui

[MilesTEG1]

Bonsoir @pcourbin @damageco

Il y a de nouveau quelque chose de cassé avec l’intégration IMA 😅

Voilà les logos que j’ai dans HomeAssistant:

Cette erreur provient d'une intégration personnalisée

Enregistreur: custom_components.imaprotect
Source: helpers/update_coordinator.py:380
intégration: IMA Protect Alarm (documentation, problèmes)
S'est produit pour la première fois: 11:45:21 (462 occurrences)
Dernier enregistrement: 19:28:49

Unexpected error fetching imaprotect data
Traceback (most recent call last):
  File "/usr/src/homeassistant/homeassistant/helpers/update_coordinator.py", line 380, in _async_refresh
    self.data = await self._async_update_data()
                ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "/config/custom_components/imaprotect/coordinator.py", line 63, in _async_update_data
    cameralist = await self.hass.async_add_executor_job(
                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
        self.imaprotect.get_images_list
        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
    )
    ^
  File "/usr/local/lib/python3.13/concurrent/futures/thread.py", line 59, in run
    result = self.fn(*self.args, **self.kwargs)
  File "/usr/local/lib/python3.13/site-packages/pyimaprotect/__init__.py", line 106, in get_images_list
    capture_list = self._capture_list()
  File "/usr/local/lib/python3.13/site-packages/pyimaprotect/__init__.py", line 141, in _capture_list
    response_json = json.loads(response.content)
  File "/usr/local/lib/python3.13/json/__init__.py", line 346, in loads
    return _default_decoder.decode(s)
           ~~~~~~~~~~~~~~~~~~~~~~~^^^
  File "/usr/local/lib/python3.13/json/decoder.py", line 345, in decode
    obj, end = self.raw_decode(s, idx=_w(s, 0).end())
               ~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^
  File "/usr/local/lib/python3.13/json/decoder.py", line 363, in raw_decode
    raise JSONDecodeError("Expecting value", s, err.value) from None
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

Je pense qu’il y a du avoir une maj côté IMA ou bien côté HA qui a du casser une dépendance ou la connexion…
J’ai supprimé puis tenté de reconfiguration mon alarme et j’ai l’erreur précédente.

Voilà une autre qui semble liée

Enregistreur: pyimaprotect
Source: /usr/local/lib/python3.13/site-packages/pyimaprotect/__init__.py:192
S'est produit pour la première fois: 11:45:21 (58 occurrences)
Dernier enregistrement: 19:28:49

Can't get the token to read the status, step 'Login/TokenStatus'. Please, check your logins. You must be able to login on https://www.imaprotect.com.

J’arrive très bien à me connecter au site et à l’application IMA.

Dans l’intégration je vois ceci:

Comment pouvons nous corriger l’intégration si c’est possible ?

[falconslag]

Hello les amis,

Déjà merci pour l'intégration. J'ai exactement le même problème, mêmes logs, mêmes symptômes, et j'ai aussi bien accès au site Web.

J'en déduirai donc aussi qu'IMA à (encore) changé quelque-chose... à croire qu'ils ne nous aiment pas (;-)).

Si je peux aider, je ne suis pas expert en Python mais je connais d'autres langages de programmation, un peu git aussi.

Note: merci d'avance au mainteneur/dev principale pour les efforts sachant qu'il n'a plus ce système d'alarme
Cordialement,
Slag

[MilesTEG1]

@falconslag
Ha, si tu sais un peu programmer en python, regarde le fichier init.py (avec des __ je crois). Ça doit être là qu'il y a un souci d'après les logs.
Et si tu arrives à faire la correction, ce serait topissime :D

[odwulf]

Je ne connais pas Python mais je sais lire un algo. Du coup j'ai lu un peu de doc, trouvé comment installer un venv, importé pyimaprotect, et suivi l'initialisation de la classe jusque là :

from pyimaprotect import IMAProtect, STATUS_NUM_TO_TEXT
import requests
import re

IMA_URL_ROOT = "https://www.imaprotect.com"
IMA_URL_PRELOGIN = IMA_URL_ROOT + "/fr/client/login"
RE_PRELOGIN_TOKEN = 'name="_csrf_token" value="(.*)" *>'
IMA_URL_LOGIN = IMA_URL_ROOT + "/fr/client/login_check"
RE_ALARM_TOKEN = 'alarm-status token="(.*)"'

ima = IMAProtect('mon.adresse@mail.fr','P@ssw0rd')
ima._session = requests.session()
# Je n'ai pas recollé les tests, mais j'ai vérifié que le token était bien là
response  = ima._session.get(IMA_URL_PRELOGIN)
token_search = re.findall(RE_PRELOGIN_TOKEN,re.sub(" +", " ", response.text),)
ima._token_login = token_search[0]

login = {
    "_username": ima._username,
    "_password": ima._password,
    "_csrf_token": ima._token_login,
}
response = ima._session.post(IMA_URL_LOGIN, data=login)

Et je vois que response.text ne contient pas "alarm-status token". Par contre, il contient :

<div class="alert alert-danger">
  Missing captcha while login.
</div>

Est-ce que cette fois, c'est vraiment cuit ?

(En même temps, je me suis logué dans l'interface web et je n'ai pas vu de Captcha. C'est peut-être aussi parce que n'étant donc pas du tout familier de Python, j'ai essayé 127 fois avant d'en arriver là. En attendant, j'ai désactivé l'intégration pour qu'elle arrête d'essayer de se connecter toutes les cinq minutes et je réessayerai plus tard manuellement,)

[MilesTEG1]

@odwulf
J'espère que ce n'est pas mort...
Pourrais tu retenter aujourd'hui ?

[odwulf]

Le site utilise maintenant ReCaptcha. Peut-être qu'il existe des moyens de passer au dessus, mais rien qui ne se fasse en changeant trois lignes de code. Et je ne suis pas dev, ça me dépasse complètement.

[MilesTEG1]

Ha la loose...
Pourtant on ne voit pas de captcha à remplir...

C'est vraiment dommage...

[falconslag]

J'ai retesté l'accès Web, et comme @odwulf , je ne vois pas de captcha.

Par contre, la capture réseau côté navigateur, il y a bien une requête qui y va (plusieurs trames mêmes, j'en mets juste une pour l'exemple)

Mais il n'y a rien demandé ni avant ni après avoir saisie ses identifiants. J'ai même testé en navigation privée pour voir.

Je vais essayé de tester en changeant le user_agent. En suivant le code dans VS Code, j'ai vu qu'il était positionné à python/qquchose.

Je vais voir si je peux le forcer en test à un truc plus proche d'un navigateur (genre "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:136.0) Gecko/20100101 Firefox/136.0")... des fois que ça ait une influence sur le captcha. J'y crois moyennement mais qui ne tente rien n'a rien.

[falconslag]

Alors, j'ai récupéré la page WEB obtenu par la fonction login de la classe IMAProtect et le contenu dans reponse.text.

Elle retourne bien quelque-chose. l'erreur semble se produire au niveau du code de findall qui ne trouve pas ses petits et donc retourne un tocken_search de longueur zéro.

Pour autant de ce que je comprends du pattern RE_PRELOGIN_TOKEN me parait cohérent
RE_PRELOGIN_TOKEN = 'name="_csrf_token" value="(.*)" *>'

Et j'ai ça dans reponse.text :
name="_csrf_token" value="65490976f1f143d8f4.ce3Iv-TBLbTdKesVQ_sFGX49sD_y0yj2D9Dyb6bGlB0.PJuN1qOJYMSHH6hgMY9dNlNE7xLGq2vOP-K4KwSf12gep_r53I9eme5Fqg">

Tout ce jouerait donc dans cette partie du code, mais je ne vois pas pourquoi le findall planterait ?? Je vais creuser plus tard ce soir.

        if response.status_code == 200:
            token_search = re.findall(
                RE_PRELOGIN_TOKEN,
                re.sub(" +", " ", response.text),
            )
            if len(token_search) > 0:
                self._token_login = token_search[0]
            else:
                self._token_login = None
                _LOGGER.error(
                    """Can't get the token to login, step 'Login/TokenLogin'.
                    Please, contact the developer."""
                )

[odwulf]

Cette partie-là fonctionne. L'initialisation se fait normalement comme ça :

1. On charge la page https://www.imaprotect.com/fr/client/login
2. On utilise la regex RE_PRELOGIN_TOKEN pour extraire le _csrf_token (token de session)
3. On se logue à https://www.imaprotect.com/fr/client/login_check en utilisant l'adresse email, le mot de passe, et le token
4. On utilise la regex RE_ALARM_TOKEN pour extraire le token de connexion
5. On lit le statut

Mais ils ont rajouté reCaptcha, qui va utiliser javascript pour modifier un champ caché du formulaire. Et le login_check attend le contenu de ce champ caché. Quand on essaie de se loguer, Il ne renvoit pas de token de connexion : il affiche une erreur disant qu'il n'a pas reçu ce champ.

On ne voit pas de captcha parce qu'en se loguant sur le site web, on n'est pas classé comme suspect, donc il remplit ce champ sous le capot avec du javascript.

[falconslag]

@odwulf ,
Tu as 100% raison, je me suis planté de bloc dans le code.

Au niveau de la page de login, tu retrouves bien ce code dans la réponse HTML :

            <script type="text/javascript" nonce="">
            var recaptchaCallback_login_captcha = function() {
                grecaptcha.execute('6LekENoqAAAAAH1luc5d8yyBLP0CC3_exfA0oA5a', {action: 'login'}).then(function(token) {
                    document.getElementById('login_captcha').value = token;
                });
                setTimeout(recaptchaCallback_login_captcha, 100000);
            };
        </script>
        <script type="text/javascript" src="https://www.google.com/recaptcha/api.js?render=6LekENoqAAAAAH1luc5d8yyBLP0CC3_exfA0oA5a&hl=fr&onload=recaptchaCallback_login_captcha" async defer nonce=""></script>

Et j'ai dû trop jouer, car j'ai obtenu ce message sur mon navigateur lorsque j'ai voulu m'identifier
"Your computer or network may be sending automated queries"

Sinon, j'ai pu tester un container flarsolverr chez moi qui tourne pour autre chose.

Je suis passer par lui en "proxy-like", avec le code suivant:

url = "http://localhost:8191/v1"
headers = {"Content-Type": "application/json"}
data = {
    "cmd": "request.get",
    "url": "https://www.imaprotect.com/fr/client/login",
    "maxTimeout": 60000
}
response = requests.post(url, headers=headers, json=data)

Et dans la réponse HTML, j'ai a priori reçu quelque-chose qui pourrait être util:

<input type="hidden" id="login_captcha" name="login[captcha]" value="03AFc
WeA4Gy8oYBRdFvCG0WOuQ9C01CsQ_MaOU2ELANkUfJZ538NIFpITYiFFP0MrAM8Vs2kmDiimG1Qgf5z4yuk91uARYfxVOgIsBUn9yW
CtQjxB4yUAPKWFF7qK9xBY2tJl7Tm9pgTyzIjjLdppDS1ovNCCuqQDQc3FpCkFdrAa7RFBMqOpiELIihWTSp-Lihl4zLKGWZZgJjTx
uw9wNE_l0eYdaokqhLq7n_hSSHKL5Jhut6UwMsoVD4OvvP8a2r1WQXkxbxEJiPcYeo9cNmjvTIcB3sPhM_5O85vugd6IlALUc53sfY
RN6B7G186OgALc2w5O8HsT_PXTr8Knsuzq8I3x_nLCwJ0FSTB5thNq-znusNQZZdtFalji9ODDEEB0tfZQYRUR3puAr8rC3a1iCIiz
aslDpEIddu-M5fVXpHlTs1kIOKKeJXR0fXLqqYAsgrZ7NV2l-cbRGO8Ydon0Uki2cK11Dh6jchGCv3nd0u-S6FN-DLtuTwTsjIU4JN
5_p9EPj-ypASSTDTNy4gduBkss3MyBNO9ixf1e9e2whzxbP-8j7lF-cvZo72vngjvD58FssGzMTnSKtSw48bDxUcisRGIGaGL-bMpZ
tZVF0WRwkNEm--nvCNhKCRwyCTrh6GSW8h6ifN1F_oZUH7g6u9T9Q3JJWP4455oxk5fg8LO-2e0cxtbzU2leK9QuVmQT70vZWiqSRN
ZS1DRaSjozCCbMiCgeZFH5_pZBvG0w-YNdzyy2UTdwx7ZHJbI1cCzd96pohuaVY2COEeJ5YthZXXzmqdaLMIzDu_ebI4T__uTTdOAv
ZsmssR4XfwMtqKti1Wq8JQ4IfKcETIWZvK174ldOIIwFZlW9XGt198z1ugzM0OhCOVU619taQSN2KIsxzxjJ0QJjd2TP0yU-8lCGn4
7A4gUfM8OaHR1u3oK7PoRuKg4EZ8rHTB9vi7eL2BKDMi-fsnEhkvDM_MG2-oox-SWlEccNOFjNeRUHimmqeUuFh_7vkNDbG7cLj6hq
hvLRZcb-BraouCgjsRSbW_MS6HuAc0aqQtAzWNtq9L-lkTO95rWgu1LYigH0uQ-ldRnFOA0_6EA3Qq8dOgfYZRNcANuhU21MyZhkbG
R3vDowXWPUtb9t-Ddm9liDL6t0NAiGJsrcdUIoM9cxa2EiDjj_FxuaAMlvyMyVxWa91AP9vlPs_qb7qK5Qrplgl0cnFujSjPpdkhB-
MZKw8YInUC5cS2tH1zxaB5m8eLmDcFW5FrKPdtWexKcav2sG0dzJf8Otho26hO-zHxLQTWRYoMmOjEXedpk0Z2oyzWTW6mCvmEjUlK
6mZyFwGsRMJ262vzQPRCtkPFVVORnDB4YllZP9pRbFzF0dCgB4djpNl2qaYih2uwHjf9EYImKzIJHvmDehfK9bhgIbnevM-ehKA3Mg
lwzzIR26eebIOb_g0HYinLESEdvtxQOFJF9kMhA72IJ0dIV8RRP1rVH8SGSbozoDqvuDwh110sTxSuBPIb_U-yU-Z8cxKUYGhhowu2
wJSRhW8F2mJj4Y6FxKiPlAtZFa2iKN8wkvdFoTKQW8YBmCW5_4BAqR-_mo6jM0RNdc3HxO2alwi2JeB5bt77xBYQjdlPpjFiGaqc6c
FBggIZCQrxtoHJZ6xyfSzMfKmBulIdBg0ZFMRZk9eK7g0NiUs-Rn64zq7iIsXFj8T5mku0q-d8k3_v1FBF992GtbJQbonJOacEcwyN
ZS7v5g5whKiloxrERKF9xWvloKDYr4drLMXLeBAmf75VwIhE2kIAA5klJ_7aktrl5_7IiHCCqPYJDMSqgYaAjAZHO9WO7cSPRfC5W0
hilau6O5IwHqBHNJXuMCpPLI4deMLfGnqGq_znzpopJRlcIzm1CiUb82ZgKbaEPtVrYut7BpBJlU-Js0mMjcP76uVuspTicI1IdZJp
B80yFQBIl0BlAO8UWmjhHNBDmJnAHCAB8A">

Je suppose qu'il va falloir extraire cette info pour la réinjecter ensuite durant l'accès à login_check.
Un peu comme cela est fait via la structure 'login':

login = {
  "_username": self._username,
  "_password": self._password,
  "_csrf_token": self._token_login,
  "login[captcha]": variableX,             # contient la clé barbare ci-dessus ;-)
}

Et ca risque de devenir encore plus pénible s'ils utilisent cette info sur plusieurs de leur page ensuite

Qu'en pensez-vous ?

[odwulf]

C'est une super piste. Je viens de regarder sur le site avec les devtools de Firefox : le login semble être la seule interaction qui inclut le token du captcha dans un POST. Récupérer le status se fait avec un simple GET, et demander une photo fait un POST, mais sans ce token (je ne peux pas essayer de changer le statut pour le moment, pour d'autres raisons).

Et j'ai eu aussi le message sur les automated queries quand j'ai fait plein de tests. Ça avait disparu le lendemain.

[falconslag]

Salut,
petit point d'avancement sur mes tests:

1. J'arrive bien à récupérer le token du captcha
   Pour une raison que j'ignore encore, mais j'ai du modifier les patterns de recherche car les réponses de "mon flaresolverr" (je suppose) contiennent toutes un '\' avant les guillemets... je creuserai plus tard.
   Idem, je n'arrive pas à extraire uniquement le captcha avec re.findall

2. Je n'ai pas d'erreur sur le login_check
   Ci-dessous, le code que j'ai testé :

url = IMA_URL_LOGIN
data = {
  "cmd": "request.post",
  "url": url,
  "maxTimeout": 60000,
  "postData": "_username=self._username&_password=self._password&_csrf_token=self._token_login&login[captcha]=self._token_captcha"
}

response = self._session.post("http://192.168.1.2:8191/v1", headers=headers, json=data)

PI: J'ai rajouté token_captcha dans la classe IMAProtect, comme l'est le token_login.

J'ai eu un code retour 200, mais pas de RE_ALARM_TOKEN pour autant... dedans j'ai par contre ' Your computer or network may be sending automated queries'. Alors est-ce que j'ai encore trop testé, ou bien retour à la case départ...

Je réessaireai plus tard, quand je ne serai plus bloqué.

Slag

[MilesTEG1]

@odwulf @falconslag
Super travail 👍🏻
On touche presque le but je pense ;)

Est-il possible de faire passer le script pour un navigateur comme Firefox, ou Chrome ?
Ainsi peut-être que ça passerait ?

Sinon, j'ai peur qu'à l'avenir, ils ne resserrent encore plus les vis de leur côté, et qu'on ne puisse plus du tout utiliser notre intégration favorite pour contrôler notre alarme...

[falconslag]

Alors en fait j'ai des problèmes avec findall.

J'ai du tritouiller pour avoir le captcha car j'avais remarqué que le captcha n'est pas correctement trouvé.
Sauf que j'ai aussi du login qui foire et je ne comprends pas pourquoi.

[falconslag]

Alors, je bloque un peu.

Avec FlareSolverr, j'arrive bien à récupérer un 'login[captcha]' cohérent à première vue.

Par contre, si je renvoie le tout via FlareSolverr j'ai une erreur 500

Error: Error solving the challenge. 0
172.18.0.1 POST http://192.168.1.2:8191/v1 500 Internal Server Error

Si j'attaque directement l'URL login_check, je n'ai rien comme valeur.

Je n'ai pas creusé, mais je pense qu'il faut que je récupère des cookies issue de la page /login via FlareSolverr pour les repasser ensuite à /login_check pour que ça match.

Ca sera demain.