Resultat av ESP8266 projektet.

Kommentarer

16 svar till ”Resultat av ESP8266 projektet.”

1. 

   Mats

   2016-10-31

   Vill tipsa om Home Assistant som är ett open source hemautomationsprojekt som har stöd för InfluxDB (samt instruktioner för Grafana), Vera, Verisure och mycket mera. Kör själv mqtt ifrån min ESP till Home Assistant via Mosquitto.
   http://www.Home-Assistant.io

   Svara
   1. 

      Ispep

      2016-10-31

      Intressant! Har funderat en hel del på att testa Mosquitto och MQTT till mina ESP:er. Ska kolla mer på Home Assistant med, håller själv på att testa Open Hab 2 men är inte riktigt nöjd med den 🙁

      Tack för tipset!

      // Ispep

      Svara
2. 

   borkman

   2016-11-02

   Jag har installerat InfluxDB & Grafana på en Raspberry Pi 3 nu (tillsammans med Home Assistant som Mats tipsade om. Home Assistant hittar min Vera’s alla enheter osv, dock så vägrar den populera InfluxDB-databasen….)

   Har du något tips hur man kan få Vera’n att skicka över värden från mina Oregon-Scientific sensorer (läses via den USB-anslutna rfxtrx433 på Vera’n) till en InfluxDB på en remote Raspberry Pi?

   Finns det någon plugin som man kan använda?

   Enligt https://www.influxdata.com/how-to-send-sensor-data-to-influxdb-from-an-arduino-uno/ så verkar formatet för att posta data till InfluxDB vara bus-enkelt…

   Svara
   1. 

      borkman

      2016-11-02

      Googlade runt och hittade en kille som utvecklat en MQTT-klient till Vera
      http://forum.micasaverde.com/index.php/topic,35848.msg291938.html#msg291938

      Setup’en för att visualisera data i Grafana verkar vara:

      Del1:
      =====
      ”MQTT Client”-plugin på Vera’n
      — postar data till —>
      ”MQTT Broker” på en Raspberry Pi.

      Del2:
      =====
      ”Node-red” på Raspberry Pi
      — subscribe’ar efter Vera-events på Brokern —>
      — Extraherar mätdatan —>
      — Trycker in det i —>
      ”InfluxDB” körandes på Raspberry Pi

      Del3:
      =====
      ”Grafana” körandes på Raspberry Pi läser datan i ”InfluxDB” och visualiserar den

      Svara
      1. 

         Ispep

         2016-11-02

         Mycket intressant!! Har just kört igång Influxdb på min RPI3:a med. Höll på att leta nått sätt att nyttja os.execute(curl…..) och scenes med vera, men de där sättet såg mycket bättre ut!
         Återkom gärna med resultatet 🙂

         // Ispep

         Svara
         1. 

            borkman

            2016-11-03

            MQTT:
            —–
            Ben på YouTube-kanalen ”BRUH Automation” har ganska pedagogiska videos. Om du inte kollat på MQTT så kan dessa vara en enkel introduktion:

            https://www.youtube.com/watch?v=VaWdvVVYU3A
            https://www.youtube.com/watch?v=AsDHEDbyLfg

            Det var en väldigt enkelt ”apt-get install” på RPI3:an + en liten konfigfil för att få igång det. (MQTT-produkten heter Mosquitto)

            Node Red:
            ———
            Om du inte tittat på det tidigare kan du kolla in https://www.youtube.com/watch?v=f5o4tIz2Zzc

            Även den här var en väldigt enkel ”apt-get install” upplevelse på RPI3:an enligt http://nodered.org/docs/hardware/raspberrypi

            Har bara hunnit snabb-labba lite i Node Red med att koppla en MQTT-input (i.e. subscriber) mot Mosquitto MQTT Brokern som jag installerade enligt ovan, och posta lite via kommandoraden med ’mosquitto_pub’-verktyget 🙂

            Svara
            1. 

               borkman

               2016-11-03

               Testade att installera MQTT pluggen på Veran nu på morgonen. Skrev ned stegen utifall någon är intresserad:

               #1 Tanka ner zip’en från https://github.com/jonferreira/vera-mqtt till min MacBook

               #2 Kopiera över Dependency-filerna till Veran
               #2.1 scp vera-mqtt-master.zip root@vera:
               #2.2 ssh root@vera
               #2.3 unzip vera-mqtt-master.zip
               #2.4 cp vera-mqtt-master/Dependencies/usr/lib/lua/* /usr/lib/lua/

               #3 Kopiera över Plugin-filerna till Veran fråm min MacBook

               #3.1 Terminal
               #3.1.1 cd ~/Downloads
               #3.1.2 unzip vera-mqtt-master.zip

               #3.2 Safari
               #3.2.1 http://vera/cmh/#develop_apps -> Luup files -> Upload
               #3.2.2 Luup files -> Upload

               #4 Skapa en ny Device med den nyligen upladdadee D_SensorMqtt1.xml
               #4.1 http://vera/cmh/#develop_apps -> Create device ->
               Description = ”MQTT client”
               Upnp Device FileName = ”D_SensorMqtt1.xml”
               Upnp Implementation Filename = ”I_SensorMqtt1.xml”
               -> Create device

               #4.2 Vält luup
               http://vera:3480/data_request?id=reload

               #4.3 Efter ett tag dyker den nya Device’n upp under http://vera/cmh/#devices
               Dock så failar init med ”MQTT client[189]: Startup Lua Failed”
               Så då får man rota i loggen på Veran:

               cat /tmp/log/cmh/LuaUPnP.log | grep ’\(^01\|^02\|^35\|^50\).*SensorMqtt’

               Då inser man att man måste conf’a plug’en också 😛

               #4.4 http://vera/cmh/#devices -> MQTT client -> Advanced -> Variables tab
               mqttServerIp =
               mqttServerPort = 1883
               mqttServerUser = username
               mqttServerPassword = password

               #4.5 Starta en subscriber på Raspberry’n, och verifiera de credentials du angivit ovan
               mosquitto_sub -h 127.0.0.1 -p 1883 -u username -P password -t Vera/#
               mosquitto_pub -h 127.0.0.1 -p 1883 -u username -P password -t Vera/Event/DeviceAlias -m ”qwerty”

               #4.6 Börja pusha förändringar från en Vera Device

               http://vera/cmh/#devices -> MQTT client -> WatchDog -> och checkbox’a i
               * urn:upnp-org:serviceId:TemperatureSensor1 CurrentTemperature CurrentTemperature
               * urn:micasaverde-com:serviceId:HumiditySensor1 CurrentLevel CurrentLevel
               * urn:upnp-org:serviceId:SwitchPower1 Status Status
               -> Save Changes

               #4.7 Vält luup
               http://vera:3480/data_request?id=reload

               #4.8 Surfa in i Vera-gui’t och toggla en lampa
               http://vera/cmh/#devices

               #4.9 Kolla att data ramlar in på subscribern du satte upp i steg #4.5. Kan se ut exempelvis:

               pi@raspberrypi:~ $ mosquitto_sub -h 127.0.0.1 -p 1883 -u username -P password -t Vera/#
               qwerty
               qwerty
               {”CurrentTemperature”:11.3,”DeviceId”:151,”DeviceName”:”BelowBedroomTemp”,”DeviceType”:”urn:schemas-micasaverde-com:device:TemperatureSensor:1″,”OldCurrentTemperature”:11.4,”RoomId”:13,”RoomName”:”Krypis”,”ServiceId”:”urn:upnp-org:serviceId:TemperatureSensor1″,”Time”:1478159673,”Variable”:”CurrentTemperature”}
               {”DeviceId”:166,”DeviceName”:”KitchenWallPlugNew”,”DeviceType”:”urn:schemas-upnp-org:device:BinaryLight:1″,”OldStatus”:0,”RoomId”:5,”RoomName”:”Kök”,”ServiceId”:”urn:upnp-org:serviceId:SwitchPower1″,”Status”:1,”Time”:1478159692,”Variable”:”Status”}
               {”CurrentLevel”:61,”DeviceId”:155,”DeviceName”:”BelowKitchen”,”DeviceType”:”urn:schemas-micasaverde-com:device:HumiditySensor:1″,”OldCurrentLevel”:60,”RoomId”:13,”RoomName”:”Krypis”,”ServiceId”:”urn:micasaverde-com:serviceId:HumiditySensor1″,”Time”:1478159700,”Variable”:”CurrentLevel”}
               {”CurrentTemperature”:1.1,”DeviceId”:157,”DeviceName”:”GarageWall Temp”,”DeviceType”:”urn:schemas-micasaverde-com:device:TemperatureSensor:1″,”OldCurrentTemperature”:1,”RoomId”:8,”RoomName”:”Utomhus”,”ServiceId”:”urn:upnp-org:serviceId:TemperatureSensor1″,”Time”:1478159723,”Variable”:”CurrentTemperature”}
               {”CurrentLevel”:60,”DeviceId”:155,”DeviceName”:”BelowKitchen”,”DeviceType”:”urn:schemas-micasaverde-com:device:HumiditySensor:1″,”OldCurrentLevel”:61,”RoomId”:13,”RoomName”:”Krypis”,”ServiceId”:”urn:micasaverde-com:serviceId:HumiditySensor1″,”Time”:1478159818,”Variable”:”CurrentLevel”}
            2. 

               Ispep

               2016-11-03

               OTROLIGT TACKSAM FÖR DEN DÄR GUIDEN! Så fort jag kommit till MQTT biten ska det in på min Vera med 🙂
               Är det ok att lag lägger till den där informationen i Guiden jag håller på att skriva på RPI3, InfluxDB, Grafana, MQTT och Vera?

               // Ispep
3. 

   borkman

   2016-11-03

   Det är bara att plocka in (och modda) de delar som du känner att du kan använda dig av. Mycket bra om du skriver ihop en sammanfattande guide för hela processen.

   Nu när del 1 är klar (Vera — MQTT publisher —> MQTT-Broker) så har jag börjat kolla på del två (MQTT subscribe’r –> InfluxDb), och detta steg verkar vara rätt simpelt och kunna lösas på flera olika sätt. Jag tänkte prova först med logikmotorn ’NodeRed’ som verkar vara mycket användbar inom hem-automation. Känns som ett bra tillfälle att lära sig lite mer om produkten.

   Här finns ett lösningsförslag för MQTT->InfluxDb som jag tänkte testa i helgen om jag får lite tid över:
   http://flows.nodered.org/flow/5c96cc92d3171b6434bf
   (kopiera JSON-blobban till clipboarden och sedan i Node Red välj Menu -> Import -> ClipBoard)

   Lösningsförslaget finns även lite kortfattat visualiserat på
   http://jeanbrito.com/2016/02/24/saving-data-received-from-mqtt-to-influxdb-using-node-red/
   om du inte installerat Node-Red på RPI3:an ännu.

   Steg 3, InfluxDB –> Grafana har jag snabbkollat lite på också. Men tvingades kolla på lite YouTube-tutorials för att komma in i Grafana-gui’ts tankesätt, inte alldeles intuitivt vid första anblicken… 😛

   Svara
   1. 

      Ispep

      2016-11-03

      Blir ju helt perfekt om allt detta lirar på en enda RPI, ser att man har mycket att lära om MQTT..
      Underlättar att du delar med dig av det du hittar, finns otroligt mycket information, men väldigt lite information om vad som verkligen fungerar 🙂

      Ja Grafana tog en stund att designa som man ville, håller själv på att klura lite på ”text” och html (javascript) för att se om det är möjligt att göra knappar som kopplas mot gränssnittet i Veran.
      Såg några snygga exempel där man får in data från yahoo här:
      https://github.com/grafana/grafana/issues/1816

      För lite tid och för mycket bra idéer är aldrig bra…. Utöver det måste man ju ta sig tid att skriva ner allt och dela med sig på ett läsbart sätt 🙂

      som sagt, tack för att du delar med dig så pass detaljerat.
      // Ispep

      Svara
4. 

   borkman

   2016-11-04

   Vera + MQTT + NodeRed + InfluxDb + Grafana
   ==========================================
   Här kommer en steg-för-steg guide hur du sätter upp eventloggning av Oregon-Scientific RF-mätare (eller andra saker som man vill logga) och visualserar dessa med Grafana. Du behöver:

   A. En Micasaverde Vera kontroller körandes UI7
   B. En Raspberry Pi 3 (RPI3)

   ”Metrics stacken” som vi kommer sätta upp ser ut så här:
   * Vera: körandes UI7 (med USB-ansluten rfxtrx433 som läser av Oregon-Scientific sensorer)
   * Vera: MQTT publisher plugin
   * RPI3: Mosquitto MQTT Broker
   * RPI3: NodeRed
   * RPI3: InfluxDb
   * RPI3: Grafana

   Del1: ”MQTT Client”-plugin på Vera’n
   —– —– postar data till –—>
   ”MQTT Broker” på en Raspberry Pi.

   Del2: ”Node-red” på Raspberry Pi
   — subscribe’ar efter Vera-events på Brokern —>
   — Extraherar mätdatan —>
   — Trycker in det i —>
   ”InfluxDB” körandes på Raspberry Pi

   Del3: ”Grafana” körandes på Raspberry Pi läser datan
   i ”InfluxDB” och visualiserar den

   Denna guide är fokuserad kring Vera-data, men om du har Arduino eller andra IoT saker som
   pratar MQTT så kan du använda samma principer och infrastruktur för att logga deras data.

   (Ett hett tips är att du konfigurerar din RPI3:a att använda statiskt IP innan du fortsätter)

   #————————-
   # 0. Installera din RPI3:a
   #————————-
   Den här guiden går inte in på dessa detaljer. Själv kör jag en Raspberry PI image
   för hemautomation som heter ’HASSbian’. Se följande länk om du vill installera den:
   https://home-assistant.io/getting-started/installation-raspberry-pi-image/

   #——————————————-
   # 1. Installera MQTT Mosquitto på din RPI3:a
   #——————————————-
   ssh pi@raspberry_ip

   sudo apt-get update
   sudo apt-get upgrade

   sudo apt-get install mosquitto
   sudo apt-get install mosquitto-clients

   sudo nano /etc/mosquitto/mosquitto.conf
   allow_anonymous false
   password_file /etc/mosquitto/pwfile
   listener 1883

   sudo mosquitto_passwd -c /etc/mosquitto/pwfile username

   sudo service mosquitto enable
   sudo /etc/init.d/mosquitto start
   sudo /etc/init.d/mosquitto status

   mosquitto_sub -d -u username -P password -t dev/test
   mosquitto_pub -d -u username -P password -t dev/test -m ”Hello world”

   #——————————————————————————–
   # 2. Testa din MQTT Mosquitto installation med lite mer Vera-specifika parametrar
   #——————————————————————————–
   ssh pi@raspberry_ip

   # 2.1 – Subscribe’a på alla topics under ’Vera’
   mosquitto_sub -t Vera/#

   # 2.2 – Publicera ett test-meddelande
   mosquitto_pub -t Vera/test -m ’{”CurrentTemperature”:11.3,”DeviceId”:151,”DeviceName”:”BelowBedroomTemp”,”DeviceType”:”urn:schemas-micasaverde-com:device:TemperatureSensor:1″,”OldCurrentTemperature”:11.4,”RoomId”:13,”RoomName”:”Krypis”,”ServiceId”:”urn:upnp-org:serviceId:TemperatureSensor1″,”Time”:1478159673,”Variable”:”CurrentTemperature”}’

   # 2.3 – Om du paste’ar in output’en from subscribern i steg #1.1 på http://jsonlint.com/ borde du få
   {
   ”CurrentTemperature”: 11.3,
   ”DeviceId”: 151,
   ”DeviceName”: ”BelowBedroomTemp”,
   ”DeviceType”: ”urn:schemas-micasaverde-com:device:TemperatureSensor:1”,
   ”OldCurrentTemperature”: 11.4,
   ”RoomId”: 13,
   ”RoomName”: ”Krypis”,
   ”ServiceId”: ”urn:upnp-org:serviceId:TemperatureSensor1”,
   ”Time”: 1478159673,
   ”Variable”: ”CurrentTemperature”
   }

   #————————————-
   # 3. Installera InfluxDb på din RPI3:a
   #————————————-
   ssh pi@raspberry_ip

   sudo apt-get install apt-transport-https
   curl -sL https://repos.influxdata.com/influxdb.key | sudo apt-key add – source /etc/os-release
   echo ”deb https://repos.influxdata.com/debian jessie stable” | sudo tee /etc/apt/sources.list.d/influxdb.list
   sudo apt-get update && sudo apt-get install influxdb
   sudo systemctl start influxdb

   -> InfluxDb Admin gui = http://raspberry_ip:8083/
   -> InfluxDb data get/set via http = http://raspberry_ip:8086/

   #————————
   # 4. Konfigurera InfluxDb
   #————————
   influx
   CREATE DATABASE ”vera_db”
   SHOW DATABASES

   CREATE USER ”nodered” WITH PASSWORD ’nodered’
   GRANT WRITE ON vera_db TO nodered

   CREATE USER ”grafana” WITH PASSWORD ’grafana’
   GRANT READ ON vera_db TO grafana

   SHOW USERS
   SHOW GRANTS FOR nodered
   SHOW GRANTS FOR grafana

   #————————————————————————
   # 5. Installera Node Red på din RPI3:a
   # (Kolla på http://nodered.org/docs/hardware/raspberrypi för detaljer)
   #————————————————————————
   ssh pi@raspberry_ip
   sudo apt-get update
   sudo apt-get install nodered
   sudo apt-get install npm
   sudo npm install -g npm@2.x
   sudo apt-get install sense-hat

   sudo systemctl enable nodered.service
   sudo node-red-start

   -> NodeRed web gui = http://raspberry_ip:1880

   #———————————
   # 6. Skapa ditt ’flöde’ i Node Red
   #———————————

   # 6.1 – Dra ut en MQTT-inputnode och confa enligt
   Server = 127.0.0.1:1883
   Topic = Vera/#
   QoS = 2
   Name = MQTT input on topic Vera/#

   # 6.2 – Dra ut en function och confa enligt
   Name = Function converting MQTT msg to InfluxDB-format
   Outputs = 1
   Function =
   //————————————————————
   // 1. Retrieve incoming values from the Mosquitto-MQTT message
   //————————————————————
   var Topic = msg.topic;

   var Influx_Key = ”Unknown_key”;
   var Inflex_KeyTag = ”Unknown_tag”;
   var Influx_Value = ”Unknown_value”;

   var objJson = JSON.parse(msg.payload);
   var DeviceName = objJson.DeviceName;
   var DeviceType = objJson.DeviceType;
   var Variable = objJson.Variable;
   var DeviceId = objJson.DeviceId;
   var RoomName = objJson.RoomName;
   var Time = objJson.Time;

   //
   // Replace any spaces with underscore characters in DeviceNames
   //
   DeviceName=DeviceName.replace(/ /g,”_”);

   //
   // We have different value-variables depending on the DeviceType that sent the msg
   //
   if (DeviceType.indexOf(”HumiditySensor”) !=-1)
   {
   Influx_Key = ”humidity”;
   Influx_KeyTag = ”device=” + DeviceName;
   Influx_Value = ”value=” + objJson.CurrentLevel;
   }
   if (DeviceType.indexOf(”TemperatureSensor”) !=-1)
   {
   Influx_Key = ”temperature”;
   Influx_KeyTag = ”device=” + DeviceName;
   Influx_Value = ”value=” + objJson.CurrentTemperature;
   }

   //———————————————————–
   // 2. Convert the retrieved data above into an InfluxDb-
   // compatible format string.
   //
   // Influx text based line protocol:
   // [key] [fields] [timestamp]
   //
   // Example: temperature,device=BelowBedroomTemp value=11.3
   //———————————————————–
   var InfluxFmtStr = Influx_Key + ’,’ + Influx_KeyTag + ’ ’ + Influx_Value;

   //———————————————————–
   // 3. Create a new object containing our formatted InfluxDb
   // string and return it, so it will be passed to the next
   // component in the Node Red pipeline
   //———————————————————–
   var DatabaseName = ’vera_db’;
   var newMsg={};
   newMsg.payload = new Buffer(InfluxFmtStr);
   newMsg.url = ”http://127.0.0.1:8086/write?db=” + DatabaseName;
   return newMsg;

   # 6.3 – Dra ut en http-inputnode och confa enligt
   Method = POST
   URL = http://127.0.0.1:8086/write?db=vera_db
   Enable secure (SSL/TLS) connection = No
   Use basic authentication = No
   Return = a UTF-8 string
   Name = http input req sending to InfluxDB

   # 6.4 – Koppla ihop MQTT -> Function -> HTTP

   # 6.5 – Tryck på den röda Deploy-knappen

   #————————————————————————————
   # 7. Testa NodeRed-flödet genom att publicera ett MQTT meddelande med ’mosquitto_pub’
   # och kolla att datan ramlar in i InfluxDb
   #————————————————————————————
   mosquitto_pub -t Vera/test -m ’{”CurrentTemperature”:11.3,”DeviceId”:151,”DeviceName”:”BelowBedroomTemp”,”DeviceType”:”urn:schemas-micasaverde-com:device:TemperatureSensor:1″,”OldCurrentTemperature”:11.4,”RoomId”:13,”RoomName”:”Krypis”,”ServiceId”:”urn:upnp-org:serviceId:TemperatureSensor1″,”Time”:1478159673,”Variable”:”CurrentTemperature”}’

   influx
   use vera_db
   show series
   select * from temperature

   #———————-
   # 8. Installera Grafana
   #———————-
   curl https://packagecloud.io/gpg.key | sudo apt-key add –
   sudo apt-get update
   sudo apt-get install libfontconfig1

   wget https://raw.githubusercontent.com/fg2it/grafana-on-raspberry/master/jessie/v3.1.1/grafana_3.1.1-1470786449_armhf.deb
   sudo dpkg -i grafana_3.1.1-1470786449_armhf.deb

   sudo update-rc.d grafana-server defaults 95 10
   sudo systemctl enable grafana-server.service
   sudo systemctl start grafana-server
   sudo grafana-cli plugins install grafana-clock-panel

   #———————–
   # 9. Konfigurera Grafana
   #———————–
   todo: skriv ihop det här avsnittet

   Svara
5. 

   borkman

   2016-11-04

   Jag fixade till så att alla MQTT värden åker från Veran in i InfluxDb idag. Se inlägget ovan. Om du vill kan jag maila textfilen till dig istället. Är lite nojjig över att det här forumets kommentarfälts-parser tolkar lite för mycket i texten ibland…

   Svara
   1. 

      Ispep

      2016-11-07

      Ursäkta att det tagit lite tid att svara, fullt upp med all snö 🙁
      Mycket bra sammanställning av det som behöver göras! Jag har skickat har skickat mail på adressen du registrerat mot sidan. Om du vill att jag ska skicka till någon annan adress gå in på ”kontakta oss” och fyll i ett formulär med den adress du vill maila via 🙂 För som du säger Bloggen formaterar om kommenterar, den enda gången den låter bli är när vi kör med Code pluginet.

      // Ispep

      Svara
6. 

   Pär

   2016-11-14

   Hej! Funderar på att bygga en batteridriven sensor likt din, men funderar lite på hur batteriet tål kyla? Har du märkt någon försämring nu när det varit minusgrader?

   Tack för en mycket intressant sajt och att du delar med dig så mycket information!

   Svara
   1. 

      Ispep

      2016-11-14

      Tackar!
      Har kört sensorn rätt länge nu helt utan problem. Har inte sett någon skillnad som är märkbar i graferna när det var -13 för någon dag sedan.

      Det enda jag har ändrat sedan i sommar är att den nu står på högkant i riktning mot söder. Detta för att få så pass mycket sol som möjligt dagtid, undviker samtidigt att solcellen snöar över.

      Hittade nån artikel om att LiFePO4 vid -20°C hade 62% mindre energi än samma batteri vid 20°C.
      Mitt batteri skulle då ge 266mAh vintertid vid -20. Spänningen är jag lite osäker på.
      När jag tog ett snitt tidigare drog allt totalt 1,750mAh, vilket borde ge 152 timmar drift, i soligt väder fick jag +25,59mAh vid 5V när jag byggde sensorn, en dag i veckan hade jag ~3h sol med spänning en bit över 5V från panelen. Borde gå plus med energi ännu.

      Fundera nu över vad nästa version av sensorn ska för funktioner 🙂
      // Ispep

      Svara
   2. 

      Ispep

      2016-11-15

      Idag (2016-11-15 – 13:32) verkar det som att den fick slut på batteriet..

      2016-11-15 – 21:38 – Orsaken att den stannade var att sensorn hade ramlat ner i snön och nådde inte längre WIFI:T, laddar upp batteriet fullt nu och placerar ut den igen.
      Koden jag skrivit gjorde att sensorn började försöka koppla upp mot wifi igen var 60:e sekund istället för var 5:e, varje gång den försökte pågick detta i 50 försök * 100ms (5 sekunder)

      // Ispep

      Svara