BigQuery och GDELT project

Denna vecka har varit händelserik, och då är det bara torsdag! Idag hade jag b.la lunchmöte gällande diskussion om mitt personliga projekt vid sidan om arbetet – TensorCT

Jag fick mycket goda råd och information om vad jag bör ta i beaktning när jag planerar projektet. En av de största och viktigaste punkterna gällande AI-entiteten som skall analysera, processa och profilera datan är att det görs utan influenser från min sida gällande personliga åsikter, moraliska ståndpunkter och/eller låta syftet med tjänsten kompromissa integriteten hos AI-entiteten.

Stor erfarenhet av data-mining/scraping avslöjade även limitationer/hinder i hur en tjänst kan samla in data från i den mängd och frekvens som kommer krävas. Vi pratar då om tusentals requests till ex en sida för att samla in data vilket inte går obehindrat förbi den mest basalt konfigurerade mod_evasive webbservern -> Blacklisting iom antal + frekvens.

Det finns naturligtvis sätt att kringå/ höja tröskeln för både mängd och frekvens på insamlingen av data genom att dela upp/segmnetera tjänsten på X antal IP’s och tuna in dessa så att inga varningsflaggor går igång- listan kan göras lång. Blev även tipsad om programvara som out of the box rekommenderades.

Jag vet att tjänsten jag vill bygga och dess funktion (värde) kommer baseras på den mängd och kvalité av data som finns tillgänglig + hur pass avancerad och välutvecklad AI-entiteten som bearbetar datan blir. Det var då mycket goda nyheter jag fick tipsat om The GDELT Project som är i många mån likt den tjänst jag själv vill bygga + att den redan innehåller all den data jag behöver för att i ett första steg deploya TensorFlow på en AWS och ha direkt tillgång till den data jag från början tänkt att mina/scrapa.

Jag skulle alltså direkt kunna börja med simuleringarna och ha tillgång till all denna data. Fantastiskt!

Jag ser då framför mig att en framtida scraper kommer vara ett viktigt komplement snarare än en dependency i början av projektet. Min tanke är att scrapern skall ha en logisk sida baserad på TensorFlow och ännu längre fram en exploit-toolbox påkopplad för att utföra automatiserade bruteforce/exploits mot flaggade resurser (ex ett stängt forum som främjar radikal/ terrorist -aktivitet) för att kunna samla in data.

Hur som haver, jag måste få loss tid privat nu för att påbörja projektet på allvar.

Allt gott!

Kort arbetsvecka och risktvåan

Host, harkel och snörvel. Jag trodde att immunförsvaret skulle hålla denna vecka, men blev sängliggande hela onsdagen och torsdagen. Det känns av att kroppen slåss mot en infektion då det även gör ont på alla ställen jag haft utsatta iom boxningen och thaiboxningen- men tack och lov var jag ledig idag (fredag) då jag hade risktvåan MC inbokad på Gillinge.

Dagen började med att äldsta sonen vaknade runt 08:00 (vilket är sovmorgon för mig) och jag skjutsade honom till förskolan. Därefter besökte jag optikern för att få synen kollad gällande intyg för övningskörning, och rullade sedan vidare till Gillinge.

Det var en mycket intressant, spännande och rolig dag! Ca 1 timme spenderades i föreläsningssal och ca 4 på motorcykel där vi tränade på allt mellan kurvtagning, bromsning och placering. Jag har en stor respekt för säkerhet inom det digitala och nu även en minst lika stor respekt för personlig säkerhet när det gäller MC. Det är många tankar och insikter jag kommer ta med mig i trafiken nu så fort jag påbörjar övningskörningen privat.

Gällande övningskörningen så lade jag ut en tråd på sporthoj.com forumet och fick napp efter ca 1 månads tid. Det kommer förhoppningsvis bli ca 2-3 pass i veckan á 4-5 timmar kvällstid :-) Sehr gut!

Till helgen är det planerat att barnen skall träffa mormor medan jag och frun inhämtar en soffa till vardagsrummet och ev något annat fynd som frun hittat på Blocket.

Gällande personliga projekt och annat så har jag ej haft tid pga sjukdom, men nästa vecka tas det nya tag och jag har lite att läsa på om nu under lör/sön gällande neo4j för mitt troligtvis mest ambitiösa projekt TensorCT.org

Sikta mot stjärnorna, hamna bland trädtopparna?

Riskutbildning, fight club och renovering

Måndag är här igen med en händelserik helg bakom sig samt en späckad vecka framför.
I lördags steg jag upp kl 05:30 för att ta min andra körlektion gällande MC-kortet kl 06:00 på Gillinge körbana. Därefter hemåt för att åter infinna mig på Österåkers trafikskola kl 13:30 och genomföra riskettan. Nu har jag bokat in risktvåan som är 12:45 på Fredag vid Gillinge samt fått klartecken om ledighet från jobbet- sehr gut!

Under söndagen så passade frun på att ta en målarkurs medan jag tog båda ungarna till Norrtälje för att hämta upp en rokoko-soffa. Denna soffa är ca 150+ år gammal och är i ett utomordentligt skick vilket inte är så vanligt gällande klädseln. Vi började med att maskera tyget mot ramarna- och idag så har min fru lagt det första lagret av svart färg enligt instruktionerna hon fick på sin kurs. Jag låter resultatet (bilderna) tala för sig själv- sjukt vacker möbel!

Träningen går även framåt, jag genomgår sedan en tid tillbaka en relativt oplanerad deff (som vanligt) iom omlagd träningsform. Målet är ett definierat 6-pack a´la Tyler Durden i Fight Club och en kondition som går hand i hand med boxningen/ Muay-thai.
Tråkigt är dock att jag dragit på mig en skada på vänster knä efter ett pass sparring (spark på knä) samt idiotiskt knäböj-pass samma vecka (gjorde ju inte skadan bättre).

Just nu kör jag på ”rehabsträning” och fokuserar på boxningspassen tills skadan är läkt.
”Är huvudet dumt så får kroppen lida” som man säger.

Privat så har jag hunnit fila mer på mitt personliga projekt och investerar nu tid i att läsa på om Google Tensorflow samt SyntaxNet i samband med data-mining/scraping. Om allt realiseras och går bra så hoppas jag kunna bidra till både Gost Security Group utöver Svea rike.

Allt gott!

Friday fun day

Så har veckan nått sitt slut och många roliga saker har hänt.

Först fick jag påbörja min övningskörning gällande MC-kortet samt bokat in ett möte med en intressant individ gällande ett personligt projekt som jag gått och filat på länge.

Epic proteins

Epic proteins

Idag när jag kom tillbaka från träningen så möttes jag även av epic proteins som en väldigt snäll kollega (läs favorit just nu ) lämnat på mitt bord i.o.m ett projekt vi jobbar ihop med.

Fredag fun day!

Gillinge bana

Waow! Igår så hade jag min första körning på Gillinge MC bana via Österåkers trafikskola. Det var inte ett litet enforfinpåslag man fick väl på hojen eller när man väl var hemma efter kvällen. Sömnen blev minimal och tröttheten är ett faktum idag- men lunchens boxning blir av vare sig jag vill eller stupar.

Redan nu på lördag har jag bokat in nästa session på Gillinge kl 06:00 samt Riskettan kl 13:30 på trafikskolan. Teorin går framåt och jag har nu börjat med teoriproven i appen som jag använder (började med att nöta fordonskännedom, personlig säkerhet och sedan trafikregler) – det känns väldigt bra! Planen är att skriva teorin så fort som möjligt då den är giltig i 1 år, och förhoppningsvis under semestern (v 28 tom 32) övningsköra privat under längre/ mer frekventa sessioner.

Allt gott!