Setting up your data

• Efter man har cleanet ens data sæt, skal man splitte dataen til two segmenter -> Testing og Training
• Man skal ikke teste ens model med samme data som man bruger til training.
• Ratio 70/30 eller 80/20. Training data 80% og test data 20%
• Splitte dataen i rækker og ikke kolonner.
• Randomized ens Data således at man undgår bias i ens model. 
• Scikit-learn tilbyder en build in fuction til at shuffle og randomize ens data men kun en linje kode
• Supervised learning -> feed modellen med training data og forventet output(y)
• Måle hvor god modellen performer -> Mean absolute error, som eksaminer hver forudsigelse i modellen og tilbyder en gennemsnitlig error score for hver forudsigelse.

Cross Validation

• Hvis ens eksisterende datasæt er for lille til at konstruere en korrekt model eller hvis træning/test partion af data ikke er relevant -> dårlig performance -> Brug cross validation
• Cross validation metoden -> splitter data i flere kombinationer og tester hver kombination
• Exhaustive cross validation -> finde og teste alle mulige kombinationer til at dele den orginale sample til trænings sæt og test sæt. 
• Non exhaustive cross validation -> K-fold validation. 
  • splitte data til k assigned buckets og reservere en af disse buckets til test af trænings modelen hver runde.
  • data bliver først tilfældigt tildelt et k number af equal sized buckets. En bucket er så reserveret som test bucked og bliver brugt til at måle og evaluere performance af de resterende k-1 buckets.
  • 
  • Cross validation processen bliver gentaget k number af gange (folds). 
  • Hver fold -> bucket reserveret til test trænings model -> gentager indtil alle buckets kan både blive brugt til træning og test bucket. 
  • Resultatet bliver aggregeret og kombineret til at formulere en enkelt model
  • Når man bruger alt data til både test og trænings formål, vil k-fold validation teknikken minimere potentiel fejl (som overfitting) fundet ved brug af fixed split af træning og test data

How much data do i need?

• Bedst når ens trænings datasæt inkludere en fuld række af feature kombinationer
• F.eks Datamatiker datasæt ->
  • University Degree(X)
  • 5+ years professional experience(X)
  • Children(X)
  • Salary(Y)
• Jo flere kombinationer jo bedre så f.eks hvis man skal finde løn til en Datamatiker, så skal man både have data omkring hvis de har børn og ikke har børn osv. Jo flere kombinationer desto bedre bliver modellen til at identificere hvilke attributter påvirker Y (salary). 
• Model -> 10 gange flere data points som der er features

Kilder:

Machine Learning For Absolute Beginners

Data Scrubbing

• Datasæt skal rengøres(cleaning) og human manipulated før det kan tages i brug
• Scrubbing er den tekniske process af at refinere ens datsæt og gøre det mere arbejdsvenligt.
• Dette kan involvere at man modificere og somme tider fjerne ufærdigt og inkorrekt formateres irrelevant og duplikeret data. Samt konvertere text basered data til numeriseret værdier. 

Teknikker for Scrubbing

Feature Selection

• Identificer variabler mest relevant til ens hypotese -> selektiv om de variabler man vælger til at designe ens model
• f.eks i stedet for oprette et 4-dimensional punktdiagram med 4 features(kolonner) i modellen, så kan man i stedet vælge 2 høj relevante features og bygge en to dimensional punktdiagram som er nemmere at forstå. Faktisk kan data som ikke har stor forhold til hinanden gøre at modellen bliver er unøjagtig

Eksempel 1:

fjerne name in spanish -> ikke relevant og contry code -> redundant til countries

Eksempel 2:

Inddele dem i sub kategorier – ulempe -> forhold mellem specifikke produkter -> generelle produkter.

Row Compression

• reducering af antallet af rækker og dermed compress total antal af data points
• Man kan merge to tabeller sammen men så vil feature(kolonne) værdier for begge rækker blive aggregeret og registreret i en single række. Man kan gøre det hvis begge rækker indeholder samme feature værdier. 
• Numerisk værdier er nemme at aggregere (samle sammen). 

Eksempel:

Tiger og lion bliver til carnivore

One-Hot Encoding

• Eter at have valgt variabler og rækker du vil gå videre med – skal man kigge efter text baseret features som kan blive konverteret til tal. 
• One Hot encoding transformere features til binært form, repræsenteret i 0 eller 1. 
• 0 -> False fortæller at en feature ikke tilhøre en specifik kategori hvor 1 -> true feature høre til en kategori.

Eksempel:

Binning

• Binning -> Konverter numerisk værdier til en kategori
• House evaluation example -> den specifikke størrelse på en tennisbane er irrelevant, men at huset har en tennisbane er relevant
• erstatte numerisk måling af en tennisbane med true/false feature eller kategorisk værdi som “small” eller “medium”.

Missing Data

• Finder det mest anvendte variable værdi og bruger det til at indsætte i den manglende plads -> Mode 
• Tager alle tal og divider med antallet af tallene og smider den ind i manglende værdi -> Median

Kilder:

Machine Learning For Absolute Beginners

The ML Toolbox

Afdeling 1: Data

• Data. Data udgør det input variabler der bliver brugt til at forme en forudsigelse (prediction).
• Struktureret og ikke-struktureret data
• Struktureret Data -> defineret og labeled i en table
• Tabular datasæt indeholder data organiseret i rækker og kolonner. I hvert kolonne er en feature. En feature også kendt som en variable, en dimension eller en attribute men de er alle ens
• Hvert række indeholder en single observation af en given feature/variable. Rows -> case eller value
• Hvert kolonne er kendt som en “Vector”. Vector gemmer din x og y værdier og mange vectors(columns) er kendt som en matrices. 
• I Supervised learning, y vil allerede eksistere i dit datasæt og vil blive brugt til at identificere mønstre i relation til uafhængig variabler x. Y værdien er i den sidste kolonne
• Det næste i den første afdeling af værktøjskassen er en række af punktdiagrammer. 2-D diagram x værdier plotted i x aksen og y værdier i y aksen

Afdeling 2: Infrastruktur

1. Næste afdeling indeholder infrastruktur. Hvilket indeholder platforms og værktøjer til at processe data
2. Jupyter og Notebook (web) Python (programmeringssprog). 
3. Serie af biblioteker -> NumPy, Pandas og Scikit-learn som er kompatible med Python. 
4. Til datavisualisering -> Seaborn, Matplotlib eller et standalone software program -> Tableu (charts, graphs, maps osv)
5. C++ og C er godt for avanceret machine learning fordi de kan køre direkte på GPU’en hvorimod python har brug for at blive konveteret først før den kan køres på GPU. 

Så for at redegøre hvad man kan bruge disse biblioteker i Python:

1. Loade og arbejde med datasæt via NumPy
2. Clean up og udføre beregninger på data, og ekstrahere data fra CSV filer med Pandas
3. Implementere algoritmer med Scikit-learn

Afdeling 4: Algoritmer

• Importere data direkte fra en CSV fil. Man kan finde mange Datasæt fra Kaggle.com
• Gemmer på algoritmer. Begynder starter med at bruge supervised learning:
  • Supervised -> Linær regression, logistic regression, decision trees og k-nearest
  • Unsupervised -> k-means clustering og descending dimension algorithms

Visualisering

• Effektivt at kommunikere resultaterne af relevant desicion-makers. 
• Anvendelse af Tableu eller et Python bilbiotek som seaborn. 

Advanced Toolbox

• Forskellen mellem en begynder og en avanceret learner er størrelsen af det data de skal håndtere og operer. Hvor begynder arbejder med mindre datasæt som er nem at håndtere

Afdeling 1: Big Data

• Big Data -> værdi, variation, volume, hastighed
• umuligt for et menneske at processere uden assistanse af en avanceret maskine. Petabytes kvalificere størrelsen af big data. 
• Scrubbing er en måde at arbejde med big data -> refinere ens datasæt før man bygger en model

Afdeling 2: Infrastruktur

• Avanceret machine learners anvender samme værktøjer, sprog og biblioteker som begynderniveau
• I Stedet for at rely på ens cpu af en personal computer, avanceret studerende typisk vender sig til distribuerede computing og cloud providers som amazon web services (AWS) og køre deres data processing på en GPU.
• At køre beregninger på ens GPU er meget hurtigere og effektivt! 
• Man kan anvende C eller C++ til at køre beregniner på ens GPU
• Hvis man koder i Python kan man dog stadig konverter det til C ved anvendelsen af TensorFlow fra google
• AWS, Microsoft Azure, Alibaba cloud, google cloud pålatform osv tilbyder pay as you go GPU ressourcer.

Afdeling 3: Avanceret Algoritmer

• Markov models, support vector machines og Q-learning
• Neural Networks -> som kommer med en selektion af machine learnings biblioteker
• Scikit-learn tilbyder en range af populær shallow algoritmer, så er tensorflow det machine learning bibliotek af valg for deep learning/neural networks da det understøtter mange avanceret teknikker herunder automatic calculus for back-propagation/gradient descent.
• Da TensorFlow har masser ressourcer, dokumentation og arbejde tilængeligt er det det bedste framework at arbejde ude fra.
• Andre alternativ biblioteker -> Torch, Caffe og fast-growing Keras. Kera er open source deep learning bibliotek som køre ovenpå TensorFlow, Theano og andre frameworks og tillder bruger at performe hurtige eksperimenter med færre linjer kode -> Ligesom WordPress
• Nogle bruger Keras til at validere deres model før man skifter til TensorFlow til at bygge mere tilrettet model (customized model)

Kilder:

Machine Learning For Absolute Beginners

Machine Learning Kategorier

Supervised Learning

• Supervised learning koncentrer sig på at lære mønstre via forbinde forhold mellem variabler og kendte outcomes og arbejde med labeled datasets
• Feed maskine sample data x og value output af data Y når de er kendt er det labeled
• Algoritmen decipher mønstre som eksistere i dataen og laver en model der kan reproducere den samme underlæggende regl med ny data. Eksempel: for at forudse market rate for at køber en brugt bil, en supervised algoritme kan formluere forudsigelser ved at analyser forholdet mellem bil attributter(fremstillings dato, bil mærke, kilomettal, etc) og salgs prisen på andre biler solgt baseret på historisk data. Fordi supervised algoritme kender til slut prisen af andre biler som er solgt, kan den arbejde baglæns til at determinere forholdet mellem karateristik af bilen og dens værdi. 
• Labeled Data -> hvis sample data har adskillige features (år, farve, kilometertal) og korrekt værdi output (2000kr) fordi man kender output og feature værdier er det dataset labeled
• Derefter oprettes der en model: en algoritmisk ligning for at producere et outcome med ny data baseret på reglerne som kommer fra training data. 
• Eksempler på supervised learning algoritmer inkludere regression analysis, desicion trees, k-nærest neighbors, neural networks, og support vector machines. 

Unsupervised Learning

• Finder mønstre kun ved brug af input data. Dette er brugebart hvis man ikke helt ved hvad man leder efter. Bliver brugt i exploratory analysis af rå data. 
• Mest anvendt Unsupervised learning teknikker er af form af Cluster Analysis
• Cluster Analysis -> Man grouper data items som har samme mængder af lighed baseret på karakteristisk værdier
• Clustering Algorithm -> f.eks højde og vægt for at determinere om det en kvinde eller mand. Så ser man på cluster af data. 
• AutoEncoder -> Artificial neural network. Autoencoder by design reducere data dimensioner ved at lærer hvordan man ignorere støj i data. 
• Unlabeled data indeholder kun dataen og ikke andet det vil sige f.eks hvis man har en frugt skål og den skal identificere 3 frugter, hvis dataen i det initial trainsing set er labeled vil machine learning programmet arbejde fra det perspektiv. Hvorimod i unlabeled vil programmet nødt til at arbejde ved at evaluere hver enkelte billede og kigge på karakteristik som farve, form og andre karakteristik.

Reinforcement Learning

• Er den tredje og mest avanceret algoritmisk kategori indenfor MachineLearning
• Bliver anvendt til spil bl.a. hvor AI’en lærer af erfaring og til sidst kan slå en spiller
• RL forbedre dens model ved at få feedback fra forrige iterationer og continuous learning
• performance criterier med rewards (selvkørende biler der ikke køre galt -> reward)
• f.eks pacman spil -> set of engironement of states S(obstacles, challenges eller pathways i spillet). Sæt af mulige actions til at reagere på de forskellige states er A(up, ned, venstre, højre). Q er starts værdien og har initial 0. Når spillet er igang sker dette:
  • Q falder da negative ting sker efter en given state/action
  • Q stiger da en positiv ting sker efter en given state/action
  • I Q Learning vil maskinen lære ved at matche action for en given state som genere eller vedligholder den højeste level af Q.

Kilder:

https://becominghuman.ai/machine-learning-for-dummies-explained-in-2-mins-e83fbc55ac6d

machine Learning For Absolute Beginners

https://www.techopedia.com/definition/33696/unlabeled-data

Introduktion

Machine Learning handler om at have metoder og algoritmer som lærer fra data. Som vi kan se i praktisk, f.eks. vaskemaskiner som lærer hvordan du vil have dit tøj vasket, eller smart tandbørster som fortæller dig hvilke tænder, kræver ekstra børstning osv. Et af hovedformålene er at Machine Learning hjælper med at forbedre sig selv over tid. Arthur Samuel var den første som introducerede Machine Learning til et spil af Skak hvor programmet blev programmeret til at lærer at spille bedre end personen som lavede programmet. Dvs at det giver computeren muligheden til at lærer uden at man explicit skal programmere den. 

Samuel observeret at at Maskiner ikke kræver direkte input kommandoer til at udføre sæt af opgaver men derimod bruger Input data.

Eksempel: Data bliver tilføjet til en maskine, en algoritme bliver valgt, hyper parameters (settings) bliver konfigureret og justeret, og maskinen bliver instrueret til at udføre dens analyse. Maskinen fortsætter med at decipher mønstre fundet i det data via en process af trial and error. Maskinens data model, som bliver formet af analysering af data mønstre, kan blive brugt til at forudse fremtidige værdier. 

F.eks. hvis man vil undersøge en Datamatikers youtube vieweing habits så vil en maskine identificere en stærk forhold mellem datamatiker og katte videoer. I dette scenarie vil maskinen analyser hvad datamatiker nyder at se på youtube baseret på user engagement: measured in likes, subscribes, and repeat viewing. Så man giver input data og konfigurere en nominerede algoritme, mens dens finale forudsigelse var determineret af maskines self læring og data modeling. Så machine learning models bliver trænet i at forme valg baseret på gamle erfaring. 

Hvordan mennesker lærer:

• At memorisere/huske ting er meget svært
• At identificere mønstre/patterns er nemt
• Reagere godt til nye situationer

Hvordan Machine Learning lærer:

• At huske ting er meget nemt – kan huske alle variabler osv
• Identificere mønstre er svært
• Nye situationer er svært

Træning og Test Data

• I Machine learning er data split i Training data og Test Data
• Den første split af data som er intial reserve af data man bruger til at udvikle ens model giver træning data.
• F.eks false positives fra paypal auto response (betaling confirmed) ryger i spam mail. 
• Derfor nye regler og modifikationer skal blive tilføjet så det ikke ryger til spam
• Efter man successfully udvikler en model baseret på trænings data og er tilfred med dens nøjagtighed, kan du teste modellen på det resterende data, også kendt for test data. 
• Derefter når begge data er tilfreds kan machine learning modellen filtere emails og genere desicions på hvordan den skal katogirsere de indkommene mails
• Machine learning popper fra: Computer Science -> Data Science -> AI (Tankeproces og intelligent) -> Machine Learning (Data Mining/MachineLearning)

Kilder:

https://www.linkedin.com/learning/data-science-foundations-fundamentals-5/machine-learning?u=57075649

Machine Learning For Absolute Beginners