Hej! Ako dodávateľ algoritmu ID3 som videl z prvej ruky, aké zásadné je inžinierstvo funkcií pre čo najlepšie vyťaženie z algoritmu ID3. V tomto blogu sa podelím o niekoľko tipov a trikov, ako vykonať inžinierstvo funkcií pre algoritmus ID3, takže vaše údaje môžete pre vás sťažiť.
Pochopenie algoritmu ID3
Predtým, ako sa ponoríme do inžinierstva funkcie, rýchlo zhrňte, o čom je algoritmus ID3. Algoritmus ID3 (iteratívny dichotomiser 3) je algoritmus rozhodovacieho stromu, ktorý využíva entropiu a zisk informácií na vytváranie rozhodovacích stromov. Je to populárny algoritmus pre klasifikačné úlohy, pretože je relatívne jednoduché porozumieť a implementovať.
Základnou myšlienkou algoritmu ID3 je rozdelenie údajov na podmnožiny na základe funkcie, ktorá poskytuje najviac informácií o informáciách. Zisk informácií je mierou toho, koľko neistoty sa znižuje rozdelením údajov na základe konkrétnej funkcie. Algoritmus naďalej rozdeľuje údaje, až kým všetky inštancie v podskupine nepatrí do tej istej triedy alebo už nie sú k dispozícii žiadne ďalšie funkcie.
Prečo je záleží na inžinierstve
Funkčné inžinierstvo je proces transformácie nespracovaných údajov na funkcie, ktoré lepšie predstavujú základný problém, čo uľahčuje algoritmami strojového učenia sa učiť sa z údajov. Pokiaľ ide o algoritmus ID3, inžinierstvo funkcií môže mať významný vplyv na výkonnosť stromu rozhodnutia.
Tu je niekoľko dôvodov, prečo sú funkčné inžinierstvo dôležité pre algoritmus ID3:
- Vylepšený zisk informácií: Výberom správnych funkcií a ich vhodným transformáciou môžete zvýšiť zisk informácií pri každom rozdelení, čo vedie k presnejšiemu a efektívnejšiemu stromu rozhodovania.
- Znížené nadmerné prispôsobenie: Funkčné inžinierstvo môže pomôcť znížiť nadmerné prispôsobenie odstránením irelevantných alebo hlučných funkcií z údajov. Vďaka tomu je strom rozhodnutí zovšeobecniteľnejší a lepšie schopný dobre fungovať na neviditeľných údajoch.
- Rýchlejší výcvik: Znížením rozmernosti údajov prostredníctvom inžinierstva funkcií môžete urýchliť tréningový proces algoritmu ID3.
Kroky pre inžinierstvo funkcie pre algoritmus ID3
1. Čistenie údajov
Prvým krokom v inžinierstve funkcie je čistenie údajov. Zahŕňa to riešenie chýbajúcich hodnôt, odľahlých hodnôt a nekonzistentných údajov. Chýbajúce hodnoty sa dajú zvládnuť imputáciou, kde vyplníte chýbajúce hodnoty štatistickým opatrením, ako je priemer, medián alebo režim. Odľahlé hodnoty môžu byť odstránené alebo transformované, aby sa znížil ich vplyv na údaje. Nekonzistentné údaje sa dajú opraviť štandardizáciou údajov alebo odstránením duplikátov.
2. Výber funkcií
Výber funkcií je proces výberu najrelevantnejších funkcií z súboru údajov. To sa dá dosiahnuť pomocou rôznych techník, ako je korelačná analýza, test chí-kvadrát alebo vzájomné informácie. Cieľom je zvoliť funkcie, ktoré majú vysokú koreláciu s cieľovou premennou a poskytnúť najväčší zisk informácií.
Napríklad, ak budujete strom rozhodovania, aby ste predpovedali, či si zákazník kúpi produkt, môžete vybrať funkcie, ako sú vek, pohlavie, príjem a história nákupu. Tieto funkcie pravdepodobne budú mať významný vplyv na rozhodnutie zákazníka o kúpe produktu.
3. Transformácia funkcií
Transformácia prvkov zahŕňa prevod prvkov RAW na vhodnejší formát pre algoritmus ID3. To môže zahŕňať normalizáciu údajov, kódovanie kategorických premenných a vytvorenie nových funkcií z existujúcich funkcií.
- Normalizácia: Normalizácia je proces škálovania údajov do spoločného rozsahu. To sa dá dosiahnuť pomocou techník, ako je Min-Max Scaling alebo Normalizácia Z-skóre. Normalizácia pomáha zlepšovať výkon algoritmu ID3 tým, že zabezpečuje, aby boli všetky funkcie v rovnakom rozsahu.
- Kódovanie kategorických premenných: Kategorické premenné sú premenné, ktoré majú obmedzený počet hodnôt. Tieto premenné musia byť kódované do číselných hodnôt skôr, ako sa môžu použiť v algoritme ID3. To sa dá urobiť pomocou techník, ako je jedno horúce kódovanie alebo kódovanie štítkov.
- Tvorba funkcií: Tvorba funkcií zahŕňa vytváranie nových funkcií z existujúcich funkcií. To sa dá dosiahnuť kombináciou funkcií, prijatím logaritmu alebo druhej druhej koreňa funkcie alebo vytvorením podmienok interakcie. Tvorba funkcií môže pomôcť zachytiť zložité vzťahy medzi funkciami a cieľovou premennou.
4. Hodnotenie funkcií
Akonáhle ste vykonali funkčné inžinierstvo, je dôležité vyhodnotiť výkon nových funkcií. To sa dá dosiahnuť pomocou techník, ako je krížová validácia alebo validácia zadržania. Krížová validácia zahŕňa rozdelenie údajov na viacero podskupín a školenie algoritmu ID3 na rôzne kombinácie týchto podskupín. Validácia zadržania zahŕňa rozdelenie údajov na súpravu tréningu a testovaciu súpravu a vyhodnotenie výkonu algoritmu ID3 v testovacej sade.
Príklady v reálnom svete
Pozrime sa na niektoré príklady inžinierstva funkcie pre algoritmus ID3.
Príklad 1: Predpovedanie predaja automobilov
Predpokladajme, že ste predajcom automobilov a chcete postaviť strom rozhodovania, aby ste predpovedali, či si zákazník kúpi auto. Máte súbor údajov, ktorý obsahuje funkcie ako vek, pohlavie, príjem a typ automobilu, o ktoré sa zaujímajú.
- Čistenie údajov: Všimnite si, že niektoré z hodnôt príjmu chýbajú. Rozhodnete sa napísať chýbajúce hodnoty mediánom príjmom.
- Výber funkcií: Vykonávate korelačnú analýzu a zistíte, že vek, príjem a typ vozidla sú vysoko korelované s cieľovou premennou (či zákazník kúpi auto). Rozhodnete sa vybrať tieto funkcie pre strom rozhodovania.
- Transformácia funkcií: Kódujete kategorickú premennú „Typ automobilu“ pomocou jednostranného kódovania. Normalizujete tiež funkcie veku a príjmu pomocou škálovania Min-Max.
- Hodnotenie funkcií: Na vyhodnotenie výkonnosti rozhodovacieho stromu používate krížovú validáciu. Zistili ste, že strom rozhodovania má presnosť 80%, čo je významné zlepšenie v porovnaní s použitím nespracovaných údajov.
Príklad 2: Predpovedanie spotreby energie
Predpokladajme, že ste úžitková spoločnosť a chcete postaviť strom rozhodovania, aby ste predpovedali spotrebu energie domácnosti. Máte súbor údajov, ktorý obsahuje funkcie, ako je počet cestujúcich, veľkosť domu a typ použitých spotrebičov.
- Čistenie údajov: Všimnite si, že niektoré z veľkostných hodnôt sú odľahlé hodnoty. Rozhodnete sa odstrániť tieto odľahlé hodnoty, aby ste znížili ich vplyv na údaje.
- Výber funkcií: Vykonáte analýzu vzájomných informácií a zistíte, že počet cestujúcich, veľkosť domu a typ zariadení sú najrelevantnejšími vlastnosťami na predpovedanie spotreby energie. Rozhodnete sa vybrať tieto funkcie pre strom rozhodovania.
- Transformácia funkcií: Vytvoríte novú funkciu „hustota obsadenia“ rozdelením počtu cestujúcich podľa veľkosti domu. Kódujete tiež kategorickú premennú „Typ spotrebičov“ pomocou kódovania štítkov.
- Hodnotenie funkcií: Na vyhodnotenie výkonu stromu rozhodnutia používate validáciu zadržania. Zistili ste, že strom rozhodovania má strednú štvorcovú chybu 0,5, čo je dobrý výkon pre tento typ problému.
Záver
Funkcia Engineering je rozhodujúcim krokom k čo najväčšiemu využívaniu algoritmu ID3. Podľa krokov uvedených v tomto blogu môžete vylepšiť výkonnosť stromu rozhodovania, znížiť nadmerné prispôsobenie a urýchliť proces tréningu.
Ak máte záujem dozvedieť sa viac o funkčnom inžinierstve pre algoritmus ID3 alebo ak hľadáte spoľahlivého dodávateľa algoritmu ID3, neváhajte a neváhajteKontaktujte násza konzultáciu. Radi vám pomôžeme čo najlepšie využiť vaše údaje.
Odkazy
- Quinlan, Jr (1986). Uvedenie rozhodovacích stromov. Strojové učenie, 1 (1), 81-106.
- Hastie, T., Tibshirani, R., & Friedman, J. (2009). Prvky štatistického učenia: ťažba údajov, inferencia a predpoveď. Springer Science & Business Media.
Viac informácií o ojazdených automobiloch nájdete v týchto odkazoch:
