2. Shlukování na základě hustoty (metody založené na modelu)

Shlukování založené na hustotě, metoda založená na modelu, najde skupiny na základě hustoty datových bodů. Na rozdíl od klastrování založeného na centroidech, které vyžaduje, aby byl počet klastrů předem definován a je citlivý na inicializaci, klastrování založené na hustotě určuje počet klastrů automaticky a je méně náchylné na počáteční pozice. Jsou skvělé při manipulaci s clustery různých velikostí a forem, takže jsou ideální pro datové sady s nepravidelně tvarovanými nebo překrývajícími se clustery. Tyto metody spravují oblasti s hustými i řídkými daty tím, že se zaměřují na místní hustotu a dokážou rozlišovat shluky s různými morfologiemi.

Naproti tomu seskupení založené na centroidech, stejně jako k-means, má problém najít shluky libovolného tvaru. Vzhledem k přednastavenému počtu požadavků na cluster a extrémní citlivosti na počáteční umístění těžišť se výsledky mohou lišit. Navíc tendence přístupů založených na centroidech vytvářet sférické nebo konvexní shluky omezuje jejich schopnost zvládnout komplikované nebo nepravidelně tvarované shluky. Závěrem lze říci, že shlukování založené na hustotě překonává nevýhody technik založených na centroidech tím, že autonomně vybírá velikosti shluků, je odolné vůči inicializaci a úspěšně zachycuje shluky různých velikostí a forem. Nejoblíbenější shlukovací algoritmus založený na hustotě je DBSCAN .

3. Clustering na základě konektivity (hierarchické shlukování)

Metoda pro sestavení souvisejících datových bodů do hierarchických shluků se nazývá hierarchické shlukování. Každý datový bod se zpočátku bere v úvahu jako samostatný shluk, který je následně kombinován se shluky, které jsou si nejpodobnější, do jednoho velkého shluku, který obsahuje všechny datové body.

Přemýšlejte o tom, jak můžete uspořádat sbírku položek podle toho, jak jsou podobné. Každý objekt začíná jako svůj vlastní shluk na základně stromu při použití hierarchického shlukování, které vytváří dendrogram, strukturu podobnou stromu. Nejbližší páry shluků jsou poté sloučeny do větších shluků poté, co algoritmus prozkoumá, jak moc jsou si objekty navzájem podobné. Když je každý objekt v jednom shluku v horní části stromu, proces slučování je dokončen. Prozkoumávání různých úrovní granularity je jednou ze zábavných věcí na hierarchickém shlukování. Chcete-li získat daný počet shluků, můžete vybrat, zda chcete řezat dendrogram v konkrétní výšce. Čím jsou si dva objekty v shluku podobnější, tím jsou blíže. Je to srovnatelné s klasifikací položek podle jejich rodokmenů, kde jsou nejbližší příbuzní seskupeni a širší větve znamenají obecnější souvislosti. Existují 2 přístupy pro hierarchické shlukování:

• Divisive Clustering : Postupuje se přístupem shora dolů, zde považujeme všechny datové body za součást jednoho velkého shluku a poté je tento shluk rozdělen do menších skupin.
• Aglomerativní shlukování : Jedná se o přístup zdola nahoru, zde považujeme všechny datové body za součást jednotlivých shluků a poté se tyto shluky spojí dohromady, aby vytvořily jeden velký shluk se všemi datovými body.

4. Klastrování založené na distribuci

Pomocí shlukování založeného na distribuci jsou datové body generovány a organizovány podle jejich sklonu spadat do stejného rozdělení pravděpodobnosti (jako je gaussovské, binomické nebo jiné) v datech. Datové prvky jsou seskupeny pomocí rozdělení založeného na pravděpodobnosti, které je založeno na statistických rozděleních. Zahrnuty jsou datové objekty, u kterých je vyšší pravděpodobnost, že budou v clusteru. U datového bodu je méně pravděpodobné, že bude zahrnut do shluku, čím dále je od centrálního bodu shluku, který existuje v každém shluku.

Významnou nevýhodou přístupů založených na hustotě a hranicích je potřeba specifikovat shluky a priori pro některé algoritmy, a především definice shlukové formy pro většinu algoritmů. Musí být vybrán alespoň jeden ladění nebo hyperparametr, a přitom by to mělo být jednoduché, jeho nesprávné nastavení by mohlo mít neočekávané následky. Shlukování založené na distribuci má oproti přístupům shlukování na základě blízkosti a centroidů jednoznačnou výhodu, pokud jde o flexibilitu, přesnost a strukturu shluků. Klíčovým problémem je, aby se zabránilo přepastování Mnoho metod shlukování pracuje pouze se simulovanými nebo vyrobenými daty, nebo když většina datových bodů jistě patří do přednastavené distribuce. Nejoblíbenější shlukovací algoritmus založený na distribuci je Gaussův model směsi .

Aplikace Clusteringu v různých oblastech:

1. Marketing: Může být použit k charakterizaci a objevování zákaznických segmentů pro marketingové účely.
2. Biologie: Může být použit pro klasifikaci mezi různé druhy rostlin a zvířat.
3. Knihovny: Používá se při seskupování různých knih na základě témat a informací.
4. Pojištění: Používá se k uznání zákazníků, jejich politik a identifikaci podvodů.
5. Plánování města: Používá se k vytváření skupin domů a ke studiu jejich hodnot na základě jejich geografické polohy a dalších přítomných faktorů.
6. Studie zemětřesení: Poznáním oblastí zasažených zemětřesením můžeme určit nebezpečné zóny.
7. Zpracování obrazu : Clustering lze použít k seskupování podobných obrázků, klasifikaci obrázků na základě obsahu a identifikaci vzorů v obrazových datech.
8. Genetika: Shlukování se používá k seskupování genů, které mají podobné vzorce exprese, ak identifikaci genových sítí, které spolupracují v biologických procesech.
9. Finance: Clustering se používá k identifikaci tržních segmentů na základě chování zákazníků, identifikaci vzorců v datech akciového trhu a analýze rizik v investičních portfoliích.
10. Služby zákazníkům: Clustering se používá k seskupování dotazů a stížností zákazníků do kategorií, identifikaci běžných problémů a vývoji cílených řešení.
11. Výrobní : Clustering se používá k seskupování podobných produktů, optimalizaci výrobních procesů a identifikaci vad ve výrobních procesech.
12. Lékařská diagnóza: Clustering se používá k seskupování pacientů s podobnými příznaky nebo nemocemi, což pomáhá při stanovení přesné diagnózy a identifikaci účinné léčby.
13. Detekce podvodů: Clustering se používá k identifikaci podezřelých vzorců nebo anomálií ve finančních transakcích, což může pomoci při odhalování podvodů nebo jiných finančních trestných činů.
14. Analýza návštěvnosti: Clustering se používá k seskupování podobných vzorců dopravních dat, jako jsou hodiny ve špičce, trasy a rychlosti, což může pomoci při zlepšování plánování dopravy a infrastruktury.
15. Analýza sociálních sítí: Clustering se používá k identifikaci komunit nebo skupin v rámci sociálních sítí, což může pomoci pochopit sociální chování, vliv a trendy.
16. Kybernetická bezpečnost: Clustering se používá k seskupování podobných vzorců síťového provozu nebo chování systému, což může pomoci při odhalování a prevenci kybernetických útoků.
17. Klimatická analýza: Shlukování se používá k seskupování podobných vzorců klimatických dat, jako je teplota, srážky a vítr, což může pomoci porozumět změně klimatu a jejímu dopadu na životní prostředí.
18. Sportovní analýza: Clustering se používá k seskupování podobných vzorců dat o výkonu hráče nebo týmu, což může pomoci při analýze silných a slabých stránek hráče nebo týmu a při strategických rozhodnutích.
19. Analýza kriminality: Shlukování se používá k seskupování podobných vzorců dat o trestné činnosti, jako je poloha, čas a typ, což může pomoci při identifikaci ohnisek kriminality, předpovídání budoucích trendů kriminality a zlepšování strategií prevence kriminality.

Závěr

V tomto článku jsme probrali Clustering, jeho typy a aplikace v reálném světě. Učení bez dozoru je toho mnohem více, co je třeba pokrýt, a Clusterová analýza je jen prvním krokem. Tento článek vám může pomoci začít s algoritmy Clustering a pomoci vám získat nový projekt, který lze přidat do vašeho portfolia.

Často kladené otázky (FAQ) o shlukování

Otázka: Jaká je nejlepší metoda shlukování?

Mezi 10 nejlepších shlukovacích algoritmů patří:

1. K-means Clustering
2. Hierarchické shlukování
3. DBSCAN (Density-Based Spatial Clustering of Applications with Noise)
4. Gaussovské modely směsí (GMM)
5. Aglomerativní shlukování
6. Spektrální shlukování
7. Shlukování středního posunu
8. Propagace afinity
9. OPTIKA (objednací body k identifikaci shlukovací struktury)
10. Birch (vyvážené iterativní snižování a shlukování pomocí hierarchií)

Otázka: Jaký je rozdíl mezi shlukováním a klasifikací?

Hlavní rozdíl mezi shlukováním a klasifikací je v tom, že klasifikace je algoritmus učení pod dohledem a shlukování je algoritmus učení bez dozoru. To znamená, že aplikujeme shlukování na ty datové sady, které nemají cílovou proměnnou.

Q. Jaké jsou výhody shlukové analýzy?

Data lze organizovat do smysluplných skupin pomocí silného analytického nástroje shlukové analýzy. Můžete jej použít k přesnému určení segmentů, nalezení skrytých vzorců a zlepšení rozhodování.

Otázka: Která metoda shlukování je nejrychlejší?