Kurz SSIS poskytuje základní a pokročilé koncepty SQL Server Integration Services. Náš výukový program SSIS je určen pro začátečníky i profesionály.
Služba integrace serveru SQL Server je rychlý a flexibilní nástroj pro ukládání dat používaný pro extrakci, transformaci a načítání dat. Usnadňuje načítání dat z jedné databáze do jiné databáze, jako je SQL Server, Oracle, soubor Excel atd.
V tomto tutoriálu probereme následující témata:
- Co je SSIS
- Co je integrace dat
- Proč SSIS
- Jak SSIS funguje
- Požadavky na SQL Server Integration Service
- Co je balíček SSIS
- Úkoly SSIS
- Příklad úlohy toku dat
- Příklad úlohy Spustit SQL
Co je SSIS?
- SSIS je zkratka pro SQL Server Integration Services.
- Je to komponenta dostupná v databázovém softwaru Microsoft SQL Server, která se používá k provádění široké škály integračních úloh.
- Jedná se o nástroj pro ukládání dat, který se používá pro extrakci dat, načítání dat do jiné databáze, transformace jako je čištění, agregace, slučování dat atd.
- Nástroj SSIS také obsahuje grafické nástroje a funkce workflow průvodců, jako je odesílání e-mailových zpráv, ftp operace, zdroje dat.
- SSIS se používá k provádění široké škály transformačních a integračních úloh. Jako celek se nástroj SSIS používá při migraci dat.
SSIS je nástroj používaný hlavně k provádění dvou funkcí:
SSIS provádí integraci dat kombinací dat z více zdrojů a poskytuje uživatelům jednotná data.
Workflow lze použít k provádění několika věcí. Někdy potřebujeme provést nějaké konkrétní kroky nebo konkrétní cestu, která je buď založena na časovém období nebo parametru předávaném do balíčku nebo na datech dotazovaných z databáze. Lze jej použít k automatizaci údržby databází SQL Server a poskytuje aktualizaci vícerozměrných analytických dat.
Co je integrace dat?
Integrace dat je proces, kterým se řídíte, abyste integrovali data z více zdrojů. Data mohou být buď heterogenní data, nebo homogenní data. Data mohou být strukturovaná, polostrukturovaná nebo nestrukturovaná. Při integraci dat se data z různých zdrojů dat integrují a vytvářejí smysluplná data.
K dosažení integrace dat se používají některé metody:
Výhody integrace dat:
Snižuje složitost dat, což znamená, že data mohou být doručena do jakéhokoli systému. Data Integration zachovává složitost, efektivní připojení a usnadňuje dodávání dat do jakéhokoli systému.
Integrita dat hraje hlavní roli v integraci dat. Zabývá se čištěním a ověřováním dat. Každý chce vysoce kvalitní a robustní data, proto se k dosažení tohoto konceptu datové integrace používá. Integrace dat je užitečná při odstraňování chyb, nekonzistence a duplicit.
Přístupnost je součástí spolupráce na datech. Dostupnost znamená, že data lze snadno transformovat a lidé mohou data snadno integrovat do projektů, sdílet své výsledky a udržovat data aktuální.
Umožňuje vám také činit chytřejší rozhodnutí. Integrovaná data se týkají procesu přenosu v rámci společnosti, abychom mohli snáze porozumět informacím. Integrovaná data jsou mnohem jednodušší a informativní.
Proč SSIS?
SSIS se používá z následujících důvodů:
SSIS se používá ke kombinaci dat z více zdrojů dat za účelem generování jediné struktury v jednotném zobrazení. V zásadě je zodpovědný za shromažďování dat, extrahování dat z více zdrojů dat a slučování do jednoho zdroje dat.
SSSIS je platforma, která má schopnost načíst velké množství dat z aplikace Excel do databáze SQL Server.
Nástroj SSSIS poskytuje úzkou integraci s ostatními produkty společnosti Microsoft.
Nástroj SSSIS je levnější než většina ostatních nástrojů. Může odolat jiným základním produktům, jejich ovladatelnosti, business intelligence atd.
SSSIS vám umožňuje zvládnout složitou chybu v toku dat. Tok dat můžete spustit a zastavit na základě závažnosti chyby. Můžete dokonce poslat e-mail adminovi, když dojde k nějaké chybě. Když je chyba vyřešena, můžete vybrat cestu mezi pracovním postupem.
Jak SSIS funguje?
Víme, že SSIS je platforma pro dvě funkce, tj. integraci dat a workflow. Úkoly Transformace dat i vytváření pracovních postupů jsou prováděny pomocí balíčku SSIS. Balíček SSIS se skládá ze tří částí:
Provozní údaje
Provozní data je databáze používaná k integraci dat z více zdrojů dat za účelem provádění dalších operací s daty. Je to místo, kde jsou data uložena pro aktuální provoz před odesláním do datového skladu pro uložení, vykazování nebo archivaci.
ahoj světe s javou
ETL
- ETL je nejdůležitější proces v nástroji SSIS. ETL se používá k extrahování, transformaci a načítání dat do datového skladu.
- ETL je proces zodpovědný za vytažení dat z více zdrojů dat, transformaci dat na užitečná data a následné uložení dat do datového skladu. Data mohou být v libovolném formátu xml souboru, plochého souboru nebo libovolného databázového souboru.
- Zajišťuje také, že data uložená v datovém skladu jsou relevantní, přesná, vysoce kvalitní a užitečná pro podnikové uživatele.
- Je snadno přístupný, takže datový sklad lze efektivně a efektivně využívat.
- Pomáhá také organizaci činit rozhodnutí na základě dat získáváním strukturovaných a nestrukturovaných dat z více zdrojů dat.
ETL je tříslovný koncept, ale je rozdělen do čtyř fází:
Zachytit: Fáze zachycení je také známá jako fáze extrahování. V této fázi vybírá zdrojová data nebo metadata a data mohou být v jakémkoli formátu, jako je soubor xml, plochý soubor nebo jakýkoli databázový soubor.
Drhnout: V této fázi se zkontrolují původní údaje. Kontroluje data, zda obsahují nějaké chyby nebo ne. Pomocí některých technik umělé inteligence kontroluje chyby nebo nekonzistenci dat. Zkrátka ověřuje, zda je kvalita produktu splněna či nikoliv.
Přeměnit: Je to třetí fáze v ETL. Transformace je proces, při kterém se původní formát převede na požadovaný formát. Transformace je modelování nebo změna dat podle požadavků uživatele. Změny mohou být buď změnou počtu sloupců nebo řádků.
Načíst a indexovat: Čtvrtou fází je zatížení a index. Načte data a ověří počet zpracovaných řádků. Po dokončení načítání dat se použije indexace. Indexování vám pomůže sledovat počet řádků, které jsou načteny v datovém skladu. Indexování také pomáhá identifikovat data, ať už jsou ve správném formátu nebo ne.
Datový sklad
Datový sklad je jediné, úplné a konzistentní úložiště dat, které je formulováno kombinací dat z více zdrojů dat.
Rozdíl mezi databází a datovým skladem
Odpověď může být ano i ne. Databáze i datový sklad mají velkou jednotku dat a podobnou fyzickou reprezentaci, ale doba odezvy složitých dotazů v datovém skladu je rychlejší než v databázi.
Požadavky na SQL Server Integration Services
Níže jsou uvedeny požadavky na instalaci SQL Server Integration Services:
- Nainstalujte SQL Server
- Nainstalujte SQL Server Data Tools
Chcete-li nainstalovat nástroje SQL Server Data, postupujte podle následujících kroků:
Krok 1: Klikněte na odkaz https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 ke stažení datových nástrojů SQL Server.
Krok 2: Po kliknutí na výše uvedený odkaz se zobrazí následující obrazovka:
Na obrazovce výše vyberte verzi SSDT, kterou chcete nainstalovat.
Krok 3: Po dokončení stahování spusťte stažený soubor. Když spustíte stažený soubor, objeví se obrazovka, která je zobrazena níže:
Krok 4: Klikněte na tlačítko Další.
Krok 5: Vyberte instanci vizuálního studia a nástroje, které chcete nainstalovat do vizuálního studia 2017.
Krok 6: Klikněte na Nainstalujte knoflík.
Co je balíček SSIS?
Balíček je základní blok, kde kódujete v SSIS. Zde kód neznamená, že kódujete v nějakém programovacím jazyce; to znamená vývoj, který děláte. Vývoj se provádí v balíčku SSIS. SSIS se používá hlavně pro proces ETL a proces ETL se provádí uvnitř balíčku SSIS.
Balíček SSIS se skládá ze tří částí:
Balíček SSIS bude mít některá připojení a tato připojení se používají k připojení k různým zdrojům dat.
Balíček SSIS se skládá ze dvou prvků, tj. prvků řídicího toku a prvků toku dat. Prvky řídicích toků zajišťují pracovní postupy. Workflow znamená, že některé úkoly provádíme v krocích, takže sekvence se provádí pomocí řídicího toku.
Prvky toku dat provádějí transformace.
Úkoly SSIS
V balíčku SSIS můžeme přidat úkoly. Úkol je jednotka práce a budeme mít různé typy úkolů k provádění různých druhů práce. Existují různé typy úloh, ale probereme ty nejběžnější úlohy používané v SSIS:
Používá se k provádění příkazů SQL proti relační databázi.
Používá se hlavně ke čtení dat z jednoho nebo více datových zdrojů, transformaci dat a může také načítat data do jednoho nebo více cílů.
Používá se ke zpracování objektů krychle SSAS nebo tabulkového modelu.
Tato úloha se používá k volání ostatních balíčků v rámci stejného projektu. Hodnoty proměnných můžete dokonce předat volanému balíčku.
Umožňuje spouštět aplikaci nebo dávkové skripty jako SQL Server Integration Services. Lze jej použít k otevření standardní aplikace, jako je Microsoft Excel, Microsoft Word atd. Slouží také k rozbalení komprimovaného souboru.
Lze jej použít k provádění manipulací v systému souborů, jako je přesun souborů, mazání souborů, přejmenování souborů, změna adresáře atd.
Úlohy IFTP se používají k provádění operací se soubory a složkami. Pokud například chcete odeslat nebo přijmout soubor ze serveru FTP do místního adresáře, použije se úloha FTP SSIS.
Tato úloha vám umožňuje napsat kód .Net, který chcete provést.
Tato úloha se používá k odeslání e-mailu. Používá se hlavně tehdy, když chcete upozornit uživatele na stav úlohy, zda je v běžícím stavu nebo došlo k nějaké chybě.
Podívejme se na funkční příklad služby integrace dat.
Příklad úlohy toku dat
Krok 1: Nejprve vytvoříme soubor aplikace Excel v aplikaci Microsoft Excel. Předpokládejme, že vytvořím databázi studentů v aplikaci Microsoft Excel a pole v tabulce studentů jsou student_id, student_name, známky a pohlaví.
Krok 2: Otevřete vizuální studio (SQL Server Data Tools).
Krok 3: Klikněte na možnost Soubor a poté přejděte na Nový->Projekt.
Krok 4: Když kliknete na projekt, objeví se obrazovka, která je znázorněna níže:
Na výše uvedené obrazovce klikněte na Integrační služby zobrazené na levé straně panelu a poté klikněte na Projekt Integračních služeb.
Krok 5: Po kliknutí na projekt integračních služeb možnost, obrazovka se zobrazí takto:
java null kontrola
Výše uvedená obrazovka se skládá z pěti karet, jako je Control flow, Data flow, Parameters, Event Handler a Package Explorer. Řídicí tok a tok dat jsme již diskutovali, řídicí tok i tok dat existují uvnitř balíčku SSIS.
krok 6: Pro import dat musíme nejprve vytvořit databázi, ve které vytvoříme tabulku v databázi SQL Server. Protože víme, že data studentů jsou k dispozici v souboru Excel, a chceme data importovat do databáze SQL Server. Abychom toho dosáhli, musíme nejprve vytvořit tabulku v SQL Serveru. Otevřete SQL Server Management studio.
Krok 7: Vytvořte student databáze. Klepněte pravým tlačítkem myši na databázi a poté klepněte na Nová databáze volba.
Krok 8: Zadejte název databáze na níže uvedeném snímku obrazovky:
Jako název databáze jsem dal StudentWarehouse.
Krok 9: Klikněte na OK knoflík.
Krok 10: Nyní vytvoříme tabulku v a StudentWarehouse databáze. Klepněte pravým tlačítkem myši na tabulky a poté klepněte na položku Nová tabulka.
Krok 11: Nyní přidáme pole do tabulky, jako je student_id, student_name, známky a pohlaví. Student_id jsme nastavili jako primární klíč, který jednoznačně identifikuje každý řádek.
Výše uvedená obrazovka ukazuje, že přidáváme čtyři pole do tabulky. Po přidání všech polí do tabulky uložíme tabulku poskytnutím nějakého užitečného názvu. Předpokládejme, že jsem uvedl studenta jako název tabulky.
Krok 12: Přesuňte se zpět do vizuálního studia. Řídicí tok obsahuje úlohu toku dat, přetáhněte ji do hlavního okna.
Krok 13: Když dvakrát klikneme na úkol Data Flow, ovládací prvek se automaticky přesune do Data Flow z Control Flow, takže můžeme říci, že Control Flow je kontejnerem Data Flow.
Krok 14: Nyní můžeme provádět transformace v Data Flow. Chceme extrahovat data ze souboru Excelu, který jsme vytvořili dříve, takže přetáhněte zdroj Excel z ostatních zdrojů zobrazených na levé straně panelu.
Z výše uvedené obrazovky vidíme, že se uvnitř Excel Source objevuje červený křížek, což znamená, že komponenta je nakonfigurována s Excel Source.
Krok 15: Chcete-li komponentu nakonfigurovat, klikněte pravým tlačítkem na zdroj Excel a klikněte na možnost Upravit, jak je znázorněno na níže uvedeném snímku obrazovky:
Krok 16: Vyplňte údaje zobrazené na níže uvedeném snímku obrazovky:
Krok 17: Po zadání všech podrobností se zobrazí následující obrazovka:
Krok 18: Klikněte na Excel Souce.
Výše uvedená obrazovka ukazuje dvě šipky, červenou a modrou šipku. Modrá šipka definuje skutečná data, která dostáváme ze souboru aplikace Excel, a červená šipka označuje chyby, které máme. Nyní musíme provést transformace a před provedením transformací musíme načíst databázi.
Krok 19: Pro načtení databáze klikněte na Další cíle a poté na Cíl.
Krok 20: Po přidání cíle připojte zdroj k cíli.
Krok 21: Ve výše uvedeném kroku jsme si všimli červeného křížku v ADO NET Destination, což znamená, že není nakonfigurován s komponentou. Klikněte pravým tlačítkem na cíl ADO NET a poté klikněte na možnost Upravit, jak je znázorněno na níže uvedeném snímku obrazovky:
Krok 22: Musíte zadat správce konfigurace.
Krok 23: Klikněte na Nový tlačítko pro přidání správce připojení. Když kliknete na Nový tlačítko, zobrazí se níže uvedená obrazovka:
Krok 24: Přidejte název serveru a vyberte název databáze ze serveru SQL.
Krok 25: Klepněte na tlačítko OK.
Krok 26: Přidejte název tabulky, do které chcete načíst data.
Krok 27: Na obrazovce níže namapujte pole vstupního zdroje na pole cílového zdroje.
c řetězec v poli
Krok 28: Po přidání mapování je zdroj připojen k cíli, jak je znázorněno na níže uvedeném snímku obrazovky:
Krok 29: Klikněte na Start tlačítko pro spuštění projektu Integration Services Project. Když projekt spustíte, data se načtou do cíle, tj. SQL Server .
Příklad úlohy Spustit SQL
- Postupujte podle kroků od kroku 2 do kroku 5 předchozího příkladu.
- Přetáhněte a pusťte Proveďte úlohu SQL zobrazí se na levém panelu hlavního okna.
Na výše uvedené obrazovce vidíme, že se červený křížek objeví v úloze Execute SQL Task, což znamená, že Správce připojení není nakonfigurován s Proveďte úlohu SQL . Abychom jej nakonfigurovali, musíme přidat Správce připojení.
- Chcete-li přidat Správce připojení, klikněte pravým tlačítkem na Správce připojení a poté klikněte na Nový správce připojení, jak je znázorněno na obrázku níže:
- Vybrat OLEDB jako typ Connection Manager a poté klikněte na Přidat tlačítko, jak je znázorněno na níže uvedeném snímku obrazovky:
- Po kliknutí na Přidat tlačítko, zobrazí se obrazovka zobrazená na níže uvedeném snímku obrazovky:
Na výše uvedené obrazovce vidíme, že datové připojení StudentWarehouse databáze je již k dispozici, jak jsme vytvořili v předchozím kroku. Klikněte na OK knoflík.
- Po klepnutí na tlačítko OK se zobrazí následující obrazovka:
Na výše uvedené obrazovce musíte zadat podrobnosti, jako je název vaší úlohy, popis, příkaz SQL (úloha SQL, kterou musíte provést na stole).
- Na výše uvedeném snímku obrazovky jsem zadal následující podrobnosti:
Ve výše uvedeném případě jsem poskytl příkaz insert v SQLStatement.
- Klikněte na OK knoflík.
- Když nakonfigurujete komponentu pomocí úlohy Execute SQL Task, červený křížek zmizí, jak je znázorněno na obrázku níže:
- Spusťte projekt kliknutím na Start .
- Když kliknete na Start , zobrazí se následující obrazovka:
Na výše uvedené obrazovce značka zaškrtnutí ukazuje, že vaše úloha SQL byla úspěšně dokončena. Příkaz insert, který jsme přidali v předchozích krocích, byl proveden a data jsou přidána do tabulky. tj. student1.
- Výstup této úlohy je uveden níže
Předpoklad
Než se naučíte SSIS, musíte mít základní znalosti SQL Server.
Publikum
Náš výukový program SSIS je navržen tak, aby pomohl začátečníkům i profesionálům.
Problém
Ujišťujeme vás, že v tomto tutoriálu SSIS nenajdete žádný problém. Ale pokud se vyskytne nějaká chyba nebo chyba, napište chybu do kontaktního formuláře.