Quick Start Guide

EVL Anonymization Trial
Průvodce instalací a konfigurací

Úvod

Anonymizace EVL je nástroj sloužící k ochraně / anonymizaci osobních a komečních údajů. Je součástí rodiny datových nástrojů EVL a tudíž je vhodná pro zpracování velkých dat a datových toků (workflows). Anonymizace EVL používá konfigurační soubory ve stylu tabulky pro snadné vytváření běžných úloh EVL, které lze poté použít k okamžitému nebo plánovanému zpracování a také k integraci do větších pracovních toků: od generování úloh EVL až po anonymizaci dat.

Tento dokument vás provede následujícími kroky: instalací anonymizace, vytvořením ukázkového projektu, generováním EVL jobů a konečnou anonymizací ukázkových dat.

Instalace

Linux - RPM

Operační systémy na bázi Fedora, CentOS, Red Hat, Oracle Linux, etc.

Pro CentOS 8 nejprve nainstalujte balíčky z powertools repo:

sudo dnf -y install dnf-plugins-core
sudo dnf config-manager --set-enabled powertools
sudo dnf install --enablerepo=powertools snappy-devel

Stáhněte si balíček pro svou distribuci z https://www.evltool.com/downloads and

tar xvf evl-data-anonymization-trial.*.rpm.tar
sudo dnf install ./evl-common-2.5*.x86_64.rpm
sudo dnf install ./evl-core-2.5*.x86_64.rpm
sudo dnf install ./evl-data-anonymization-2.5*.x86_64.rpm

Poté nastavte instalaci pro daného uživatele:

/opt/EVL-2.5/bin/evl init

Linux - DEB

Operační systémy na bázi Debianu: Ubuntu, Debian, etc.

Stáhněte si balíček pro svou distribuci z https://www.evltool.com/downloads and

tar xvf evl-data-anonymization-trial.ubuntu.deb.tar
sudo apt install ./evl-common_2.5*_amd64.deb
sudo apt install ./evl-core_2.5*_amd64.deb
sudo apt install ./evl-data-anonymization_2.5*_amd64.deb

Poté nastavte instalaci pro daného uživatele:

/opt/EVL-2.5/bin/evl init

MS Windows - Ubuntu

EVL Tool Anonymizace nemá nativní distribuci pro Microsoft Windows, ale s výhodou využívá sílící příklon Microsoftu k plné podpoře Linuxu prostřednictvím WSL (Windows Subsystem for Linux). I když samotná anonymizace běží na Ubuntu pod Windows, lze ke všem souborům (datovým i konfiguračním) přistupovat například pomocí Windows Exploreru, Excelu apod.

Nainstalujte WSL, zpřístupněte jej ve Windows a poté nainstalujte Ubuntu 18.04 z Microsoft Store. Postupujte například podle tohoto návodu:

https://www.windowscentral.com/install-windows-subsystem-linux-windows-10

Dále postupujte dle instrukcí v Linux (DEB) installation instructions

Příklad

V tomto příkladu provedeme anonymizaci dat dvou csv souborů (addresses.csv, customers.csv) podle konfigurace uvedené v souboru sample_source.csv.

Vytvoření a spuštění příkladu

Vytvoříme projekt s použitím evl příkazu

evl anon project sample anon-sample
cd anon-sample

Vygenerujeme anonymizační joby z daného konfiguračního souboru

evl anon build configs/sample_source.csv

Spustíme vygenerované anonymizační joby.

evl run/anon/sample_source.addresses.evl
evl run/anon/sample_source.customers.evl

Adresářová struktura

datové soubory addresses.csv and customers.csv v adresáři data/source. Pomocí příkazu Tree získáme hierarchický seznam adresářů. Většina adresářů obsahuje interní funkce anonymizačního software. Pro testování chování anonymizace stačí měnit pouze:

  • konfigurační soubor sample_source.csv v adresáři configs
  • a datové soubory addresses.csv a customers.csv v adresáři data/source

Konfigurace anonymizačních funkcí

Editujte jednotlivé anonymizační funkce:

  • V souboru anon-sample\configs\sample\source.csv měňte hodnoty ve sloupci anon_type případně evl_value. Pro větší komfort lze využít možnosti editovat konfigurační soubor v Excelu s implementovanými list_of_values.
  • Poté spusťte přegenerování jobů pomocí příkazu
    evl anon build configs/sample_source.csv
  • Spusťte nově vytvořené anonymizační joby
    evl run/anon/sample_source.addresses.evl
    evl run/anon/sample_source.customers.evl
  • Prohlédněte si změny v anonymizovaných souborech addresses.csv a customers.csv v adresáři data/source/anon

Vytvoření vlastního projektu

Pomocí EVL příkazu vytvořte nový projekt. Dosaďte svoje jméno projektu místo <project>. Nová adresářová struktura s tímto jménem bude automaticky vytvořena

evl anon project new <project>

Přesuňte se do nově vytvořeného adresáře a vytvořte podadresáře pro data anonymizačního projektu

cd <project>
mkdir data/source
mkdir data/anon

Nakopírujte své vlastní datové soubory do adresáře <project>/data/source. Pokud nechcete nastavovat speciální parametry použijte následující konvence:

  • přípona: .csv
  • hlavička na prvním řádku
  • delimiter ";"

Vygenerujte standardní konfigurační soubor

evl anon source new <project> --guess-from-csv data/source

Proveďte syntaktickou kontrolu konfiguračního souboru

evl anon check configs/<project>.csv

Vygenerujte anonymizační joby

evl anon build configs/<project>.csv

Spusťte anonymizační joby

evl run/anon/<evljob> kde <evljob> je jméno souboru s příponou .evl, který byl vygenerován v adresáři run/anon

Časté dotazy

Jak nastavit parametry, pokud edituji data ve Windows prostředí

Oddělovač sloupců konfiguračních CSV souborů lze nastavit proměnnou EVL_CONFIG_FIELD_SEPARATOR, oddělovač sloupců anonymizovaných dat potom proměnnou EVL_DEFAULT_FIELD_SEPARATOR. Výchozími oddělovači jsou středníky.

Windows konce řádků pak lze nastavit proměnnou EVL_ANON_EOL=”dos”. Všechny tyto proměnné lze nastavit v souboru project.sh.

Jak odinstalovat EVL Anononymizaci

DEB: sudo apt remove evl-data-anonymization evl-common evl-core
RPM: sudo dnf remove evl-data-anonymization evl-common evl-core

Ve standardním nastavení se výstupní soubory kumulují po každém běhu jobu. Jak zajistím, aby se pokaždé vytvořil nový `

Přidejte, případně změňte parametr z EVL_ANON_APPEND=1 na EVL_ANON_APPEND = 0 v souboru project.sh. Pokud chcete změnit toto chování pouze pro vybrané soubory, změňte obdobně soubor anon/<job name>.sh

Jak zajistit správnou práci s Windows konci řádků

Standardně se předpokládají Linuxové konce řádků vstupních filů, tedy “\n”. Nastavením EVL_ANON_EOL=”dos” zajistíme Windows konce řádků, tedy “\r\n” v configs/anon.*.sh file nebo v project.sh.

Jak zjistím, jestli je konfigurační soubor syntakticky v pořádku

Spusťte příkaz:

evl anon check <config_file>
evl anon check configs/sample_source.csv

Co dělat v případě chyby instalace

Nejčastěji pomůže update systému a opětovné spuštění instalace

DEB: sudo apt-get update
RPM: sudo dnf upgrade