Umělá inteligence ve vývoji softwaru: kdy je pomocníkem a kdy rizikem

Stanovisko Asociace.BIZ (květen 2025)

Umělá inteligence (AI), zejména velké jazykové modely (LLM) a automatizační nástroje, se během posledních let staly samozřejmou součástí vývoje softwaru. V Asociaci.BIZ, sdružení předních českých vývojářských firem, jejich přínos vnímáme a naši členové je sami denně používají. Současně však pozorujeme narůstající přesvědčení laické veřejnosti, že díky AI „může dnes programovat každý“. Tento názor považujeme u rozsáhlých informačních systémů za nebezpečný omyl, který s sebou nese bezpečnostní i ekonomická rizika pro naše zákazníky.

Kde AI skutečně pomáhá

Oblasti, ve kterých má využití AI jednoznačný přínos a zároveň představuje malé nebo žádné riziko, pokud prochází stejným review, jako práce člověka jsou následující:

Zrychlení rutinních úloh: generování testů, dokumentace či triviálních skriptů.
Refactoring a statická analýza: modely, které „vidí“ celý repozitář, nacházejí duplicitní kód a navrhují čistší architekturu.
Prototypování: rychlé ověření nápadu, vytvoření demo‑aplikace nebo landing page.

Jan Janča, CEO agentury Cognito.cz k tomu dodává: „Problematice umělé inteligence se věnujeme více než 10 let, ale zásadní skok nastal až v posledních dvou letech. AI se stala velice schopným pomocníkem seniorních vývojářů při testování nebo prototypování. Na druhou stranu ji vnímáme jako riziko v rukou juniorních vývojářů, kteří ji slepě důvěřují a mají tendenci bezmyšlenkovitě přijímat nabízená řešení.“

Své místo má AI také při tvorbě jednoduchých prezentačních webů, microsite nebo blogů, případně tam, kde kód nezpracovává a ani nemá přístup k žádným důležitým datům.

Hlavní nebezpečí spojená s neuváženým nasazením AI

Rizika spojené s nasazením AI se naplno projevují u vývoje informačních systémů, velkých e-commerce projektů nebo transakčních systému zpracovávajících například platby. Takový software je zpravidla rozsáhlý, desítky nebo stovky tisíc řádků, pracuje s citlivými daty a často skrz něj prochází i finanční transakce.

	Riziko	Proč je závažné	Možné řešení
1	Únik zdrojového kódu	LLM je nejefektivnější, když vidí celý repozitář. Odesláním firemního kódu však můžeme porušit NDA, licenční i regulační povinnosti.	Omezit odesílání celého repozitáře nebo používat self‑hosted modely/rozhraní s on‑premise úložištěm; oddělovat citlivé části kódu.
2	Halucinované závislosti	Model někdy navrhne knihovnu, která neexistuje. Útočníci nově registrují tyto „fantomové balíčky“ a vkládají do nich backdoor („slopsquatting“).	CI/CD musí kontrolovat zdroj a popularitu balíčků; povolit automatickou instalaci pouze z interních mirrorů.
3	Nedostatečně kvalifikovaný vývojář	AI umí nabídnout elegantní, ale složité řešení. Bez seniorního review riziko technického dluhu a bezpečnostních chyb dramaticky roste.	Nastavit pravidlo „AI‑kód schvaluje senior“; vyžadovat, aby autor vysvětlil generované řešení.
4	AI demence vývojářů	Nadměrné spoléhání na generování kódu brzdí rozvoj schopnosti analyzovat problém a psát udržitelnou architekturu.	Limitovat AI při onboardingu; podporovat code‑katas, párové programování a code‑reviews bez AI.

„Pokud chcete klientům garantovat spolehlivost a bezpečnosti našeho řešení, musí na něm pracovat lidé, kteří rozumí kontextu projektu a jsou schopni vyhodnotit, kdy s sebou využití AI nese vyšší riziko než je jeho potenciální přínos. Zodpovědné nasazování AI ve vývoji SW bude bezesporu tématem několika následujících měsíců či let.“ doplňuje Radovan Jelen, CEO FG Forrest & předseda správní rady Asociace.BIZ

Praktická doporučení Asociace.BIZ

Každé společnosti uvažující o využití AI při vývoji softwaru doporučujeme zavést minimálně následující opatření, nebo jejich naplnění vyžadovat po dodavatelích.

Definujte politiku pro práci s AI, aby měl každý vývojář jasné hranice pro sdílení kódu a používání modelů.
Zaveďte technickou ochranu, která automaticky maskuje citlivé části kódu a kontroluje původ balíčků.
Vzdělávejte vývojáře, protože jen poučený tým dokáže AI využívat kriticky a bezpečně.
Provádějte audit a reverzní kontrolu, abyste včas odhalili skryté chyby i možné backdoory.

„AI se vyvíjí až neuvěřitelně rychle, takže musíme naše vnitřní standardy a procesy neustále upravovat. Bez nich bychom ale jak sebe, tak i naše zákazníky, vystavovali neúnosnému riziku. Na studium potenciálu i rizik využití nových modelů a nástrojů máme každý týden pevně vyhrazený čas.“, dodává Jan Janča.

Závěr

AI je mocný nástroj, nikoli kouzelný proutek. V rukou zkušeného seniora urychlí vývoj a zvýší kvalitu kódu; v rukou nezkušeného nadšence může otevřít zadní vrátka do podnikových systémů. Asociace.BIZ proto vyzývá firmy, aby:

chránily své zdrojové kódy,
zachovaly odpovědné inženýrské postupy a
vnímaly AI jako asistenta, ne jako náhradu odbornosti.

Pouze tak z AI vytěžíme maximum přínosu a minimalizujeme rizika, přesně v duchu profesionálního, bezpečného a udržitelného vývoje softwaru.