Je IBM Watson klincom do rakvy Google?

Podľa významného priekopníka v informatike a umelej inteligencii Alana Turinga, môžeme stroj považovať za inteligentný, ak spĺňa takzvaný Turingov test. O čo ide? Predstavme si, že moderátor položí dotaz dvom súťažiacim, človeku a stroju, ktorí sú uzatvorení v oddelených a nepriehľadných miestnostiach, napr.: ”Tento muž bol prezidentom USA počas premiéry 60 minút”. Okamžite sa z jednej z tmavých miestností ozve správna odpoveď: “Lyndon Johnson“. V prípade, že moderátor nedokáže rozlíšiť, či správnu odpoveď vyslovil človek alebo stroj, môžeme konštatovať, že tento stroj je inteligentný[1].

Svedkami veľmi podobnej modelovej situácie boli 14. februára milióny fanúšikov populárnej vedomostnej súťaže Jeopardy! (u nás Riskuj!), rovnako ako vedci a vývojári Watsona – víťaza ostro sledovaného vedomostného duelu [2].

V najbližších riadkoch by som sa rád zamyslel nad tým, či sa jedná o prelomový bod v histórii vyhľadávania a umelej inteligencie (v ktorej stroje dokážu nahradiť už aj intelektuálnych pracovníkov a nie len manuálnych ako to bolo doposiaľ), alebo len šikovný PR a marketingový ťah spoločnosti IBM k ich očakávanému stému výročiu ktoré pripadá na 16. júna tohto roku [3] a demonštrácii neprekonateľnej sily na poly výskumu a patentov. V záverečnej časti sa zamyslím nad možnosťou uplatnenia Watsona v oblastiach vedecky prínosnejších ako je showbusiness.

Kto je Watson?

Watsonov avatar bol inšpirovaný konceptom Smarter Planet

Poďme sa najprv pozrieť kto, respektíve lepšie povedané čo vlastne Watson je. Presne 14 rokov po šokujúcej porážke Garryho Kasparova superpočítačom Deep Blue [4], prichádza nová nádej strojov na vyrovnanie sa ľuďom. Superpočítač Watson je pomenovaný podľa zakladateľa IBM, Thomasa J. Watsona a je navrhnutý špeciálne na súťaženie v hre Jeopardy!. Watson tak na rozdiel od svojho predchodcu, ktorý vyhrával vďaka masívnemu výkonu pri kalkulácií dopredu prepočítaných šachových ťahov, musí porozumieť slovám a spracovávať informácie prijaté jazykom. Musí si poradiť so skratkami a slangom. Takže najprv počuje a vidí, nájde odpovede, vyhodnotí a odpovie[5].

Hardware

Watson je tvorený deväťdesiatimi IBM Power 750 servermi, dohromady má 2 880 procesorových jadier Power7 a 16 TB pamäti. Celkový výkon odpovedá 80 teraflopom. Každý POWER 750 server využíva 3.5 GHz osemjadrový procesor. Táto architektúra umožňuje veľmi efektívne paralelné spracovanie nevyhnutné pre súčinnosť viac ako 100 aplikácií a techník vykonávaných technológiou IBM DeepQA [6]. Vďaka tomu je Watson schopný odpovedať skoro na každú otázku do 3 sekúnd, čo je nevyhnutné, ak chce uspieť v súťaži. Testovanie technológie podľa vývojárov IBM prebiehalo na single quad-core procesore a každý dotaz spracovaný DeepQA trval niekoľko hodín. Aj napriek tomu sa stretávame s názorom, že hardwarová architektúra je zbytočne “nasteroidovaná“ a rovnako ako samotný Watson slúži na demonštráciu výkonu IBM serverov. 

O spotrebe energie Watsonom viď. viac v oddiely o rozdieloch medzi Google a IBM Watson.

Software

Watson je výsledkom dlhodobého projektu zameraného na technológiu DeepQA (Question and Answering system) ktorá obsahuje viac ako 100 techník na rozpoznávanie prirodzeného jazyka (natural language processing), jeho analýzu (question analysing), hľadanie a dolovanie informácii (information retrieval), hľadanie a generovanie hypotéz (hypotesis generation), ich analýzu a vyhodnocovanie (scoring and matching). Na vývoj jednotlivých komponent boli využité programovacie jazyky Java a C++[6]. 

Viac o jednotlivých fázach procesu DeepQA v oddiely Ako Watson funguje.

Data

V 16 TB pamäti je zhruba 200 miliónov stránok informácii, čo odpovedá asi miliónu kníh. Watson nie je pripojený počas súťaže k internetu a všetky informácie (encyklopédie, wiki, publikácie, štruktúrované dáta) ma nahrané v pamäti RAM, ktorá zabezpečuje ich rýchlu dostupnosť.

Jeopardy! Súťaž

IBM zvolila veľmi šikovnú marketingovú kampaň, v ktorej sa Watson predstavil v populárnej hre Jeopardy! proti dvom najúspešnejším súťažiacim z Ameriky. Brad Rutter vyhral najvyššiu čiastku v histórii, celkom 3 255 102 dolárov, Ken Jennings zase vyhral 74 × v rade a celkom 2,5 miliónov [5]. Hra obsahuje 30, často veľmi zložito formulovaných otázok zo 6 rôznych kategórii týkajúcich sa širokej palety tém.

Ako Watson funguje?

Jadrom Watsona je technológia DeepQA ktorá pomocou najrôznejších algoritmov vyhodnocuje zadaný dotaz a hľadá k nemu správnu odpoveď (Question-Answering technology). Mnoho odporcov prehnaného nadšenia okolo Watsona poukazuje na jeho nepraktické využitie v iných oblastiach (významnejších a spoločensky prínosnejších než televízna show) a poukazuje na fakt, že bol konštruovaný priamo na súťaž ako marketingová kampaň [7]. IBM však tvrdí, že DeepQA je komplexná architektúra, ktorá môže byť použitá a aplikovaná na najrôznejšie oblasti v ktorých nájde QA uplatnenie. Zároveň však priznáva, že pre hru Jeopardy! bola špeciálne vyvinutá metodológia na výber otázok, hľadanie prémiových bodov a zvažovanie rizika[8].

Ako Watson ”počuje”?

Watson neobsahuje software na rozpoznávanie hlasu moderátora a reprezentáciu otázky do textovej podoby. Na rozdiel od toho prijíma otázku postupne vo forme ASCII súboru tak ako je čítaná moderátorom, aby sa predišlo výhode ktorú majú ľudskí súťažiaci v tom, že môžu sledovať celú otázku na veľkom displeji [5].  V tomto prípade sa však jedná iba o technickú úpravu, pretože IBM chcelo predísť nedorozumeniam pri interpretácii hlasu do textovej podoby. [6] Nasadenie software na rozpoznávanie hlasu by však nebol problém v iných oblastiach uplatnenia, pretože vývoj na poli voice recognition v IBM je na veľmi vysokej úrovni. Viac o tejto problematike viď. napr. (http://goo.gl/gqIVx)

Porozumenie otázke (Question analyses)

Otázky sú kladené formou prirodzeného jazyka, obsahujúce súvetia, metafory, skratky a slangy. Watson sa najprv pomocou technológie DeepQA pokúsi zistiť o aký druh otázky ide a stanoviť akým spôsobom sa bude jej obsah analyzovať ďalšími komponentmi systému.

Následne otázku klasifikuje a Identifikuje o aký typ otázky sa jedna (matematická, definícia, puzzle otázka) a špecifikuje častí, ktoré vyžadujú zvláštne spracovanie. Zameriava sa na jednoduché slová s potenciálnym dvojitým významom, na hľadanie pod otázok, slovných hračiek a definícií.

High Level Architektúra DeepQA

Identifikovanie LAT - Lexical Answer Type

LAT je typ otázky, ktorá môže byť zodpovedaná bez pochopenia jej sémantiky. DeepQA sa preto zameriava na čas otázky, ktorá po nahradení správnou odpoveďou bude predstavovať tvrdenie alebo fakt. Praktickou aplikáciou je napríklad vyhľadávanie slova THIS v otázke. Pri dotaze: “This title character was the crusty and tough city editor of the Los Angeles Tribune” sa DeepQA zameria na slová bezprostredne za this (title a editor), ktoré poukazujú na typ otázky a druh odpovede – osoba, meno. Na základe toho DeepQA už veľmi jednoducho vyhľadá kandidátov na správnu odpoveď.

Dekompozícia a detekcia vzťahov

Dekompozícia a detekcia vzťahov je metodológia pre spracovanie zložitých a vnorených otázok. DeepQA sa snaží rozpoznať ako čo najlepšie rozparsovať dotaz na menšie časti tak aby bolo možné jednotlivé pod otázky nahradiť správnymi odpoveďami a poskladať výsledný dotaz.

Napríklad už spomínaný dotaz: „When premiered 60 minutes, he was the US president.“ DeepQA najprv rozpozná vzťah medzi otázkami, odpovie na dotaz kedy mal film 60 minút premiéru a až potom vyhľadá kto bol v tomto období americký prezident.

Generovanie hypotéz

Generovanie hypotéz preberá výsledky question analyses a navrhuje kandidátov na správnu odpoveď na základe prehľadávania interných zdrojov pomocou viacerých metód ako text search, document search, využívanie tezauru, vyhľadávanie v štruktúrovaných zdrojoch, knowledge base search, passage search (viď. nižšie) alebo generovanie viacerých query pre rovnaký dotaz. Každé spätné dosadenie kandidáta do otázky je považované za hypotézu, ktorá bude v ďalších krokoch podrobená testovaniu a skórovaniu a bude jej priradený stupeň konfidencie. DeepQA považuje hľadanie kandidátov a ich dosadzovanie za tzv. “primary search” a tak ho odlišuje od hľadania evidencii a skórovania v nasledujúcich krokoch.

Skórovanie hypotéz a evidencií

Kandidáti ktorý prešli metodikou soft filtering sú podrobení hĺbkovej analýze. Ta zbiera dodatočné dôkazy a informácie o jednotlivých kandidátoch a na základe pokročilých skórovacích analýz (viď nižšie) ohodnocuje relevanciu a presnosť jednotlivých odpovedí.

Passage search

Passage search pridá kandidáta na správnu odpoveď k zadaným kľúčovým slovám dotazu ako “required term” a vyhodnocuje v nájdených dokumentoch v akom kontexte sa nachádza kandidát k primárnych dotazov.

Smith-Waterman Sequence Matching Algorithm 

SWA sa zaoberá identifikáciu vetných členov v nájdených evidenčných záznamoch. Napríklad dotaz: “He was presidentially pardoned in 1974.” bude mať dvoch kandidátov - Nixon a Ford na základe evidencia “Ford pardoned Nixon in 1974”. SWA metóda však identifikuje že dotaz sa vzťahuje v objektu (predmet) činnosti pardon, ktorý je v tomto prípade Nixon. Hypotéze “Nixon was presidentially pardoned in 1974.” preto pridá vyšší stupeň relevancie.

Záverečné hodnotenie a správna odpoveď

Watson zoradí vyhodnotené hypotézy podľa miery ich relevancie. V prípade, že si je istý správnosťou odpovede tz. miera relevancie prekračuje určitú mieru na základe zváženia rizika, prihlási sa (buzz in) aby pomocou syntetického hlasu odpovedal na dotaz. Celý tento proces musí prebehnúť do 3 sekúnd, čo je priemerný čas na prihlásenie sa súťažiaceho. Časy na zodpovedanie dotazu sa pohybujú v intervale 1 až 6 sekúnd.

Aky je rozdiel medzi Google search a Watsonom?

Zadávanie dotazu

Prvý rozdiel v aplikácii dotazu sa prejaví hneď pri jeho zadávaní. Dotaz formovaný pre vyhľadávač Google musí byť za pomoci ľudskej intuície pretransformovaný do kľúčových slov, ktoré podľa dokazujúceho subjektu najlepšie (v 3 – 4 slovách) vysťahujú hľadanú skutočnosť. Ak by sme preto chceli zistiť kde sa odohrávali zimné Olympijské hry v roku 2010, dotaz by sa pravdepodobne skladal (na základe mojej intuície a vyhodnotenia) z kľúčových slov: Winter – Olympics – 2010. Watson si však poradí aj s otázkou v prirodzenom jazyku: “Where did Winter Olympics 2010 take place?”

Vyhodnotenie dotazu a výsledok

Skalný fanúšik internetového gigantu by mohol namietať, že dotaz zadaný vo forme “Where did Winter Olympics 2010 take place?” vráti správnu odpoveď Vancouver takisto (konkrétne 5 z 10 výsledkov na prvej strane). Musíme si však uvedomiť rozdiel v interpretácii výsledku. Watson vracia jedinú odpoveď (doplnený o konfidenciu daného výsledku). Google na rozdiel od Watsona nevracia správnu odpoveď ale iba dokumenty obsahujúce kľúčové slova ktoré najlepšie vystihujú hľadaný dokument zoradené podľa relevantnosti daného výsledku (princíp PageRank). Užívateľ tak nedostáva priamo odpoveď, ale iba odkazy na informačné pramene v ktorých by sa odpoveď mala s najvyššou pravdepodobnosťou nachádzať a ktorú si musí ďalej dohľadať. 

Dotaz v prirodzenom jazyku zadaný v Google Search.

Pre lepšie pochopenie rozdielu sa v tomto momente ponúka paralela s knižnicou. Zatiaľ čo Google Vám v katalógovom liste vyhľadá všetky knihy v ktorých sa odpoveď bude (možno) nachádzať, Watson všetky knihy vyhľadá, prečíta, vyhodnotí, a poskytne odpoveď. Z toho dôvodu Watsona považujem za nadstavbu vyhľadávacích engine-ov súčasnosti.

Ako je už zrejmé z high-level architektúry DeepQA, samotné vyhľadávacie jadro je doplnené o generovanie hypotéz (čítanie kníh, učenie sa, hľadanie odpovedi) a scoring (na základe získaných informácií vyhodnotenie hypotéz resp. dodatočné hľadanie na zvýšenie konfidencie).

Posun v AI?

Z týchto rozdielnych prístupov na vstupe a výstupe vyplýva, že Watson nie je iba nový vyhľadávač s parádnou reklamou ale ďalší posun k umelej inteligencii, keď stroj preberá väčšiu časť zodpovednosti, ktorá pred tým závisela na rozhodnutí človeka. Toto je prvý dôvod prečo považujem prehnanú kritiku zástancov tradičných vyhľadávačov namierenú proti Watsonovi za bezpredmetnú. Watson rovnako nepredstavuje priamu hrozbu pre Google ani Bing ako diskutujem v závere. V tomto momente je ale dôležité pozastaviť sa ešte raz nad tým, či Watson je naozaj technologický pokrok oproti tradičným vyhľadávačom alebo už podobné riešenie existovalo pred tým. Opäť sa nachádzajú kritici, ktorí vyzdvihujú vyhľadávač Wolphram Alpha postavený na engine Mathematica a tvrdia, že Watson je iba WA ktorí odpoveď prečíta, čo samozrejme nie je pravda ako vysvetľuje sám Stephen Wolfram vo svojom blogu, viď (http://goo.gl/imJdJ). Tu sa preto naskytá priestor na obhájenie masívnej marketingovej masáže ktorú pripravila IBM okolo Watsona. Aj napriek tomu, že Wolfram vykazuje podobné výsledky, je do dnes omnoho menej známy a populárny a rovnako jeho API nezískalo toľko kontraktov a návrhov na spoluprácu a rozvoj, ako dnes zbiera napr. Watson, pre viac info viď (http://goo.gl/tEWF6). Rovnako si s Watsonom možete zasúťažiť v New York Times (http://goo.gl/mONGV).

Výkon

Pri uvažovaní o rozdieloch medzi Google a Watsonom a možnosti jeho nahradenia som sa ešte pozastavil nad porovnaním energetickej náročnosti a s ním spojeného znečistenia pripadajúceho na jeden zodpovedaný dotaz [10]. Google za magické 3 sekundy, počas ktorých pracuje skoro 3 000 jadier Watsona odpovie na milióny dotazov. Podľa nezávislých meraní, každý dotaz spotrebuje 0,0003 kWh, čo je asi 1kJ energie a emituje 0,2 g CO2 do ovzdušia [11]. Watson na jeden dotaz spotrebuje 65 kWH, čo odpovedá cca. 43 kg CO2 [12]. Z krátkodobého hľadiska je preto nereálne aby sa Watson zapojil so boja medzi súčasné textové vyhľadávače a IBM čaká ešte náročná cesta optimalizácie jeho výkonu pred masovým nasadením.

Môže Watson nahradiť Google?

Nemyslím si, že IBM a Watson sa bude aj v dlhšom období snažiť konkurovať textovým vyhľadávačom ako je Google alebo Bing, čo potvrdili aj samotní vedúci projektov DeepQA a Watson. Informačné presýtenie a potreba rýchlych, aktuálnych a presných informácia je v dnešnej dobe tak silná, že na trhu existuje priestor pre rozvoj a nasadzovanie nových technológii. Zatiaľ čo Google a Bing zostanú aj naďalej vyhľadávačmi pre široké masy ľudí a ich potreby získať informácie o najlepších suši reštauráciách, najlačnejších dovolenkách a recenziách filmu (hľadanie dokumentov ktoré nemajú direktívne stanovenú jednu správnu odpoveď a ktoré nevyžadujú hlbšie analytické spracovanie), Watson a technológia DeepQA sa uplatní na poly medicíny, Business Intelligence, compliance, právnych expertných systémov, vládnych inštitúcii, Help deskoch, vzdelania a výskumu kde sú vyžadované rýchle a presné odpovede vyžadujúce hĺbkovú analýzu širších kauzálnych vzťahov a faktov.

Bude preto veľmi zaujímavé sledovať osud Watsona aj mimo žiaru televíznych kamier a rovnako aj uplatnenie DeepQA v najrôznejších odvetviach a start-upoch budovaných na tejto technológii.

Do toho Watson!

Zdroje

1. Alan Turing Test, dostupné na WWW: http://en.wikipedia.org/wiki/Turing_test

2. Jeopardy! a Watson, dostupné na WWW: http://www.jeopardy.com/minisites/watson/

3. 100 years of IBM, dostupné na WWW: http://www.ibm.com/ibm100/us/en/

4. Garry Kasparov vs. Deep Blue, dostupné na WWW: http://www.research.ibm.com/deepblue/

5. IBM Watson: superpočítač, který dokáže porazit člověka, dostupné na WWW: http://www.cnews.cz/ibm-watson-superpocitac-ktery-dokaze-porazit-cloveka

6. Watson AI, dostupné na WWW: http://en.wikipedia.org/wiki/Watson_(artificial_intelligence_software)

7. Could Google Play Jeopardy Like IBM’s Watson?, dostupné na WWW: http://searchengineland.com/could-google-play-jeopardy-like-ibm-watson-65038

8. Building Watson, the overview of DeepQA project, dostupné na WWW: http://www.stanford.edu/class/cs124/AIMagzine-DeepQA.pdf

9. How Watson Works, dostupné na WWW: http://www.kurzweilai.net/how-watson-works-a-conversation-with-eric-brown-ibm-research-manager

10. Powering Google Search, dostupne na WWW: http://googleblog.blogspot.com/2009/01/powering-google-search.html

11. IBM Watson: Overprovisioned “Big Iron”?, dostupné na WWW: http://memesteading.com/2011/02/16/ibm-watson-overprovisioned-big-iron/

12. Why is Watson smarter then Google?, dostupné na WWW: http://thenumerati.net/?postID=698&why-ibms-watson-is-smarter-than-google

Je ibm watson klincom do rakvy google

View more presentations from Peter Fedoročko.