ICSM 2005 – harmadik nap

 

Végre lesz testing szekció is, ez már jobban a témámba vág. 

Keynote:

Software construction by configuration: Challenges for software engineering research (Ian Sommerville): picit többet vártam ettől az előadástól. Az előadónak van egy elég híres Software Engineering könyve, és elég nagy név a szakmában. Jó dolgokról mesélt, csak picit vontatott volt az előadás. Software Reuse lehetőségeiről és fontosságáról beszélt, különösen a COTS rendszerek testreszabásáról és adaptálásáról. A fő hangsúly azon volt, hogy ezek is ugyanolyan fejlesztési projektek, és ezek lesznek a döntő fontosságúak az elkövetkezendő időkben. Egy példa arra, hogy ezek is komoly projektek: Angliában repülésirányító rendszert akarnak cserélni, és egy meglévő spanyol rendszert adaptálnak, jól haladnak, úgy tervezik, még 6 év és készen lesznek a helyi igényekre alakítással:)

Regression testing szekció:

  • Crisp: A Debugging Tool for Java Programs (O. Chesley): kellemesen csalódtam ebben az előadásban, a címe alapján nem sokat vártam tőle, de talán az egyik legjobb volt, amit eddig láttam itt. Az ötlet: volt egy korábbi tooljuk, ami a programban végrehajtott változások hatásait elemzi. Ezt utána megfejelték egy front-enddel, ahol ki lehet választani a változtatásokat, és az eszköz készít egy köztes változatot a programból, amibe csak ezek kerülnek bele (+ automatikusan azok, amik szükségesek ahhoz, hogy leforduljon). Egy nagyon hatásos case-studyt mutatott, egy open source projekt két checkinje közötti változtatást nézték. Kb. 6000 atomic checkin volt, és 2 teszt elhasalt. Az eszköz kiválasztott 35 változtatást, aminek köze lehet ehhez a teszthez, ezekből próba-szerencse alapon elkezdtek végrehajtatni párat, és nézték, hogy még mindig hibás a teszt. Ily módon elég rövid időn belül megtalálták a hibás részt:). Nagyon jó ötlet, hasznos eszköz, szépen felépített, jól érthető előadás, csak gratulálni tudok nekik, érdemes lesz majd megnézni a tool oldalát, és hogy hova fejlesztik tovább.
  • A Controlled Experiment Assessing Test Case Prioritization Techniques via Mutation Faults (H. Do): test prioritizáció, mutációs teszt generálás felhasználásával. Érdekesnek tűnt, de nem igazán fogtam a lényeget, meg kell majd nézni a cikket, abból remélhetőleg jobban kiderül, mint az előadásból.
  • A Safe Regression Test Selection Technique for Database Driven Applications (D. Willmor): regressziós tesztelés esetén teszt kiválasztás hogyan legyen. Az Ő megközelítésük, hogy minden olyan tesztet válasszunk ki, ami a két változat közötti adatbázis hozzáférés különbségeket tesztelhetik. Két probléma: CFG-t (Control Flow Graph) vizsgál, nagy programnál szerintem elég nagy lehet. Ők se próbálták még, hogy mennyire használható. A másik, ami egy picit zavart az elején, az az, hogy abból indul ki, hogy az adatbázis nem controlled, teszt futtatások között változhat az állapota. De ez meg egy nagyon rossz tesztelési módszert feltételez, alapelv, hogy minden teszt takarít maga után, és előre definiált állapotból indul.

Testing I. szekció:

  • Optimizing test to reduce maintenance (M. Pighin): ebéd utáni első előadás, strukturális komplexitási metrikák, az előadó jellegzetesen olaszos angolja, minden együtt volt, hogy esély se legyen, hogy 5 percnél tovább koncentráljak rá. Arról volt szó nagy vonalakban, hogy hogyan lehet megjósolni, hogy milyen modulokban lesz majd hiba az eddigi hibastatisztika alapján.
  • Rapid Crash Testing for Continuously Evolving GUI-Based Software Applications (A. Memon): ez az előadás nagyon tetszett. Mondjuk eléggé a témámba vág, modell alapú GUI tesztelés. A fő cél az volt, hogy gyorsan tudjanak "smoke test"-hez teszteket generálni, ami crash jellegű hibákat felderít. Szó volt egy GUITAR nevű tesztelő eszközről. Mindenféleképp utána kell majd néznem.
  • Contract-Based Mutation for Testing Components – Y. Jiang: témák:
    Test aduquacy: mikor álljunk le a teszteléssel, ezt különösen nehéz külső komponensek esetén eldönteni, ahol nincs source code, nem tudunk lefedettség alapú kritériumokat mondani. Úgyhogy contract-ot definiálunk, pre és postcondition a komponens metódusaihoz. Utána ehhez új mutációs operátorok definiáltak, pl. precondition gyengítése, és olyan teszteket generáltak, amik ezeket a mutánsokat felderítik. Nem lett volna rossz, csak nagyon rosszul tudott angolul az előadó, akadozva beszélt, és nagyon nehezítette a megértést. 
     

Testing II. szekció:

  • Call Stack Coverage for Test Suite Reduction (A. Memon): eseményvezérelt rendszerekhez dolgoztak ki egy új kritériumot, ami alapján a tesztkészletet redukálni lehet. Ha csak egyszerűen a meghívott függvénynevek azonosságát nézzük, akkor elég sok fontos tesztesetet is vesztünk. Úgyhogy helyette úgynevezett call stack coverage-t javasoltak, ahol a hívási vermet nézték, azaz a függvényhívások sorrendjét is figyelembe vették. Az jött ki, hogy jelentősen csökkenti a tesztkészlet méretét, jobb a hiba felderítési képessége, mint a funkció alapúaknak, viszont kisebb a felderítési aránya, mint pl. a path coverage-nek. Világos, érthető, profi előadás, mérésekkel megfelelően alátámasztva.
  • Test Suite Reduction with Selective Redundancy (D. Jeffrey): eléggé izgult az elején az előadó, megakadt párszor, első előadása volt, de aztán belejött:). Ötlet: minimalizálásnál ne csak egy coverage-t vegyünk figyelembe, hanem többet is, és olyanokat is hagyjunk meg, amik az elsődleges alapján redundánsak lennének, de a másodlagos alapján nem.
  • Test Prioritization Using System Models (B. Korel): két változat között nézték, hogy a modellben mi változott, és ennek megfelelően rendezték el a teszteket. Többféle rendezési algoritmus, hatékonyságuk mérésére szolgáló mérőszámok, három kis mintamodellen végzett mérések. Jó előadás volt, a srác mondjuk elég gyorsan beszélt. 100 diát vetített le 25 perc alatt! (mondjuk az animációk lépései külön dián voltak, de még így is rengeteg a 100 dia. Én is gyorsan szoktam beszélni, de ez még nekem is sok lenne;)
Reklámok
Kategória: Research | Közvetlen link a könyvjelzőhöz.

Vélemény, hozzászólás?

Adatok megadása vagy bejelentkezés valamelyik ikonnal:

WordPress.com Logo

Hozzászólhat a WordPress.com felhasználói fiók használatával. Kilépés / Módosítás )

Twitter kép

Hozzászólhat a Twitter felhasználói fiók használatával. Kilépés / Módosítás )

Facebook kép

Hozzászólhat a Facebook felhasználói fiók használatával. Kilépés / Módosítás )

Google+ kép

Hozzászólhat a Google+ felhasználói fiók használatával. Kilépés / Módosítás )

Kapcsolódás: %s