Mobile Testing Trends

30
Mobile Tes*ng Trends, their Unique Challenges and Innova*ons that Address them Melissa Tondi

Transcript of Mobile Testing Trends

   

Mobile  Tes*ng  Trends,  their  Unique  Challenges  and  Innova*ons  that  

Address  them        

Melissa  Tondi  

Mobile  –  the  New  Fron4er  

Does  your  Mobile  Strategy  Look  Like  This?  

Mobile  –  the  New  Fron4er  

Or  This?  

Trends  

•  Device  Prolifera4on  •  Accelerated  Releases  •  Increased  Work  for  the  Exis4ng  Test  Team  •  And  the  List  Goes  on…  

Unique  Challenges  

•  Understanding    your  Company’s  Mobile  Strategy  and  the  Solu4ons  and  Technology  Introduced  to  Support  it  

•  Transi4oning  Tradi4onal    Test  Teams  to  Support  Mobile  

•  Staying  Efficient  while  Suppor4ng  more  Tes4ng  Permuta4ons  

Your  Company’s  Strategy  WHO  are  your  Mobile  Users?  WHAT  Role  does  Mobile  Play  in  your  Industry?  WHAT  is  it  that  people  actually  want  to  do  on  this  mobile  site  or  App  and    HOW  do  they  determine  a  successful  experience?      

 What’s  your  Mobile  Solu*on?    

Mobile  Solu4on  –  m/T  Site  Mobile  Web  Site:  mobile  web  sites  designed  to  match  every  web-­‐enabled  device.  They’re  accessed  through  the  mobile  device’s  web  browser  and  do  not  need  to  be  downloaded/installed.  They  re-­‐direct  to  the  site’s  M  Site  or  T  site.    

Mobile  Technology  –  “Mobile  First”  Responsive  Web  Design  –  an  approach  aimed  at  building  sites  to  provide  an  appropriate  viewing  experience  (reading  and  naviga4on  with  minimal  resizing,  panning,  and  scrolling)  across  a  wide  range  of  devices.  It  adapts  the  layout  to  the  viewing  environment.    

Mobile  Technology  –  “Mobile  First”  Adap*ve  Web  Design  –  uses  the  server  to  detect  the  device  that’s  being  used.  A  separate  template  is  maintained  for  each  device  that  is  supported.  Pages  load  at  a  faster  rate  than  RWD.    

Mobile  Technology  -­‐  Na4ve  Na*ve  Apps:  coded  with  a  specific  programming  language.  They  are  fast,  reliable,  and  powerful,  but  are  4ed  to  a  mobile  pla]orm  and  downloaded  from  a  central  portal  by  OS  (i.e.  Apple  App  Store,  Google  Play).  That  means  you  must  duplicate  them  using  the  appropriate  programming  language  in  order  to  target  another  mobile  pla]orm.    

Mobile  Technology  –  Hybrid  Hybrid  Apps:  rely  on  development  frameworks  and  are  wri^en  with  the  same  technology  used  for  websites  and  mobile  web  implementa4ons.  They  are  hosted  or  executed  inside  a  na4ve  container  on  a  mobile  device.  They  ensure  cross-­‐pla]orm  compa4bility  and  can  access  the  phone’s  hardware  (camera,  GPS,  user’s  contacts,  etc.).  

Technical  Configura4on    Mobile  Web:  HTML5,  Dojo,  jQuery    Na4ve  Apps:  Objec4veC  for  iOS,  Java  for  Android  Hybrid  Apps:  PhoneGap,  Titanium,  Rhomobile      

Transi4oning  your  Teams  –  Types  of  Tes4ng  

Peripheral  •  Wireless  Tes4ng  –  NFC  (Near  Field  Communica4on),  Bluetooth/Bluetooth  LE  Accessory,  Stylus  

•  Wired      •  Internal  to  Device  –  Headphone  Jack,  Keyboard  •  External  to  Phone  -­‐  CC  Readers,  Bar  Code  

Scanners      

Transi4oning  your  Teams  –  Types  of  Tes4ng  

Connec*on  Tes*ng    •  USB  Power/Data    •  4G/LTE/CDMA+/Wimax  •  3G/GSM/CDMA,  2G/Analog,  WiFi,  Hotspot  

Genera4on  •  Computer  Tethering  •  Carrier    •  Thro^le  –  Limi4ng  bandwidth  and  measuring  an  

App’s  performance    

Transi4oning  your  Teams  –  Types  of  Tes4ng  

Gestures    •  Swipe,  tap,  pinch/expand,  shake,  orient,  4lt,  press  

and  hold,  swipe  and  hold,  eye  pause.  Interrup*on  Tests      •  Controlled  -­‐  Plug  in/out  USB,  power,  and  

headphone,  Home  Bu^on,  Power  Bu^on,  Naviga4ng  to  another  App,  Save  State  

•  Uncontrolled/”Elevator”  test  -­‐  SMS,  Phone  Call,  No4fica4ons    

 

Transi4oning  your  Teams  –  Types  of  Tes4ng  

Syncing      •  Upda4ng    two  or  more  loca4ons  to  ensure  

applicable  files  are  equivalent.    •  App  to  Cloud,  App  to  Computer,  App  to  App,  Device  

to  Device    Internal  Hardware  Integra*on    •  Camera,  GPS,  Accelerometer,  Ba^ery  Drain,  SIM  

Card,  Volume,  SMS,  Microphone,  Speakerphone      

 Innova*ons  

Innova4ons  in  the  Lab  

Choosing  Emulators  and  Simulators      A  lab  is  not  complete  without  a  mixture  of  both.  Knowing  what  that  mixture  is  will  be  the  determining  factor.  

•  A  Simulator  mimics  only  the  sokware.  iOS  has  one,  but  it  does  not  simulate  any  of  the  iPhone  hardware  layer  •  An  Emulator  mimics  both  sokware  and  hardware.  Android  has  one,  but  only  emulates  CPU  and  Memory  

Innova4ons  in  the  Lab  When  to  use  Simulators/Emulators    

 Tes4ng  the  Func4on  •  Broken  bu^ons,  missing  images,  correct  formalng  for  ver4cal  and  horizontal  modes  •  Responsive  Web  Design  (RWD)  or  mobile  site  elements  display  correctly  

 Previewing  the  Form  •  Demo  basic  design  and  layout  mockups  before  significant  development  investment  is  spent  on  polishing  the  UI  •  See  the  applica4on  within  the  frame  of  a  real  device,  compared  to  the  window  of  a  development  program  

Innova4ons  in  the  Lab  

When  to  use  Simulators/Emulators      Accelera4ng  Development  Time  

•  For  simple  visual  checks,  opening  an  app  in  a  device  emulator  can  be  as  simple  as  switching  windows,  compared  to  fully  loading  a  physical  device  •  Test  more  frequency  with  quick  checks  on  an  emulator,  thus  finding  bugs  faster  and  with  greater  context  

Innova4ons  –  Simulators  and  Emulators  

Simulators  16-­‐Bit  Display  Opera4ng  System  User  Interface          

Emulators  Keyboard  and  Bu^ons  WiFi  Simulated  SIM  Card  System  on  a  Chip  Sound  Chip  Flash  Memory  

Innova4ons  in  the  Lab  –  Physical  Devices  

24-­‐Bit  Display  Touchscreen  Mul4-­‐Touch  Camera  &  Video  Voice  Recogni4on  True  Sound  Quality  USB  Connec4ons  Bluetooth  SD  Cards  

Network  Data  Real  Phone  Calls  Dual  SIM  Cards  Ba^ery  State  Device  Temperature  Real  GPS  &  Sensors  Pre-­‐Installed  Apps  

App  Store  Access  App  Installa4on  Email  Sync  Contacts  Sync  Calendar  Sync  App  Log  Encryp4on  Network  Security  Fingerprint  Scanner  

 

Building  your  Lab  -­‐  Android  

Building  your  Lab  Determining  your  Device  Matrix    •  Opera4ng  System  

–  OS  customiza4ons,  missing  libraries,  driver  issues    •  Screen  Size  

–  Rendering  issues,  usability,  missing  layouts  •  Pixel  Density  

–  Density  Independence,  missing  layouts.  •  Aspect  Ra4o  

–  X,Y  calcula4ons,  overlapping  panels,  display  issues  •  System  on  a  Chip  (SoC)  

–  Hardware  performance,  Instruc4on  set,  ba^ery,  signal  •  Carrier  

–  Network  protocol,  speed,  responsiveness,  packet  loss  

Building  your  Lab  –  Android  

Category   Device  Name   OS   Size   Density   Resolu*on   DPI   AR   Protocol   System  on  Chip  

Newest   Sam.  Galaxy  SX   4.2.2   Normal   xhdpi   1920x1080   441   16:9   LTE/GSM   Qualcomm  S4  

Flagship   LG  Nexus  4   4.2   Normal   xhdpi   768x1280   318   3:5   GSM   Qualcomm  S4  

Oldest   HTC  Ta^oo   1.6   Small   ldpi   320x240   143   4:3   GSM   Qualcomm  S1  

Popular   Sam.  Galaxy  S3   4.1.2   Normal   xhdpi   1280x720   326   16:9   CDMA   Samsung  Exynos  

Common   Mot.  Droid  3   2.3.4   Normal   hdpi   960x540   275   16:9   GSM   Cortex  A9  

Abnormal   LG  Op4mus  VU   4.0   Large   xhdpi   1024x468   256   4:3   GSM   Nvidia  Tegra  3  

Budget   Dell  Venue   2.2   Normal   mdpi   480x800   228   3:5   GSM   Snapdragon  S2  

Catch-­‐all   Sony  Xperia  P   2.3   Normal   hdpi   960x540   275   16:9   GSM   Sony  NovaThor  

Building  your  Lab  -­‐  iOS  Device  

Name  

OS   Display   Aspect   SoC   Carrier  

Newest     iPhone  6   8   5.5”  1920  x  1080  ppi   9:16   A8  Chip  with  *  

Mo4on  

Coprocessor  

T-­‐Mobile  

Oldest     iPhone  3g   6   3.5”  320  x  480  165ppi   2:3   Apple  A3   AT&T  

Common   iPhone  5s   7/8   4”  1136  x  640  326ppi   9:16   Apple  A5   Verizon    

Popular   iPhone  6+   6   3.5”  640x960  330ppi   2:3   Apple  A4   Sprint  

iPad  

(Re*na)  

iPad  Air     7   9.7”  2048  x  1536  264ppi   3:4   Apple  A7   Verizon  

iPod   iPod  Touch  

(4th  gen)  

5   3.5”  640x960  326ppi   2:3   Apple  A4   WiFi  

Mini   iPad  Mini   6   7”  1024  x  768  162ppi   3:4   Apple  A5   AT&T  

Summary  

The  Trends  •  Device  Prolifera4on  

•  Accelerated  Releases  

•  Increased  Work  for  the  Exis4ng  Test  Team  

 

The  Challenges  •  Your  Company’s  Mobile  Strategy  and  Technology    

•  Transi4oning  Teams  

•  Becoming    Efficient  

Innova*ons  •  Defining  Mobile  Test  Techniques  

•  Simulators,  Emulators  and  Devices  

•  Building  the  Lab          

Contact  Informa4on    

•  email:  [email protected]  

•  Twi^er:  @melissatondi  

•  Blog:  MelissaTondi.blogspot.com  

•  LinkedIn:  Melissa  Tondi