Betatesting GeneXus con Night Builds.
He participado en varios ciclos de betatesting de GeneXus. No recuerdo bien en que version fue la primera en que tuvimos acceso a las versiones beta de GeneXus, y es bueno ver la evolución y apertura que ha tenido.
En la ultima etapa de la X y con toda la Evolution I, hemos tenido disponibles los Night Build (NB), que son la versión bastante cruda de GeneXus, que se genera en forma automática en la noche, con lo programado durante el día, para poder nosotros probar con la misma.
Los productos que tenemos para testear ahora son mas y ademas son mas complejos. Por ejemplo ahora se deben testear GeneXus, GXFlow, GeneXus Server y el SDK de GeneXus.
Cosas malas de los NB.
- Al ser una versión sin demasiado test, puede ser inestable y cosas que funcionaban ayer, dejaban de funcionar al otro dia, o funcionaban diferente.
- El bajar, instalar y generar todo con el nuevo NB, lleva tiempo.
- Dificulta un poco el reporte/reproduccion de problemas, pues hay que especificar precisamente en que NB estoy trabajando y la respuesta obligada "Probá con el NB mas nuevo y fijate si te sigue pasando".
Cosas buenas de los NB.
- Acelera muchisimo el ciclo de reporte de problemas, programacion del cambio y verificacion que todo quedo bien. En mi caso, lo considero muy beneficioso pues pude ver que algunos problemas reportados se solucionaban en algunos NB posteriores.
- Se pueden testear las funcionalidades ni bien son programadas, de forma de reportarle al programador errores o sugerencias mientras aun esta trabajando con dicha funcionalidad.
- Evita el reportar un problema, y que nos respondan que ya esta arreglado como pasaba en los ciclos anteriores.
Que cambiaría?
- Definiría un "Defensor del Betatester". No hay nada mas frustrante para una persona que invierte parte del tiempo en probar un programa que aun no esta pronto, que el reportar problemas y que no tengan respuesta. Esto a veces ocurre, porque el mail se pierde en el malon del foro y otras veces la solución lleva varios dias/semanas en resolverse.
- Publicaría los resultados de pruebas automatizadas. De esta forma, los que participamos en el proceso de betatesting, podriamos saber que funcionalidad esta bien o cual tuvo alguna falla.
- Agregaria algo mas de información a la pagina de cambios en los NB, pues muchas veces las explicaciones no se entienden si no se conoce bastante de lo que estan hablando.
Resumiendo.
El contar con los Night build ha mejorado muchisimo el proceso de Betatesting.
Con los NB, el betatester puede regular la intensidad de la prueba, pues si no tiene tiempo puede no instalar la ultima version, sino alguna mas estable pues siguen existiendo las versiones Beta y RC.
Muy bueno Enrique.
ResponderBorrarResumiste muy bien lo que me imagino la mayoría de los betatesters encuentran o sienten con los NB y el proceso de betatesting.
Me gustaría que los NB/Actualizaciones de GeneXus sean algo más "inteligentes".
Estaría bueno que de un NB a otro se pudiera autoactualizar.
Que se bajen solamente las diferencias (los módulos que cambiaron) y que se baje los módulos de registración necesarios.
De esta forma luego se aplican las diferencias y se registra todo nuevamente (por si acaso).
Migrar de un NB a otro sería mucho más simple con un "Check for Updates".
Me imagino que con el "Check for updates", mismo el tiempo de bajada y actualización serian mucho menores (porque solo se baja la diferencia).
En el peor de los casos se bajaría todo GeneXus, como hoy en día lo hacemos al bajarnos el setup entero (o el zip).
Lo otro es que estaría bueno que identificaran como menciona enrique el nivel de estabilidad de cada NB, que se separe entre NB estables e inestables y que se permita bajar cualquiera de las dos versiones a decisión del usuario.
Hay usuarios que se animaría a probar una versión inestable y otros a solo probar el más estable de ellos.
Sin duda alguna que hay un antes y después en el Betatesting de los NB.
Muy buen trabajo por parte de la gente de Artech.
Participe en un intento de hacer lo que suguieres. Se tenia un directorio ftp, y con un software solamente bajaba los archivos modificados.
ResponderBorrarHubieron algunos tipicos problemas iniciales (habian quedado archivos de debug y algunas cosillas mas). La idea estaba bueno y parecia funcionar pero luego el tema perdio fuerza.
El metodo de los zip, a mi me resulto mucho mas practico que los instaladores, pues me ahorro mucho tiempo.
Otra cosa que me olvide de comentar, es que con los NB, me parece que la etapa de liberación por parte de Artech, es menos traumatica que de la forma anterior, pues ya tuvo mucha mas prueba en la cancha.