Best.ly propose un support pour le test A/B des applications mobiles sans qu'il soit nécessaire de changer le code ou de resoumettre l'application dans un store. Actuellement, il existe seulement une librairie native pour la plate-forme iOS mais des librairies pour l'écosystème Android sont déjà en développement et vont bientôt être disponibles.
Le test A/B est souvent utilisé en marketing et par la publicité pour optimiser le taux de clics des clients. Un site web est par exemple publié en deux versions (A et B), qui diffèrent par un certain aspect. Les utilisateurs de test sont divisés en deux groupes, chacun utilisant une version du site. A la fin du test, les taux de conversion pour les deux versions du site sont comparés pour mesurer quelle la version est la plus réussie. La version gagnante est ainsi publiée pour tous les utilisateurs.
Après s'être authentifiés, Best.ly permet aux développeurs d'applications mobiles d'administrer différentes applications en ligne. Pour chaque application, il peut y avoir plusieurs expérimentations et pour chaque expérimentation plusieurs variations. Une expérimentation représente le composant d'une application qui doit être testé, une variation est une des différentes versions de ce composant.
L'intégration d'une application iOS à Best.ly se fait via une librairie CocoaPod. Les différentes variations pour l'expérimentation sont déclarées comme des blocs, la structure Objective-C pour un lambda ou une closure. Le choix du bloc qui est effectivement exécuté est fait par la librairie Best.ly en fonction des paramètres d'administration pour l'expérimentation.
Pendant le test, Best.ly permet de monitorer en temps réel sur un tableau de bord le comportement de l'utilisateur. Les poids des variations peuvent être modifiés au runtime et au final la variation désirée peut être commitée. Après le commit de la variation, l'expérimentation est terminée et tous les utilisateurs utiliseront la variation choisie. Comme Best.ly sélectionne la variation à exécuter, le code de l'application n'a pas besoin d'être modifié pour ajuster le poids des variations ou de commiter une variation et il n'est pas nécessaire de resoumettre l'application dans le store.
Le prix dépend du nombre mensuel d'utilisateurs de l'application testée. Les 200 premiers utilisateurs sont gratuits, 19$ pour 2 000 utilisateurs, 79$ pour 20 000 et 399$ pour 200 000 utilisateurs par mois. Tous les plans intègrent les tests multi-variations et un nombre illimité d'expérimentations.