InfoQ ホームページ AB_Testing に関するすべてのコンテンツ
ニュース
RSSフィード-
SpotifyはいかにしてSpotify Homeための実験を大規模に実施しているか
SpotifyはSpotify Homeプラットフォームで年間250件以上のオンラインでの実験を実施しており、数十の異なるチームがそれを活用している。このような規模で実験を行うために、Spotifyは様々なツールを使用していると、SpotifyのプロダクトマネージャーであるNik Goyle氏は説明する。
-
LyftはA/Bテストの域を越えて実験をどのように改善しているか
LyftのプロダクトマネージャーのJohn Kirn氏は最近、実験を行う際に直面する課題について記事を公開した。既存の実験手法では、Lyftのビジネスの特徴であるリアルタイム性に完全に適応したり、ネットワーク効果を低減したりすることはできなかった。Lyftの実験チームは、時間と領域の分割テストなどの新しいテストを展開し、社内の実験基準と手法を改善した。
-
BBCの新たなサーバーレスプラットフォームによりスケーラビリティとパフォーマンスが向上
新しいWebCoreサーバーレスプラットフォームへの移行から1年後、BBCは、アーキテクチャのメリットを享受し始めた。このアーキテクチャにより、パフォーマンスと運用上の課題を解決するエンジニアの負担を取り除くことができ、顧客に提供する価値に集中できるようになった。
-
Airbnb：ガードレールを使ってチーム全体に悪影響を与える変更を特定
Airbnbは、内部のExperiment Guardrailsシステムを展開して、さまざまなチーム間での変更による潜在的な悪影響を特定した。提案された変更がガードレールを通過しない場合は常に、影響を受けるチームと利害関係者によるさらなる分析のためにエスカレーションされる。このように、AirbnbのデータサイエンティストのTatiana Xifara氏は説明する。
-
Expo：Walmart LabsでのSpark StreamingとKafkaを使ったリアルタイムA/Bテストとモニタリング
WalmartLabsのエンジニアリングチームは、Expoと呼ばれるリアルタイムのA/Bテストツールを開発した。これは、ユーザエンゲージメントメトリックを収集し分析するものである。Spark Structured Streamingを使用して受信データを処理し、メトリクスをKairosDBに格納する。
-
エンジニアのためのDevOpsにおけるテストについて、Katrina Clokie氏とのQ&A
ウェリントンで開催されたDevOpsDays NZは、エンジニアがDevOpsで活用できるテストスキルと強大な力に関するKatrina Clokie氏のキーノートで幕を閉じた。 『A Practical Guide to Testing in DevOps』の著者が、テスト現場で見てきた変化と、これがDevOps原則を受け入れる動きにどう影響するのかをInfoQに語った。
-
Apple、TestFlightでiOSアプリのA/Bテストをサポート
AppleがTestFlightをアップデートした。複数ビルドやグループの強化といった多数の機能が導入され、iOSアプリのA/Bテストが可能になる。
-
Spotifyでの大規模な実験
A/Bテストの試行回数を増やして同時に多数の実験をしたい場合、自分たちのプロセスとプラットフォームに適応する必要があり、これは、文化にも影響を及ぼす可能性がある。制御された実験でプロダクトの研究をすることで実際に顧客がどのようにプロダクトを使っているかについてのアイディアをぶつけ、これらのアイディアがユーザーの振る舞いに影響を与えるかどうかをチェックできる。
-
Patrick Debois氏がDevOpsをモバイルデリバリに展開
DevOps Daysカンファレンスの創設者であるPatrick Debois氏，AWSのTrent Peterson氏，EtsyのNassim Kammah氏が共同で，開発からテスト，公開までのオートメーション化，運用サポート(ロギング，機器編成，監視)，(A/B)テストなど，モバイルのデリバリツールチェーン全体を議論する新たなカンファレンスとして，Mobile Delivery Daysを立ち上げた。
-
Facebookが行ったiOSファイル破損バグ対応
FacebookのエンジニアであるSlobodan Predolac，Nicolas Spielberg両氏は先日，"モバイルアプリ長期的なデバッグ問題を解決し，クラッシュ率を50%以上低減した"方法について解説した。その中で氏らは，大規模で急速に進化するコードベースを支援することが可能な，汎用性のある技術といくつかのFacebookのツールを紹介している。
-
Splitforceがモバイル向けA/Bテストツールをアップデート
多くの企業にとってモバイルアプリケーションの振る舞いテストはますます重要になっている。ほとんどの企業がまだ本当の"モバイルファースト"を実現できていないものの、モバイルアプリはビジネスの一部を動かしている。Splitforceは2013年にA/Bテストを使ったモバイルアプリケーションの最適化ツールを発表した。そして、同社は近頃、このツールの最新バージョンの提供を始めた。ユーザインターフェースの改善に加え、新しいバージョンでは新しい機能を提供する。ユーザーターゲティングや振る舞いデータに基づいたテスト、自動最適化などだ。
-
Facebookがオンラインフィールド実験フレームワークPlanOutをオープンソース化
PlanOutはFacebookのオンラインフィールドの実験のためのフレームワークであり、"A/Bテスト"、ファクトリアルデザイン、より複雑な実験をサポートする。Facebookによれば、PlanOutはアプリケーションのコードから分離したかたちで検証用のデザインを実装でき、正確にデザインを記述できる。FacebookはPlanOutを使って毎日数千の実験をしているという。億単位のひとが実験に参加していることになる。
-
モバイルアプリのA/Bテスト
Best.lyはモバイルアプリ向けのA/Bテストをサポートするサービスだ。コードの変更もApp Storeへの再提出も必要ない。今のところ、iOSプラットフォーム向けのネイティブライブラリしかないが、Android向けのライブラリもすでに開発中で、間もなく利用可能になる。実験はオンラインで管理され、実行中に調整したり、リアルタイムにモニタリングできる。
-
Canary Deploymentsを使って稼働中にテストする
Nolioが彼らのDevOpsのベストプラクティスに関するシリーズの最初のビデオで言っていることによれば、ユーザーの一部を新しい機能に目を向けさせたことで、企業は"Canary Deployments"を継続的デリバリの一部として使って、稼働中のソフトウェアをテストしている。"Canary Deployments"は一種のインクリメンタル リリースで、ソフトウェアの新バージョンをその対応する稼働中のバージョンと並んでデプロイすることで実現される。
-