Wyjaśnienie wydarzeń z MacBookami Pro, Consumer Reports i bugiem w Safari
Kilkanaście dni temu Consumer Reports ogłosiło, że nie może polecić MacBooków Pro (late 2016). Kilka dni temu opublikowało nowy wpis, w którym zmieniają zdanie. O co dokładnie chodzi?
- Consumer Reports przeprowadził testy nowych MacBooków Pro 13″ Escape, 13″ z Touch Barem i 15″ z Touch Barem. Wyniki były zaskakujące, bo czasy pracy na baterii wahały się od ~3 do ~19 godzin. Przesłali te wyniki do Apple, który ich, mówiąc kolokwialnie, olał, wysyłając standardową odpowiedź, że „wszystko działa jak powinno”.
- CR opublikował swoje wyniki i powiedział, że nie może ich polecić, ponieważ wahania w czasie pracy na baterii są ogromne i nie wie skąd to się bierze.
- Apple zainteresowało się ich wynikami i powiedziało, że pracuje z CR, aby sprawdzić wyniki.
- Kilka dni później Apple opublikowało informację prasową – bardzo nieprzyjemną i moim zdaniem skrajnie nieodpowiedzialną jak na ich dział PR – w którym powiedzieli, że CR korzystał z „ukrytej” funkcji Safari, wyłączającej cache i że normalni użytkownicy z tego nie korzystają. Poinformowali również, że ta funkcja ma w sobie buga i że jest już naprawiony w becie.
- CR wystosował uaktualnienie do swojego artykułu, w którym poinformowali, że nie jest to „ukryta funkcja”, skoro jest normalnie dostępna w preferencjach i menu Safari oraz, że po wprowadzeniu poprawki, czasy pracy na baterii są powtarzalne. CR już rekomenduje nowe MacBooki.
Ten bug prawdopodobnie polega na tym, że Safari szuka favicon lub touch-icon na odwiedzanej stronie i jeśli ich nie znajdzie, to szuka ich w swoim cache’u, ale skoro cache jest wyłączony, to ich nie znajduje i ponownie szuka na stronie, gdzie ich nie ma… i tak wpada w pętlę, która nienaturalnie pożera prąd.
Ten bug nie ma wpływu na ludzi, którzy nie korzystają z funkcji Disable Cache w Safari – nie spodziewajcie się, że nagle zyskacie wiele godzin pracy, bo ich nie zyskacie.
Odpowiedź PR-u Apple była, moim zdaniem, skrajnie nieprzyjemna…
We appreciate the opportunity to work with Consumer Reports over the holidays to understand their battery test results. We learned that when testing battery life on Mac notebooks, Consumer Reports uses a hidden Safari setting for developing web sites which turns off the browser cache. This is not a setting used by customers and does not reflect real-world usage. Their use of this developer setting also triggered an obscure and intermittent bug reloading icons which created inconsistent results in their lab. After we asked Consumer Reports to run the same test using normal user settings, they told us their MacBook Pro systems consistently delivered the expected battery life. We have also fixed the bug uncovered in this test. This is the best pro notebook we’ve ever made, we respect Consumer Reports and we’re glad they decided to revisit their findings on the MacBook Pro.
Zdyskredytowali Consumer Reports, próbując pokazać, że ich metodologia jest nieprawidłowa, co uważam za bzdurę. Apple nie może też ręczyć za miliony użytkowników, mówiąc że ich klienci nie korzystają z tej funkcji. Błędne wyniki wynikały z ich własnego buga, a nie sposobu testowania CR, którzy mieli prawo korzystać z tej funkcji. Miało to zresztą sporo sensu, bo test, w którym strony ładowane są z cache’u zamiast serwera, to żaden test. Co więcej, wyłączenie cache nie jest ukrytą funkcją. Nie trzeba korzystać z komendy defaults ani Terminala, aby ją uruchomić – wystarczą dwa kliki.
To już kolejna „dziwna” reakcja działu PR w Apple, która zaczyna mnie coraz bardziej martwić. Podobnie nieodpowiedzialnie zachowali się przy okazji afery z Dash i Bogdanem Popescu.
Quo vadis, Apple?
Wojtek Pietrusiewicz
Wydawca, fotograf, podróżnik, podcaster – niekoniecznie w tej kolejności. Lubię espresso, mechaniczne zegarki, mechaniczne klawiatury i zwinne samochody.
Komentarze: 10
Reakcja taka jak w czasach Jobsa, i tutaj akurat słuszna. Testy powinny być przeprowadzane w konfiguracjach, z których korzysta 90% użytkowników, a nie wybieramy takie, żeby wywołać błąd, który spotka może 1% heavy userów.
Nie zgodzę się.
PS. Taki test jaki mówisz jest niemożliwy do przeprowadzenia.
To po co jakikolwiek test przeprowadzać i rekomendować coś lub nie? Możemy sprowadzić testy do absurdu, mi wyjdzie, że najlepszym autem na świecie jest Porsche, Tobie, że Skoda – po prostu przyjmiemy różne kryteria. A tu chodziło o test baterii, a nie włączanie funkcji, których nikt nie używa i które zrobią drenaż. Dla zwykłego użytkownika nic nie wynika z ich testu, a wręcz był mylący dla przeciętnego kupującego. Dobrze, że ich pojechali i tyle – dla mnie stracili na wiarygodności, następny ich test przyjmę z dużym przymrużeniem oka. To i tak było łagodne, Jobs rzuciłby pewnie f…a :)
W przypadku CR chodzi o przeprowadzenie testu, za pomocą którego testują określone przez siebie parametry w powtarzalny sposób, aby móc się odnieść do wyników z innych lat i ew. innych platform (Windows, Linux).
W przypadku testów w przeglądarce WWW, testowanie jak dobrze ona odczytuje strony z cache’u jest znacznie bardziej „absurdalne” (jak to ująłeś”) niż wyłączenie go, aby strona zawsze była ładowana z serwera.
Dlaczego zakładasz, że nikt nie korzysta z tej funkcji? Masz konkretne dane na ten temat?
Nie, nie jest dobrze, że im „pojechali”. Może następnym razem jak pójdziesz do serwisu i jak Tobie „pojadą”, to będzie dobrze?
Wiesz, mam wrażenie, że szukasz dziury w całym – nie przekonałeś mnie, że ich test wniósł cokolwiek dla zwykłego użytkownika. Był raczej mylący, co zresztą sami poniekąd przyznali.
Co do pojechania, nie widzę związku. Co innego dziennikarze/testerzy/blogerzy, którzy często wyolbrzymiają problemy (jak chociażby Ty w tym wypadku), a co innego zwykły użytkownik. Ile to już było tych x-gatów? Serwis to serwis, korzystasz ze swoich praw konsumenckich lub z umowy gwarancyjnej i tyle. Wiesz, po prostu nie lubię tworzenia “świętych krów” tylko dlatego, że ktoś nazywa siebie recenzentem, testerem, dziennikarzem – popełnili błąd i tyle. Posypali głowę popiołem, dostali reprymendę i sprawa zakończona.
Gdzie przyznali?
Chodzi o kulturę w firmie ws. “Pojechania”.
Niestety, ale widzę, że sens dyskusji jest żaden – nie jesteś obiektywny. Uważasz, że PR polega tylko i wyłącznie na głaskaniu każdego pajaca i kajaniu się, nawet wtedy, kiedy wyraźny błąd popełnia druga strona – bo przecież zaraz social media ich zjedzą? Zwalili te wyniki na całej linii, ich rezultat sprawił, że część klientów mogła wybrać inne produkty, a ich przydatność dla tych właśnie klientów była zerowa. Apple w tym komunikacie “pojechania” jedynie dosadnie uwydatniło ich podejście. Jobs zrobiłby to 10 razy mocniej. Dla mnie eot.
A dlaczego miałbym być obiektywny w subiektywnym komentarzu?
Apple stać na to, żeby zachować się jak dorosły. Nie zrobili tego.
Nie wkładaj też słów w usta Jobsa, bo facet nie ma jak się bronić.
no jestem w szoku w stosunku do Twojego braku chęci sensownej i obiektywnej dyskusji – w przyszłości będę unikał komentowania Twoich wpisów, chociażby byłyby maksymalnie pozbawione sensu. Po prostu uznajesz, że świat istnieje w jednej barwie – Twojej. Zupełnie jak ten jeden od Księżyca co został. Pozdro
Mała dygresja – przy testach starszych modeli macbooków CR przyznawało rekomendacje bo min. wyniki pracy na baterii były dobre lub bardzo dobre i wtedy Apple nie miało zastzreżeń do metorologii testów. Teraz nagle podniosło larum, choć przecież testy były przeprowadzane tak samo, ale jako że w nowych macbookach baterie małe, i super grafiki to i wyniki kiepskie.
No i Apple podniosło wrzawę.
Naprawdę nie widzisz w tym nic co najmniej dziwnego ?
Trzeba zmieniać warunki testu aby uzyskac dobre wyniki ??
Mała bateria nie da dobrych czasów, nie ma cudów i min. usuwanie wskaźnika czasu pracy nie “zagnie” rzeczywistości. To samo dotyczy testów.
Dlatego ostatnie posuniecia Apple wywowuja takie a nie inne reakcje min. w tym wypadku Moridin-a i całkowicie sie z nim zgadzam a fanbojem nie jestem :)