QA 코리아 컨퍼런스 2023

0. 오프닝 : 박인권 (Adriel QA Team Lead)

국내의 QA 테스터는 1995년부터 약 30년의 역사를 가지는 것으로 기록됨.

90년대 중반부터 시작된 인터넷 붐으로 각 회사의 홈페이지가 생겨남과 동시에 IT 시장도 급속도로 성장.

오늘날 국내 다양한 분야, 산업에서 매일같이 새로운 테크 기업들이 생겨나고 있음. → 엔지니어의 수요 증가로 연결됨.

QA Engineer, QA Manager, Tester, Technical QA Engineer, Test Engineer, Quality Engineer, QA Architect, Process QA Engineer, Test Automation Engineer 등

피상적인 품질 엔지니어의 틀을 벗어나 특정 역량을 수행하는 포지션들이 등장하기 시작함.

IT 내에서 하나의 직무가 다양한 포지션명으로 세분화되는 것은 "품질 분야에서만 볼 수 있는 생소한 모습"

시장에서 요구하는 희소성을 지닌 엔지니어가 되기 위해서는, 단순 버그를 찾는 것에 그치지 않고 특정 분야의 역량을 갖춘 엔지니어가 될 필요성이 있음.

시장이 필요로 하는 엔지니어에 부합하려면 어떻게 해야하나?

문제를 스스로 해결하는 High Performer 가 되려면 어떻게 해야하나?

전 세계 품질 종사자들로부터 취합한 리포트에 따르면, 개개인이 성장하기 위해서 어떤 트레이닝을 하는가? 라는 질문에

3년간 "Just doing it". 즉 "그냥 한다." 이라는 답변이 1위.

세분화된 역량과 지속적인 자기계발까지 요구하지만 정작 충분한 교보재나 콘텐츠는 부족하다고 해석 가능함.

국내에서도 회사 내 교육, 커뮤니티나 SNS, 지인 네트워크를 이용한 교육은 이루어지고 있으나 상호간의 교류는 부족함.

이를 해결하기 위한 첫번째 발걸음으로 이번 컨퍼런스를 개최했다.

1. UI 테스트 자동화에서의 Find Element 전략 : 박현준 (前 Toss QA Manager)

업데이트마다 변동되는 UI → UI 변동이 적을 수록 QA에게 유리하지만, 변인을 통제할 수는 없음.

자동화 테스트의 성공을 위해 UI 개선을 하지 말라는 것은 주객전도.

해결 방법 ? UI 변동에 대해 빠르게, 먼저 인식할 필요가 있음.

Shift-Left 접근 방법 : QA의 역할을 기획, 개발 단계에서부터 참여하여 변경점을 미리 파악해두면 좋다.

장점 : 초기 결함 발견으로 인한 수정 비용 감소, 예외 사항 공유를 통한 제품의 안정성 확보 등

단점 : 업무 범위의 확대

2. 이슈와 버그를 새로운 시각으로 바라보다. : 강홍재 (Asleep QA Team Lead)

이슈란? "목표"와 "현상"이 일치하지 않은 것.

소프트웨어 내에서의 이슈란? "기획"과 "결과"가 일치하지 않은 것

프로파일러 : 범죄 현장에 남겨진 증거나 범행 패턴을 심리학적 또는 통계학적으로 분석하여 범죄자의 성격이나 행동 방식 등을 유추한다.

범죄 프로파일러에서 착안한 이슈 프로파일러 라는 포지션을 제안해본다.

이슈 프로파일러 : 소프트웨어의 문법적 오류나 잘못된 로직, 수정된 이력, 과거 발생한 이슈 패턴을 파악하여 통계학적으로 분석하여 이슈 성격이나 패턴을 유추한다.

양대 마켓에 올라온 APP만 천만개, 단순 품질 포지션을 넘어서는 이슈 프로파일러가 필요한 시점이 아닌가?

3. 현지화 QA 도전 후기 : 최정한 (Jetbrains QA Engineer)

현지화 : Localization / l10n / 특정 국가의 상황에 맞게 언어, 문화적인 특성을 고려해서 소프트웨어를 개발하는 것

국제화 : Internationalization / i18n / 소프트웨어를 다양한 언어에 대응할 수 있게 프로세스를 구축하는 것

가장 익숙한 언어로 APP을 사용함으로써 사용자 만족을 이끌어낼 수 있음.

QA의 목표 중 하나인 "사용자의 만족"을 달성하는데 필요함.

현지화를 통한 새로운 비즈니스 기회가 창출될 수 있음. (관심없던 APP이 현지화되면 유저 풀이 엄청나게 확대됨)

현지화는 개발 → 번역 → 교정 의 프로세스로 진행됨.

번역 전문가들 = 주로 외부인. 문맥 없이 문장 혹은 단어만 주어지는 경우 많음. 해당 분야의 전문가들은 아니기 때문에 생소한 용어들에 어려움 발생함.

가장 어울리는 번역인지 검토하기, 사용자 의견 적극 반영하기 를 목표로 현지화 QA 를 진행할 필요가 있다고 판단됨.

현지화QA는 QA 중에서도 마이너한 도메인이지만, 기존 QA 프로세스와 비슷하게 적용하여 진행할 수가 있었음.

현지화/국제화 요소를 고려한다면 그것으로 더 나은 품질을 획득할 수 있을 것.

4. 서비스 비기능 품질을 위한 나의 이야기 : 김성천 (N Tech Service QA Engineer)

기능이 아닌 성능/효율성, 호환성 등을 비기능 으로 분류함.

시스템의 응답 및 처리 시간과 처리 속도가 요구 사항을 충족하는 정도를 "시간 반응성" 이라고 한다.

시스템에서 사용하는 자원의 양과 유형이 요구 사항을 충족하는 정도를 "자원 활용도" 라고 한다.

시스템 매개변수의 최대 한계 수준이 요구 사항을 충족하는 정도를 "용량" 이라고 한다.

기대 성능/효율성을 충족하지 못할 경우?

응답속도가 1000ms (1초)를 넘어갈 경우 사용자가 작업에 대한 집중을 잃고, 만족도가 떨어질 것.

https://developers.google.com/web/fundamentals/performance/rail?hl=ko#사용자에게_주안점_두기

ex)

네이버 지도의 비트맵 기반 이미지를 벡터 기반 이미지로 개편함.

확대/축소 시 시인성이 강화되고 다이나믹한 경험이 가능하고 스타일 커스텀이 가능했음.

하지만 수학적 계산을 통해 화면을 그려주는 구조이다 보니 GPU가 없는 PC에서는 지나치게 느려짐.

기술, 기능적으로 우위에 있더라도 서비스 품질 면에서는 뛰어난 항목이 아닐 수 있다.

서비스 품질의 개선을 위해서는 비기능 품질 개선이 중요할 수 있다.

5. QA Engineer에게 생산성이 중요한 이유 : 전현수 (Banksalad Tech Lead Manager)

https://blog.banksalad.com/tech/birth-of-a-genuine-experiment-organization

Agile 방식은 사용자에게 더 좋고, 비즈니스에 더 효과적인 방향을 찾을 수 있음.

그러나 검증 영역, QA 엔지니어에게 많은 어려움을 가져옴.

검증할 범위 자체는 줄어들지만 검증해야하는 빈도 수가 늘어나며 반복되는 운영 비용과 검증 소요 시간 또한 증가함.

이를 많은 수의 채용이나 서비스 구매로 해결할 수 없다면 (금전 문제), QA 엔지니어가 단순히 테스트 케이스 작성과 수행 뿐 아니라 개발 프로세스 내 검증 영역에 있어 생산성을 높일 필요가 있음.

서비스가 성장함에 따라 기존의 팀 리소스로 늘어나는 커버리지를 해결하는 것은 영원한 숙제이기 때문.

QA팀의 기술력으로 만들어내는 생산성 증가는 회사의 성장과 서비스의 성공에 기여할 수 있다.

6. QA Fundamental : 정동열 (Kakao QA Engineer)

QA Role

• 요구 사항이 제대로 구현되었는지 확인, 보증하는 것
• 프로세스 정립, 개선, 수행을 통해 품질을 보증하는 것
• 고객 사용성을 확보하여 시장점유율을 지속적으로 높이는 것
• 품질비용을 최소화하고 기업의 이익을 최대화하는 것

BM

• 단일보다는 복합 케이스가 늘어나는 추세
• 광고 : Active User 확보 > 고객 접근성이 높고 고객 커뮤니케이션 위주 ex) 소셜 네트워크
• 구독 : 서비스 이용 권한 제공 > 대체 불가한 추가 기능 제공
• 수수료 : 결제 수수료 > 다양한 품목과 보기 편한 뷰, 쉬운 결제 시스템
• 후원 : 고객의 자발적 Sponsorship

좋은 Testcase

• 반복성과 재현성이 보장
• 반복성 (Repeatability) : 동일한 사람이 수차례 테스트를 반복 진행했을 때 결과가 동일한가?
• 재현성 (Reproducibility) : 서로 다른 사람이 동일한 테스트를 진행했을 때 결과가 동일한가?
• 작성자는 "수행자가 이 정도는 알겠지?" 라는 생각 금지
• 수행자는 "이렇게 하는거겠지?" 라는 생각이 들 때 작성자에게 질문하지 않고 수행 금지
• TC 리뷰와 회고를 통해서 작성자와 수행자의 common understanding 간극을 줄일 수 있다.

7. B2B SaaS 스타트업 QA : 박인권 (Adriel QA Team Lead)

ex)

이슈가 이메일, 다수의 슬랙채널, 홈페이지 채팅봇 등 다양한 형태로 예상치 못한 곳으로부터 인입됨.

모든 이슈는 슬랙으로 제보되도록 통폐합하여 단일화된 공간에 동일한 템플릿으로 리포팅할 수 있도록 협의했음.

여러가지 봇 설계를 통해 자동화 시스템을 구축하니 효율성이 극대화됨.

• 관성에 얽매인 활동보다는 변화에 유연한 맥락에 맞는 QA 전략이 필요. : 항상 TC가 필요한지, 체크리스트로 대체 가능한지 등
• Product Market Fit / 스타트업 투자 규모에 따른 팀 운영 전략이 필요. : 인하우스/아웃소싱 중 어떤 형태가 적합할지
• 비즈니스와 밀접한 QA 활동 : 릴리즈 여정에서 품질 팀이 병목은 아닌지, 반드시 필요한 비용인지 자가점검 필요
• 기획, 개발, 운영 전 과정을 스스로 리드할 수 있는 성장 도모 : 주니어의 성장을 위한 환경 제공