[리뷰] The Nurnberg Funnel

서울경제 2015년 2월 27일 "설명서의 멸종"이라는 기사 일부입니다.
퍼퓰러 사이언스 기사 "The Disappearance Of The Instruction Manual"를 번역한 글입니다.
https://www.popsci.com/instructions-not-included/
https://www.sedaily.com/NewsView/1H91FUT94V

...그는 연구실에 비서를 채용해 컴퓨터와 사용설명서를 지급한 뒤 일상적 사무를 처리토록 지시했다. 결과는 당혹스러웠다. 피실험자인 비서들이 매뉴얼을 읽을수록 오히려 혼란에 빠지는 사례가 많았던 것이다. "비서 희망자들이 매뉴얼을 읽은 뒤 저를 올려보며 이렇게 말하더군요. '이 일은 제가 못하겠어요.'라고요. 그리고는 일어서서 코트를 입고 사라졌죠."
He set up a lab, gave secretaries computers and manuals, and then studied them as they tried to accomplish regular office tasks. He tracked “frustration episodes,” observing as subjects became progressively more flummoxed by their manuals. “People would look at me, shaking, and they’d say, ‘I can’t do this.’ And then they’d get up and put their coat on. One person literally had to flee the building,” he says...

번역된 텍스트가 조금 이상하기도 한데, 비서를 채용한 것이 아니라 실험을 위한 참가자로 모집한 것이고 정해진 시간 동안 매뉴얼을 사용해 컴퓨터(워드 프로세싱 소프트웨어)를 조작하는 것을 관찰한 것입니다. 실험이기 때문에 주어진 과제를 실패하더라도 참가자에게 불이익이 있었던 것은 아니었고, 일정 시간 동안 진행된 관찰 조사였기 때문에 중간에 도망갈 일도 없었습니다. 이 부분은 기사를 쓰면서 좀 과장한 것이 아닌가 싶습니다.

John M. Carroll의 책 "The Nurnberg Funnel"은 1990년에 출판되었습니다. 그리고, 1998년에 "Minimalism Beyond the Nurnberg Funnel"라는 제목으로 일종의 사례집이 출판됐습니다. 1990년 이후 미니멀리즘 관련 추가 연구나 실제 사례에 대한 내용을 담았다고 합니다.
https://direct.mit.edu/books/edited-volume/2438/Minimalism-Beyond-the-Nurnberg-Funnel

 

그래서, "The Nurnberg Funnel"을 읽어보았습니다. 가볍게 읽을 수 있는 책은 아니고 매뉴얼을 기획,작성하는 실무자들에게 자신의 연구 결과를 알리고 사용자에게 도움이 되는 매뉴얼을 만들 수 있게 하는 목적으로 구성한 책입니다. 그의 연구는 이미 다양한 분야에서 적용되고 개선되어 왔기 때문에 이 책을 읽는 것이 지금 독자에게는 큰 의미가 없을 수 있습니다. 다만, 내용이 일부 잘못 전달되고 있는 것 같아 내용을 간단히 정리해서 공유해 봅니다.

Preface

사용자가 새로운 기술을 더 효과적으로 학습할 수 있도록 장애물을 최소화하는 미니멀리스트 학습 모델의 중요성과 실제적인 적용 가능성을 강조하며, 실용적이고 지속적인 교육 방법 개발의 필요성을 이야기합니다.

One of my professional concerns has been to understand how people acquire beginning competence at using new technology. In 1981, Robert Mack, Clayton Lewis, and I began a series of investigations into how people learn to use computer application systems by self­instruction, that is, in the absence of human coaches or teachers. We focused on computer document preparation because such systems were the most developed and most widely accessible at that time.

책은 1990년에 출판되었지만 책에 담긴 내용은 1981년 이후 캐롤과 동료들의 연구를 참고해서 쓴 책입니다. 꽤 오랜 기간 연구를 진행했기 때문에 초기에는 컴퓨터를 전혀 접하지 못한 사용자를 조사 대상자로 모집할 수 있었는데, 시간이 지나면서 컴퓨터에 많은 이들이 익숙해지고 경험이 없는 사용자를 찾기가 어려웠다는 이야기도 있습니다. 컴퓨터 사용 학습과 관련된 문제점에 대해서는 캐롤 이전에 여러 연구를 통해 문제점이 드러나 있었고 캐럴은 대안적인 교육 모델로 미니멀리스트 접근법을 찾은 것입니다.

The minimalist model tries to capitalize on what learners do spontaneously instead of being embarrassed by it.

단순히 매뉴얼 페이지 수를 줄이는 것이 아니라 모든 것을 다 알려주는 대신 사용자가 목적 의식을 가지고 주도적으로 학습할 수 있는 방법을 찾아내고자 하는 연구였습니다.

In this book I have gathered and organized the two dozen or so separate empirical projects and theoretical discussions we have published over the past decade in a form appropriate for practitioners and researchers.

실무자와 연구자들이 실제 제품 교육에 적용할 수 있는 내용을 담으려 했고 아마도 그 결과가 1998년 출간된 "Minimalism Beyond the Nurnberg Funnel"이 아닌가 싶습니다.

1. Less is More

기존 교육 설계의 한계를 지적하며, 과제 중심의 학습, 간결하고 실용적인 훈련, 오류 복구 지원 등 학습자의 동기와 전략에 맞춘 '미니멀리스트' 교육 접근법의 필요성을 이야기합니다.

 

2장부터 9장까지의 구성은 다음과 같습니다.

- 2장: IBM 디스플레이라이터(Displaywriter) 같은 기존 메뉴 기반 사무 시스템 애플리케이션의 문제점

- 3장: 고해상도 그래픽 인터페이스와 마우스와 같은 직접 포인팅 장치를 사용하는 시스템(애플 리사)의 문제점

- 4장: 미니멀리스트 교육 모델

- 5장: 사용 설명서를 대체하는 카드 세트

- 6장: 미니멀 매뉴얼 설계와 평가

- 7장: 보조 바퀴 인터페이스 설계와 평가

- 8장: 지식 통합을 위한 교육 환경 개발

- 9장: 미니멀리스트 교육 모델의 함의와 과제

Traditionally education in the computer industry concerned itself with the training needs of computer professionals. Standard approaches included comprehensive, but extremely thick, reference manuals and rather expensive classroom courses (Gillum, 1985; Jacobs, 1986). Many new users had little interest in computer science, programming, or electronics per se. Rather they were concerned with preparing manuscripts, letters, memos, and other sorts of documents (Davis, 1984; Eason, 1976). There was concern in the industry that overly comprehensive materials would exhaust the patience and the technical backgrounds of these users (Davis, 1984; Scharer, 1983).

저자가 컴퓨터 교육의 문제점으로 본 것은 환경의 변화입니다. 기존에는 거대한 컴퓨터를 비싼 비용을 주고 도입하기 때문에 이를 운용하는 사용자도 어느 정도의 지식을 가지고 있었고, 사용법을 교육할 수 있는 여유도 있었습니다. 하지만 개인용 컴퓨터가 확산되면서 이전처럼 교육할 수 없는 환경의 변화가 생긴 것이죠. 이를 해소하기 위해 여러 방안들이 나왔지만 효과적이지 못했고 소프트웨어 제조사에게는 고객 지원을 위한 비용 증가로 이어지게 됩니다.

Our strategy in developing training designs was to accommodate, indeed to try to capitalize on, manifest learning styles, strategies, and goals. We were struck by the observation that training material itself often precipitates learning problems. We became committed to minimizing the obtrusiveness to the learner of training material — hence the term minimalist.

여러 문제점 중 교육 자료 자체가 학습을 방해하는 요소가 되는 문제를 해결하고자 미니멀리스트 교육 접근법을 선택했다고 설명합니다. 그리고 이후 연구에서 미니멀리스트 접근방식이 기존 교육 방식과 비교해 실제 사용자에게 얼마나 효과적인지 검증하게 됩니다.

The title of this book refers to the legendary Funnel of Nurnberg, said to make people wise very quickly. The right knowledge could be poured in, as it were. Sad to say, there is no Nurnberg Funnel. Indeed, given much of what we understand about human intelligence and learning, the very idea of "pouring" material into the mind seems illconceived. Nevertheless, the need to make people wise very quickly is often overwhelming. And in trying to make instruction efficient, designers have frequently lapsed into trying to pour information into the learner's mind.

책 제목을 "Funnel of Nurnberg"이라고 붙인 것은 기존 교육 자료들이 학습자에게 많은 정보를 던져 주면 좋은 성과를 낼 수 있을 것이라는 막연한 기대가 잘못된 생각이라는 것을 강조하고자 했던 것 같습니다.

2. Getting to Know A Computer

컴퓨터 초보 사용자들이 실제 학습 실험에서 겪는 혼란, 부적절한 기대, 지식 부족, 매뉴얼과 시스템 사용의 어려움 등 다양한 문제와 시행착오를 구체적으로 분석하여, 효과적인 컴퓨터 교육 방법(특히 미니멀리스트 모델)의 필요성을 사례 중심으로 제시합니다.

Many problems occurred during the sessions. Even after 12 hours of self­instruction, not a single learner was able to complete the achievement task without serious difficulty. In that study, the only subtask successfully completed was the initial creation of a document. Of the six people in the study, only three were able to control pagination of text (rearranging text to justify right margins). In exercising the four major commands needed to complete the letter task (create, revise, print, and paginate the document), two participants ran out of time revising and paginating, and the other four had problems with one or more of these four tasks (albeit ultimately solving them). All participants had trouble using delete functions to make corrections and understanding the effect of carrier return on text (it inserts blank lines). Participants had had practice with all of these basic text editing tasks during training.

첫 번째 소개된 연구 대상이 된 장비는 IBM의 Displaywriter입니다. 워드 프로세서를 위해 만들어진 컴퓨터라고 할 수 있습니다. 연구 대상자들은 컴퓨터에 대한 경험은 없지만 기계식 타자기는 익숙하게 사용했기 때문에 타이핑 작업에는 큰 어려움이 없습니다. 하지만 컴퓨터를 처음 작동하고 상세한 설정(여백, 정렬, 인쇄, 페이지 매김 등)을 하는 과정에서 타자기와 다르게 동작하는 과업을 수행하는데 어려움을 겪었다고 합니다.
https://en.wikipedia.org/wiki/IBM_Displaywriter_System

We spoke with secretaries who ended up practicing computer skills on their own time because they had no other option and with some who had considered quitting their jobs because of frustrating training experiences. In our studies, we were surprised and concerned at how long these initial feelings of failure and frustration could persist in the learning situation. One participant said, ''It makes me feel stupid." And of course feeling this way probably does impair performance. Indeed, it has been reported that experienced professional users often end up learning and using only a small fraction of the total function of a computer (see Rosson, 1983, 1985).

퍼퓰러 사이언스 기사에서 중간에 나가버렸다는 이야기는 이 단락을 보고 쓴 것이 아닌가 싶습니다. 이건 저자의 연구가 아니라 다른 사례를 참고해 작성된 내용입니다. 

One of our learners wondered "who" the printer was. Another wondered if she was the printer.

프린터라는 것이 누군가 문서를 출력해주는 사람이라고 생각할 정도였으니깐요. 컴퓨터에 대한 생각이 어느 정도인지 알 수 있습니다. "사라진 개발자"라는 책에서 아래와 같은 내용이 있습니다. 시간이 좀 지나긴 했지만, 프린터도 마찬가지로 인지했을 수 있겠네요.

...‘컴퓨터’라는 용어의 기원은 17세기까지 거슬러 올라가며, 당시에는 달력을 바탕으로 시간을 추적하며 시간과 관련된 계산을 수행하는 사람을 가리키는 말이었다. 천문학자 마리아 미첼(Maria Mitchell)이 미 연안 측지 조사단에서 근무하던 1860년대 후반에는 이 용어가 ‘계산하는 사람(compute+-er)’을 의미했다. 오랜 세월 이 용어가 일컫는 건 기계가 아닌 사람이었다...

Our learners made many kinds of errors in following seemingly clear instructions in the manuals. They typically created and responded to their own agenda of goals and concerns, not to the careful ordering of steps in a training procedure. They jumped in, skipped around, forgot about the manual for a while, consulting it when the page it was open to no longer corresponded with the current system state.

사용자는 매뉴얼을 보고 따라하지만 모든 단계를 하나하나 확인하지 않습니다. 자신이 알만한 단계는 매뉴얼을 보지 않고 넘어갑니다. 하지만 이런 과정에서 뭔가 일반적인 프로세스와 다르게 처리해야 했던 부분이 있다면 일이 꼬이기 시작하는 거죠.

연구자들은 중간 중간 참여자의 행동을 관찰하며 문제가 생긴 경우 개입은 하지 않고 대화를 통해 참여자가 어떤 생각을 하고 있는지 확인하고 이를 보고서에 포함했습니다. 참여자들이 매뉴얼 또는 화면 인터페이스를 다루면서 어떤 부분에서 잘못 판단하거나 막히는지 확인하기 위함이겠죠.

3. The Instructional Dilemma

컴퓨터 기술의 발전 속도와 사용자 인터페이스 혁신에 따라 교육적 딜레마가 발생하며, 새로운 시스템과 학습자에게 효과적으로 적응하기 위한 교육 설계의 한계와 문제점을 실제 사례 및 실험을 통해 심도 있게 분석합니다.

Our six learners responded to an on­line request for volunteers that we placed on our local computer network. We excluded volunteers who had substantial programming experience, but all of the six we accepted had some experience with computers; a few had had some programming experience.

2장에서는 컴퓨터에 익숙하지 않은 사용자를 대상으로 조사를 진행했는데 3장에서는 컴퓨터를 사용한 경험이 있고 일부는 프로그래밍 경험이 있는 사용자를 대상으로 진행했습니다. 물론 애플 Lisa는 다루어보지 않았던 사용자입니다.

Qualitatively, it seemed that even where the advanced design of the Lisa system had specifically targeted user problems with Displaywriter­type interfaces, the same types of problems occurred, though in variant forms. Moreover, the user interface innovations(such as the desktop metaphor and the on­line tutorial) caused problems we had not seen in our earlier work.

애플 Lisa는 그래픽 인터페이스를 사용한 최초의 개인용 컴퓨터였습니다. 그 이전에도 그래픽 인터페이스를 사용하는 기술이 있었지만 일부 전문가 수준에서 사용하는 것이었고 누구나 쓸 수 있게 확대된 것이 애플의 Lisa입니다. 그래픽 인터페이스를 적용하면서 실제 업무 공간(책상)을 옮겨놓은 것처럼 만들었는데, 이런 방식이 오히려 사용자를 혼란스럽게 하는 부분이 있었습니다.

For example, to get a piece of memo paper or a folder, one must select a template icon (called a "stationery pad"), then "tear off" a copy using the File/Print menu, and only then open the new icon for work (assigning a name to the new icon is optional; it is named "Untitled" by default). This extension of the core desktop metaphor caused problems. As one learner put it: "I write my memos before tearing them off. If they're going to use analogies, they ought to do them right!"

일반적으로 공책에 글씨를 쓰기 위해 종이를 찢어내지 않는데, Lisa 시스템에서는 노트패드에서 종이를 떼어내어야 새로운 문서를 만들 수 있었다고 합니다. 아마 새 문서 만들기라는 개념을 저렇게 만든 것 같은데 이런 동작이 사용자에게 혼란을 주었다고 합니다.

 

We have discussed the design glitch that made the tutorial somewhat difficult to load. One reason for this difficulty was that the tutorial did not actually use the Lisa system code but rather a partial simulation of the system.

실제 Lisa 시스템과 별도로 Lisa 튜토리얼을 만들었는데, 실제 Lisa 시스템 코드와 상관없이 동작하는 화면만 가져와서 튜토리얼을 만들었다는 것 같습니다. 때문에 다음 장에서 저자가 실험을 위해 IBM의 Displaywriter 튜토리얼을 개발할 때는 실제 IBM 개발팀 지원을 받아 일부 기능을 제한한 버전으로 구성을 했습니다.

4. The Paradox of Sense-Making

학습자가 의미 있는 상호작용을 추구할수록 오히려 시스템적 교육 체계와 충돌하며 학습에 어려움을 겪게 되는 ‘의미 만들기의 역설’을 설명하고, 이를 극복하기 위해 미니멀리스트 교육 접근법의 필요성을 강조합니다.

The key idea in the minimalist approach is to present the smallest possible obstacle to learners' efforts, to accommo­date, even to exploit, the learning strategies that cause problems for learners using systematic instructional materials.

최소주의 학습법은 사람들이 일상에서 학습하는 모습을 어느 정도 흉내낸 것이라고 할 수 있습니다. 일상에서 하는 일들이 모두 상세한 가이드를 가지고 있는 것은 아니며, 최소한의 리소스와 경험, 그리고 주변 환경 등을 통해 문제를 해결하는 과정이니깐요.

It is quite common for training manuals to present a "welcome to the system" preface, a conceptual model of how the system works, information on hardware and software maintenance, even a catalog of related products the user can order — all before the user is permitted to flip the "on" switch. And none of this, even in the end, does much to facilitate the user's desire to get started on meaningful activity. Rather, it obstructs this goal.

기존 매뉴얼에서 일반적으로 제공하던 것들중 많은 것들이 사용자의 활동(문제 해결)과는 무관하다는 것입니다.

5. Guided Exploration

사용자가 실제 작업 환경에서 시행착오를 통해 직접 탐구하고 문제를 해결하도록 안내하는 '가이드 탐색' 방식이 기존 매뉴얼식 학습보다 더 빠르고 효과적인 습득을 가능하게 한다는 점을 다양한 사례와 실험 결과를 통해 강조합니다.

The cards analyzed the overall function of the application system in a qualitatively different way from the manual. With the cards, the key units of instruction were the tasks that the users actually wanted to carry out, like typing something. In contrast, 23 pages of the manual comprised a topic chapter entitled "Menus, Messages and Helps."

여기서 설명하는 카드는 요즘 제품 구입하면 같이 따라오는 퀵 스타트 가이드 같은 형식입니다. 딱 필요한 과업만 따라 할 수 있도록 제공하는 거죠. 반면에 문서 매뉴얼은 챕터 구성이 전반적인 개요와 기능을 제공하는 형식입니다.

 

Twelve participants learned individually in a laboratory setting that simulated an office situation where the participant was to have no help from others. Participants were asked to learn basic text entry and revision skills, involving the use of menus for formating and printing, and the interpretation of system messages. Half used the systems­style manual (SM) that was part of the commercial system, and half used the experimental guided exploration materials (GE). The groups were run separately in time, the first group as a baseline.

기존 매뉴얼과 비교 연구를 위해 12명의 참가자를 대상으로 기존 매뉴얼과 카드 형식의 가이드 탐색 자료를 제공하고 과제 수행 능력을 평가했습니다. 이후 연구에서는 2, 3장에서 도출한 문제점을 어느 정도 해결할 수 있는지를 평가합니다.

To preview the results, the guided exploration cards allowed faster initial learning and faster and more successful performance in the realistic achievement task. As we looked further to try to account for this advantage, we found that the guided exploration learners spent more time working with the system (as opposed to reading); they tried operations out on their own more frequently and more successfully; they recognized and recovered from errors more consistently. In other words, the GE materials worked for basically the reasons they were so designed.

연구 결과에 대한 상세한 설명이 이어지는데 결과적으로는 가이드 탐색 카드를 사용하는 것이 초기 학습 속도를 높이고 과제도 빠르게 처리할 수 있었다고 합니다.

That account posited that GE learners were faster (merely) in that they had less voluminous training materials to read. True enough, the GE people spent far less time reading. But they actually spent more time on the initial letter typing task — when learners in both groups were spending relatively more time reading their training materials.

두 번의 과제를 진행하는데 초기 과제에서는 문서 매뉴얼을 사용하는 팀이 더 빠르게 작업을 진행했습니다. 하지만 이후 과제에서는 카드를 사용하는 팀이 빠르게 작업을 진행했습니다. 아마도 문서 매뉴얼을 사용하는 팀은 문서를 읽고 해당 과제에 해당하는 부분을 찾아서 과제를 수행할 수 있었지만, 그 과정에서 수동적으로 매뉴얼을 참조했고 카드 사용자들은 카드에서 제시하는 기본적인 기능만을 참조해 이런저런 시도를 하면서 능동적으로 기능을 익혔기 때문에 후속 과제에서 더 빠르게 작업을 마무리할 수 있었다는 것이 아닌가 싶습니다. 물론 이 연구에서 이걸 단정하지는 않지만요.

Our own follow­on work turned to the problem of incorporating guided exploration in other instructional conventions and media. For example, one response to the learners who longed for a self­instruction manual instead of a stack of cards is to design a self­instruction manual that incorporates both the strengths of guided exploration and the familiar conventions of manuals.

카드 형식의 학습이 나름 효율적이었지만, 모든 교육적인 요구사항을 다 담기에는 부족함이 있었기에 다음 단계로 각각의 장점을 합친 방식을 고민한 것으로 보입니다.

6. The Minimal Manual

복잡한 시스템 학습을 위한 '미니멀 매뉴얼' 설계와 실험을 바탕으로, 실제 과제 중심,오류 복구, 기존 지식 활용 등 최소주의 원칙을 적용한 훈련이 기존 매뉴얼보다 빠르고 효율적인 학습 성과를 가져온다는 점을 실증적으로 보여줍니다.

The topic chapters of our manual clearly labeled topics of interest to learners — for example, ''Typing Something" or "Printing Something on Paper" instead of "Using Display Information While Viewing a Document." Thus reading and following the training procedure in a chapter was a means to accomplishing a recognizable goal. The chapters were structured to provide the learner with a large­grain analysis of the meaningful components of basic tasks. 
They want to delete these "blank lines," but from the perspective of the system, this translates into deleting a "carrier return control character," an unfamiliar, indeed probably meaningless, goal for a new user.

기존 매뉴얼은 시스템 관점에서 작성되었다면, 미니멀 매뉴얼에서는 사용자 입장에서 작성했습니다. 그래서 사용자의 과업과 상관 없는 정보성 콘텐츠를 제거하고 사용자의 입장에서 원하는 동작을 각 챕터 제목으로 변경했습니다.

For example, the printing procedure was introduced in the topic chapter "Printing Something on Paper." Subsequently, learners were merely instructed to print: if they forgot the procedure, they had to return to the printing chapter and adapt it to their current situation. In the commercial manual, the printing procedure was repeated in four separate variations.

미니멀 매뉴얼에는 기본적인 동작만 설명하고 있습니다. 하지만 제품 매뉴얼에서는 인쇄와 관련된 가능한 옵션을 다 설명하고 있는 것 같네요. 때문에 사용자의 수준이나 상황에 따라 추가적인 옵션을 알고자 하는 경우에는 미니멀 매뉴얼에서는 필요한 콘텐츠를 찾을 수 없습니다.

The topic chapters of the Minimal Manual were designed to be highly modular. Our objective was to limit their interactions as much as possible to the level of topic goals and the coarse­grained subgoals. Thus, if the learner wishes to print, he or she needs to refer to the printing chapter.

기존 매뉴얼에서는 모든 절차가 다 설명되어 있지만, 미니멀 매뉴얼에서는 모듈화된 형식으로 개별 작업에 대해 설명합니다. 때문에 단순히 매뉴얼을 보고 따라 하는 것이 아니라 각 모듈 간의 구조를 이해해야 하는 도전이 필요합니다.

We were particularly satisfied with the result that the MM learners continued to outperform their SM counterparts for relatively advanced topics that both groups studied in a common manual. This indicates that MM is not merely "quick and dirty" for getting started, with the possible implication that later this initial acceleration will entrain ill preparedness for more advanced learning.

미니멀 매뉴얼이 기존 매뉴얼보다 학습 시간을 줄여주고 성과를 높일 수 있다는 것은 어떻게 보면 당연한 결과일 수 있습니다. 하지만 고급 주제에 대해서는 같은 리소스를 제공했는데 미니멀 매뉴얼로 학습한 사용자들이 고급 주제에 대해서도 좋은 결과를 만들었다는 것은 인상적이네요. 저자는 자율적인 학습을 한 경험이 고급 주제의 리소스에서도 발휘되었다고 평가하는 듯합니다.

In one experiment, we contrasted four versions of a self instruction manual, all based on the original Minimal Manual. These four were a skeletal manual, an elaborative manual, an inferential manual and a rehearsal manual.

추가적인 연구에서는 미니멀 매뉴얼을 좀 더 세분화해서 학습자에게 어떤 영향을 미치는지도 평가했습니다.

Current research work, in other laboratories, has begun to confirm and extend the minimalist approach to instruction design. For example, Olfman (1987; Olfman and Bostrom, 1988), at Indiana University and subsequently at the Claremont Graduate School, designed and studied a minimal manual for a spreadsheet application. He contrasted this manual with one he called construct based, organized around major system commands. Participants evaluated the minimalist manual as better facilitating their learning. Learners trained on the minimal manual tended to use the spreadsheet application more even two months after the initial training. At the University of Glascow and Sunderland Polytechnic, Oatley, Meldrum, and Draper (1989) designed and studied a minimal manual for glossary preparation with a word processor. Their participants performed twice as efficiently in both learning and testing as those using a commercially developed systems style manual. Their minimal manual was also substantially preferred.

미니멀 매뉴얼에 대해 저자가 책 형태로 정리하긴 했지만 80년대 후반에 다른 연구자들도 관련된 연구를 진행하고 있었습니다. 저자가 미니멀 매뉴얼의 확산을 이끌어냈다고는 할 수 있지만, 처음 만든 것은 아니라는 거죠.

7. Training Wheels

초보 사용자의 실수와 과부하를 줄이기 위해 시스템의 복잡한 기능을 제한하여 '소프트웨어 보조 바퀴(Training Wheels)'처럼 단순화된 인터페이스를 제공하면, 실제 과제 수행 중심의 빠르고 효과적인 학습이 가능해진다는 점을 다양한 실험과 분석으로 설명합니다.

This amounts to software "training wheels": the resulting system permits the user to carry out basic operations of document creation, revision, and printing but not advanced or problematic operations (diskette maintenance, table formating). We did not want to eliminate errors (for example, by restricting the difficulty and therefore the challenge of learning; Skinner, 1958); rather we wanted to restrict the consequences of making errors. Our idea was to make initial learning more tractable, to help the learner focus on the simple operations and learn them well enough to be able to continue learning.

소프트웨어를 개발할 때는 처음 사용자만을 위해 만들지는 않습니다. 때문에 실행했을때 기본적인 기능과 고급 기능이 같이 노출됩니다. 최근에는 사용자에 따라 다른 UI나 메뉴를 제공하는 소프트웨어도 있지만, 이 당시에는 그런 기술이 어려웠을 겁니다.

It is important to contrast the design of the Training Wheels interface with on line tutorials like LisaGuide. Tutorials often do not support, indeed do not allow, working on real tasks. They rely instead on rote exercises and verbal reinforcement for correct performance. However, learners jumble the steps, try to execute summaries and reviews, or just try things out on their own, only to discover that the tutorial provides a very infelicitous, partial simulation of the system it was designed to train. Even if the learners succeed, they are often unsatisfied with the hollow rewards. Our guiding view was that accomplishing a real task is its own reward.

Training Wheels을 개발한 것은 LisaGuide의 문제를 보완하기 위한 것이었습니다. LisaGuide는 단지 주어진 절차에 따라 목적지에 갈 수 있는 기능만 있고 실제적인 작업은 할 수 없었습니다. 하지만 Training Wheels은 실제 소프트웨어 코드를 사용하기 때문에 일부 기능 제약이 있고 추가적인 메시지가 제공될 뿐 실제 작업을 할 수 있는 독립적인 소프트웨어였습니다.

Office temporary personnel often work in a particular office for only one or two days. It isn't reasonable to expect them to master the local system, yet they may need to use the system to some extent in order to take phone messages, for example.

이 당시 문서를 작성하는 일은 정규직보다는 파견 형태로 일하는 경우가 많았나 봅니다. 하루나 이틀 일하는 임시직을 위한 업무 교육에 많은 시간을 투자할 수는 없습니다. 때문에 빠르게 학습하고 바로 일을 할 수 있는 교육 방식이 필요했습니다.

It is notable in general that performance in this experiment was substantially better than that in the first two experiments. One difference was that the learners in this experiment started their learning with a single guided exploration card, whereas those in the other experiments used a 12 page version of the Minimal Manual. Thus, this difference in part may be reflecting the advantage of extremely brief task oriented training materials. (It is also possible that during the two years that elapsed between the second and third experiments, there was a significant general development in computer literacy in the population of temporary clericals whom we studied.)

연구 조사 기간이 길어지면서 컴퓨터에 대한 일반적인 지식 수준이 높아지면서 일부 조사 결과에 영향을 미칠 수도 있었다는 이야기입니다. 그 부분에 대한 명확한 근거는 제시되지 않았습니다.

8. Task Intelligence

사용자가 실제 과제를 더 효과적으로 수행할 수 있도록 인공지능 등 첨단 기술을 활용해 시스템이 작업 맥락을 이해하고, 학습자의 목표와 단계에 맞춘 지능형 안내와 지원을 제공하는 '과제 지능(Task Intelligence)' 개념의 필요성과 구현 방안, 그리고 다양한 실험 사례를 제시합니다.

An intriguing candidate of this sort is artificial intelligence (AI) technology, which allows computer systems to learn, reason, and recognize and thereby to respond to human users more helpfully and more appropriately. From our minimalist perspective, we were particularly interested in systems with "task intelligence," systems that "know" about the tasks learners already understand, and use this knowledge to help guide learning.

최근 구글에서 비슷한 과제를 실제 진행했습니다. 하지만, 아직은 대중적인 확장은 이르지 못하고 있습니다.
Learn Your Way: 생성형 AI로 교과서를 재구성하기 (research.google)
https://news.hada.io/topic?id=23178
https://research.google/blog/learn-your-way-reimagining-textbooks-with-generative-ai/

We deliberately bounded SmartHelp's intelligence in what we thought was a reasonable way: it knew about the application function and the user task domain but not about the specific tasks we had suggested to our participants or about a given participant's knowledge and skill. In some cases, participants became distracted by SmartHelp itself, drawn into a meta dialogue with the system instead of merely regarding it as a task transparent tool.

아마도 사용자는 SmartHelp를 ChatGPT와 같은 도구로 생각했나 봅니다. ChatGPT도 사용자의 지식과 기술에 대해서는 제한적으로 알고 있지만, 지능 자체를 제한하지는 않으니깐요. Cloudflare에서는 개발자가 사용하는 CLI 도구에 AI를 활용한 대화형 프롬프트를 제공하는데, 사용자의 만족도가 높다고 합니다.
https://youtu.be/IcxUga6ZJLY?si=VBUbvpJh_GUqcLi_

9. Developing Minimalist Technology

미니멀리스트 교육 기술이 기존의 '지식 주입' 방식 대신, 사용자의 기존 지식과 실제 과제 경험을 적극적으로 활용하는 설계적, 상호작용적 접근법으로 발전해야 한다고 강조하며, 이러한 원칙이 실제 제품 개발, 협업, 도구 활용, 사례 연구를 통해 현실적으로 구현될 수 있음을 다양한 실험과 분석을 통해 뒷받침합니다.

The Using Displaywrite 2 educational package also followed our work in delivering training by the meaningful task situation of typing and printing letters (indeed, the first three topic chapters were creating, printing, and revising, just as in the Minimal Manual).

저자들의 초기 연구는 Displaywrite의 다음 버전에 많은 부분이 반영되었다고 합니다. 매뉴얼이 아니라 실제 소프트웨어의 인터페이스를 개선해서 사용자가 혼란에 빠질 수 있는 부분을 일부 해소하고 있습니다.

The approach has been quite successful for BNR. In field trials, they found that 78 percent of their users read the card through; the comparison figure for standard materials is no higher than 30 percent. Moreover, 90 percent of the users claimed that the cards were as good as or better than standard materials and as complete. Even in cases for which there were backup manuals, half of the users relied only on the card. During the development process, they found it was easier to get useful feedback in field trials because people really were reading and using the materials. Their cards cost about a fifth as much to produce as standard materials.

정확하게 어떤 형식인지 모르겠지만, 업무용 전화기에 대한 가이드를 이전에는 책자 형태로 제공했는데 필요한 기능에 대한 설명을 최소화해서 카드 형태(요즘 나오는 빠른 시작 가이드 같은)로 제공했더니 사용자의 만족도가 높았고 제작 비용도 줄었다는 이야기입니다. 또한 문서 형태가 아닌 쉽게 읽을 수 있는 짧은 카드 형식이라서 내부 사용자의 피드백도 더 많이 받을 수 있었습니다.
https://www.ebay.com/itm/224394999047