Biến Đổi Theo Từng Đặc Trưng

Một họ cơ chế điều kiện hóa đơn giản nhưng hiệu quả đáng ngạc nhiên.

Nhiều bài toán trong thế giới thực đòi hỏi ta phải tích hợp nhiều nguồn thông tin. Đôi khi các bài toán đó liên quan đến nhiều dạng thông tin khác nhau như thị giác, ngôn ngữ, âm thanh, v.v., chẳng hạn để hiểu một cảnh trong phim hoặc trả lời câu hỏi về một ảnh. Những lúc khác, chúng liên quan đến nhiều nguồn đầu vào cùng loại, như khi tóm tắt nhiều tài liệu hoặc vẽ một ảnh theo phong cách của một ảnh khác.

Video and audio must be understood in the context of each other to understand the scene. Credit: still frame from the movie Charade. "Are you sure there's no mistake?" An image needs to be processed in the context of a question being asked. Credit: image-question pair from the CLEVR dataset. Are there an equalnumber of largethings and metalspheres?

Khi tiếp cận những bài toán như vậy, ta thường nên xử lý một nguồn thông tin trong ngữ cảnh của nguồn khác; ví dụ ở hình bên phải phía trên, ý nghĩa của ảnh được rút ra trong ngữ cảnh của câu hỏi. Trong học máy, cách xử lý dựa trên ngữ cảnh này thường được gọi là điều kiện hóa: phép tính mà mô hình thực hiện được điều kiện hóa, hay được điều biến, bởi thông tin trích xuất từ một đầu vào phụ trợ.

Tìm một cách hiệu quả để điều kiện hóa hoặc hợp nhất các nguồn thông tin vẫn là một bài toán nghiên cứu mở. Trong bài viết này, chúng tôi tập trung vào một họ phương pháp cụ thể gọi là biến đổi theo từng đặc trưng. Chúng ta sẽ xem các biến đổi này xuất hiện trong nhiều kiến trúc mạng nơ-ron để giải một tập bài toán rất rộng và đa dạng; chúng tôi cho rằng thành công đó đến từ việc chúng đủ linh hoạt để học một biểu diễn hữu ích của đầu vào điều kiện trong nhiều bối cảnh khác nhau. Theo ngôn ngữ của học đa nhiệm, khi tín hiệu điều kiện được xem là mô tả nhiệm vụ, các biến đổi theo từng đặc trưng học một biểu diễn nhiệm vụ cho phép chúng nắm bắt và khai thác quan hệ giữa nhiều nguồn thông tin, kể cả trong những thiết lập bài toán rất khác nhau.

Biến đổi theo từng đặc trưng

Để tạo động lực cho biến đổi theo từng đặc trưng, ta bắt đầu bằng một ví dụ cơ bản, trong đó hai đầu vào lần lượt là ảnh và nhãn lớp. Trong ví dụ này, ta muốn xây dựng một mô hình sinh ảnh cho nhiều lớp khác nhau như chó con, thuyền, máy bay, v.v. Mô hình nhận một lớp cùng một nguồn nhiễu ngẫu nhiên, chẳng hạn một vector lấy mẫu từ phân phối chuẩn, rồi xuất ra một mẫu ảnh thuộc lớp được yêu cầu.

A decoder-basedgenerative model maps a source of noise to a sample in the context of the "puppy" class. noise"puppy"decoder

Trực giác đầu tiên có thể là xây một mô hình riêng cho từng lớp. Với số lớp nhỏ, đây không phải là lời giải quá tệ; nhưng với hàng nghìn lớp, ta nhanh chóng gặp vấn đề mở rộng vì số tham số cần lưu và huấn luyện tăng theo số lớp. Ta cũng bỏ lỡ cơ hội tận dụng điểm chung giữa các lớp; chẳng hạn nhiều loại chó khác nhau chia sẻ các đặc trưng thị giác và rất có thể chia sẻ một phần phép tính khi ánh xạ từ vector nhiễu trừu tượng sang ảnh đầu ra.

Giờ hãy tưởng tượng rằng ngoài các lớp khác nhau, ta còn cần mô hình hóa các thuộc tính như kích thước hoặc màu sắc. Trong trường hợp này, ta không thể kỳ vọng huấn luyện một mạng riêng cho từng tổ hợp điều kiện có thể có. Hãy xem xét vài lựa chọn đơn giản.

Một cách sửa nhanh là nối biểu diễn của thông tin điều kiện vào vector nhiễu và xem kết quả là đầu vào của mô hình. Cách này khá tiết kiệm tham số vì ta chỉ cần tăng kích thước ma trận trọng số của tầng đầu tiên. Tuy nhiên, nó ngầm giả định rằng đầu vào là nơi mô hình cần dùng thông tin điều kiện. Giả định này có thể đúng, nhưng cũng có thể sai; có lẽ mô hình chỉ cần đưa thông tin điều kiện vào rất muộn trong quá trình sinh, ví dụ ngay trước khi tạo pixel cuối cùng khi điều kiện hóa theo kết cấu. Khi đó, ta buộc mô hình phải mang thông tin này qua nhiều tầng mà không thay đổi.

Vì thao tác này rẻ, ta có thể tránh giả định như trên và nối biểu diễn điều kiện vào đầu vào của mọi tầng trong mạng. Ta gọi cách này là điều kiện hóa dựa trên phép nối.

Concatenation-based conditioning simply concatenates the conditioning representation to the input. The result is passed through a linear layer to produce the output. input conditioningrepresentationconcatenatelinear output

Một cách hiệu quả khác để đưa thông tin điều kiện vào mạng là thiên lệch có điều kiện, tức cộng một vector thiên lệch vào các tầng ẩn dựa trên biểu diễn điều kiện.

Conditional biasing first maps the conditioning representation to a bias vector. The bias vector is then added to the input. inputoutputconditioningrepresentationlinear

Điều thú vị là thiên lệch có điều kiện có thể được xem như một cách khác để hiện thực điều kiện hóa dựa trên phép nối. Hãy xét một tầng tuyến tính đầy đủ áp dụng lên phép nối của đầu vào x và biểu diễn điều kiện z. Lập luận tương tự cũng áp dụng cho mạng tích chập nếu ta bỏ qua hiệu ứng biên do đệm bằng số không.

Concatenation-based conditioning is equivalent to conditional biasing. We can decompose the matrix- vector product into two matrix- vector subproducts. We can then add the resulting two vectors. The z-dependent vector is a conditional bias. Wxzxzconditional bias

Một cách hiệu quả nữa để đưa thông tin lớp vào mạng là co giãn có điều kiện, tức co giãn các tầng ẩn dựa trên biểu diễn điều kiện.

Conditional scaling first maps the conditioning representation to a scaling vector. The scaling vector is then multiplied with the input. inputoutputconditioningrepresentationlinear

Một trường hợp đặc biệt của co giãn có điều kiện là cổng sigmoid theo từng đặc trưng: ta nhân mỗi đặc trưng với một giá trị từ 0 đến 1, được ràng buộc bằng hàm logistic, như một hàm của biểu diễn điều kiện. Trực giác là cơ chế cổng này cho phép thông tin điều kiện chọn đặc trưng nào được truyền tiếp và đặc trưng nào bị đưa về không.

Vì cả tương tác cộng và tương tác nhân đều tự nhiên và dễ hiểu, ta nên chọn cách nào? Một lập luận ủng hộ tương tác nhân là chúng hữu ích khi học quan hệ giữa các đầu vào, vì chúng tự nhiên nhận diện các “khớp nối”: nhân các phần tử cùng dấu cho giá trị lớn hơn nhân các phần tử trái dấu. Đây là lý do tích vô hướng thường được dùng để đo độ giống nhau giữa hai vector. Tương tác nhân cũng rất nổi bật trong các cơ chế cổng, nơi tín hiệu điều kiện được dùng để bật hoặc tắt các đặc trưng.

Theo tinh thần đưa vào càng ít giả định về bài toán càng tốt, ta có thể kết hợp cả hai thành một biến đổi affine có điều kiện. Biến đổi affine có dạng y = m * x + b.

Tất cả các phương pháp trên có điểm chung là chúng tác động ở cấp độ đặc trưng; nói cách khác, chúng khai thác tương tác theo từng đặc trưng giữa biểu diễn điều kiện và mạng được điều kiện hóa. Dĩ nhiên có thể dùng các tương tác phức tạp hơn, nhưng tương tác theo từng đặc trưng thường là một thỏa hiệp tốt giữa hiệu quả và chi phí: số hệ số co giãn hoặc dịch chuyển cần dự đoán chỉ tăng tuyến tính theo số đặc trưng trong mạng. Ngoài ra, trong mạng tích chập, cùng một hệ số có thể được dùng lại trên mọi vị trí không gian của một bản đồ đặc trưng.

Cuối cùng, các biến đổi này chỉ áp đặt một thiên kiến quy nạp hạn chế và không phụ thuộc miền dữ liệu. Đây có thể là điểm yếu, vì một số bài toán dễ hơn nếu có thiên kiến quy nạp mạnh hơn. Nhưng chính đặc tính này cũng khiến chúng có hiệu quả rộng rãi trên nhiều miền bài toán, như ta sẽ xem ở phần sau.

Thuật ngữ

Để tiếp tục thảo luận về biến đổi theo từng đặc trưng, ta cần trừu tượng hóa khác biệt giữa tương tác nhân và tương tác cộng. Không mất tính tổng quát, hãy tập trung vào các biến đổi affine theo từng đặc trưng và dùng thuật ngữ của Perez và cộng sự, vốn hình thức hóa các biến đổi affine có điều kiện dưới tên viết tắt FiLM, nghĩa là Feature-wise Linear Modulation. Nói thật chặt chẽ, “linear” không hoàn toàn chính xác vì ta cho phép thiên lệch, nhưng hy vọng độc giả ưa hình thức sẽ bỏ qua cho cách gọi này.

Ta nói một mạng nơ-ron được điều biến bằng FiLM, hay được FiLM hóa, sau khi chèn các tầng FiLM vào kiến trúc của nó. Các tầng này được tham số hóa bởi một dạng thông tin điều kiện, và ánh xạ từ thông tin điều kiện sang tham số FiLM, tức các hệ số dịch chuyển và co giãn, được gọi là bộ sinh FiLM. Nói cách khác, bộ sinh FiLM dự đoán tham số của các tầng FiLM dựa trên một đầu vào phụ trợ. Lưu ý rằng tham số FiLM là tham số trong một mạng, nhưng bản thân chúng là đầu ra của một mạng khác hoặc một thủ tục khác.

The FiLM generator processes the conditioning information and produces parameters that describe how the target network should alter its computation. Here, the FiLM-ed network's computation is conditioned by two FiLM layers. outputsub-networkFiLMsub-networkFiLMsub-networkinputconditioningFiLM generatorFiLM parameters

Như tên gọi gợi ý, một tầng FiLM áp dụng biến đổi affine theo từng đặc trưng lên đầu vào. “Theo từng đặc trưng” nghĩa là co giãn và dịch chuyển được áp dụng theo từng phần tử; trong mạng tích chập, là theo từng bản đồ đặc trưng. Nói rõ hơn ở trường hợp tích chập, các bản đồ đặc trưng có thể được xem là cùng một bộ phát hiện đặc trưng được đánh giá tại nhiều vị trí không gian khác nhau, nên áp dụng cùng một biến đổi affine cho mọi vị trí là hợp lý.

In a fully-connected network, FiLM applies a different affine transformation to each feature. First, each feature (or channel) is scaled by the corresponding γ parameter. Then, each feature (or channel) is shifted by the corresponding β parameter. γβ In a convolutional network, FiLM applies a different affine transformation to each channel, consistent across spatial locations. γβ

Ngoài việc là một trừu tượng tốt cho các biến đổi có điều kiện theo từng đặc trưng, thuật ngữ FiLM cũng rất phù hợp với khái niệm biểu diễn nhiệm vụ. Từ góc nhìn học đa nhiệm, ta có thể xem tín hiệu điều kiện là mô tả nhiệm vụ. Cụ thể hơn, phép nối tất cả hệ số co giãn và dịch chuyển của FiLM vừa là chỉ dẫn về cách điều biến mạng được FiLM hóa, vừa là biểu diễn của nhiệm vụ hiện tại. Ta sẽ minh họa ý tưởng này ở phần sau.

Biến đổi theo từng đặc trưng trong tài liệu nghiên cứu

Biến đổi theo từng đặc trưng xuất hiện trong nhiều phương pháp cho nhiều thiết lập bài toán, nhưng vì quá đơn giản nên hiệu quả của chúng thường ít được nhấn mạnh so với các đóng góp mới khác. Dưới đây là một số ví dụ đáng chú ý trong tài liệu, được nhóm theo miền ứng dụng. Sự đa dạng này cho thấy khả năng linh hoạt, tổng quát của tương tác theo từng đặc trưng trong việc học các biểu diễn nhiệm vụ hiệu quả.

Perez và cộng sự dùng các tầng FiLM để xây dựng một mô hình suy luận thị giác, được huấn luyện trên bộ CLEVR để trả lời các câu hỏi nhiều bước, có tính tổ hợp, về ảnh tổng hợp.

The linguistic pipeline acts as the FiLM generator. FiLM layers in each residual block modulate the visualpipeline. feature extractorsub-networkFiLM layerReLU Each residual block has a FiLM layer added to it. sub-networkFiLM layer...linearFiLM parametersAreGRUthereGRUmoreGRUcubesGRUthanGRUyellowGRUthingsGRU

Nhánh ngôn ngữ của mô hình là một bộ sinh FiLM: nó trích xuất biểu diễn câu hỏi rồi ánh xạ tuyến tính biểu diễn đó thành các giá trị tham số FiLM. Dùng các giá trị này, các tầng FiLM được chèn vào từng khối residual để điều kiện hóa nhánh thị giác. Mô hình được huấn luyện đầu-cuối trên các bộ ba ảnh-câu hỏi-câu trả lời. Sau đó, Strub và cộng sự cải thiện mô hình bằng một cơ chế chú ý luân phiên giữa đầu vào ngôn ngữ và việc sinh tham số FiLM theo từng tầng.

de Vries và cộng sự tận dụng FiLM để điều kiện hóa một mạng đã huấn luyện trước. Nhánh ngôn ngữ của mô hình điều biến nhánh thị giác thông qua chuẩn hóa batch có điều kiện, có thể xem là một trường hợp đặc biệt của FiLM. Mô hình học trả lời câu hỏi ngôn ngữ tự nhiên về ảnh thế giới thực trên các bộ GuessWhat?! và VQAv1.

The linguistic pipeline acts as the FiLM generator and also directly passes the question representation to the rest of the network. FiLM layers modulate the pre- trained visual pipeline by making the batch normalization parameters query-dependent. sub-networknormalizationFiLM layersub-networknormalizationFiLM layer... conditional batch normalization conditional batch normalization MLPFiLM parameters...IsLSTMtheLSTMumbrellaLSTMupsideLSTMdownLSTM

Nhánh thị giác gồm một mạng residual đã huấn luyện trước và được giữ cố định trong suốt huấn luyện. Nhánh ngôn ngữ thao tác trên nhánh thị giác bằng cách nhiễu chỉnh các tham số chuẩn hóa batch của mạng residual, vốn co giãn và dịch lại các bản đồ đặc trưng sau khi activation đã được chuẩn hóa về trung bình bằng không và phương sai đơn vị. Như đã gợi ý, chuẩn hóa batch có điều kiện có thể được xem là một dạng FiLM.

Dumoulin và cộng sự dùng biến đổi affine theo từng đặc trưng, dưới dạng các tầng chuẩn hóa instance có điều kiện, để điều kiện hóa một mạng chuyển phong cách theo ảnh phong cách được chọn. Tương tự chuẩn hóa batch có điều kiện, chuẩn hóa instance có điều kiện có thể được xem là một dạng FiLM, trong đó tầng FiLM thay thế phép biến đổi affine theo từng đặc trưng sau chuẩn hóa.

The FiLM generator predicts parameters describing the target style. The style transfer network is conditioned by making the instance normalization parameters style-dependent. FiLM generatorFiLM parameterssub-networknormalizationFiLM layersub-networknormalizationFiLM layer... conditional instance normalization conditional instance normalization

Dumoulin và cộng sự dùng tra cứu embedding đơn giản để tạo tham số chuẩn hóa instance, còn Ghiasi và cộng sự đưa thêm một mạng dự đoán phong cách, được huấn luyện cùng mạng chuyển phong cách để dự đoán trực tiếp các tham số điều kiện từ ảnh phong cách. Trong bài viết này, chúng tôi dùng thuật ngữ FiLM vì nó tách khỏi thao tác chuẩn hóa, dù các tầng FiLM của Perez và cộng sự chịu ảnh hưởng mạnh từ các tầng chuẩn hóa có điều kiện.

Yang và cộng sự dùng một kiến trúc liên quan cho phân đoạn đối tượng trong video: nhiệm vụ phân đoạn một đối tượng cụ thể xuyên suốt video khi biết phân đoạn của đối tượng đó ở khung đầu tiên. Mô hình điều kiện hóa mạng phân đoạn ảnh trên một khung video bằng phân đoạn khung đầu tiên qua các hệ số co giãn theo từng đặc trưng, đồng thời dùng khung trước đó qua các thiên lệch theo vị trí.

Đến đây, các mô hình ta đã xem đều có hai mạng con: một mạng chính nơi các biến đổi theo từng đặc trưng được áp dụng, và một mạng phụ xuất tham số cho các biến đổi đó. Tuy nhiên, ranh giới giữa mạng được FiLM hóa và bộ sinh FiLM không bắt buộc phải tồn tại. Ví dụ, Huang và Belongie đề xuất một mạng chuyển phong cách thay thế dùng các tầng chuẩn hóa instance thích nghi, trong đó tham số chuẩn hóa được tính bằng một heuristic đơn giản.

The model processes content and style images up to the adaptive instance normalization layer. FiLM parameters are computed as the spatial mean and standard deviation statistics of the style feature maps. The FiLM-ed feature maps are fed to the remainder of the network to produce the stylized image. sub-networksub-networkγ, β acrossspatial axesFiLMparametersnormalizationFiLM layer adaptive instance normalization sub-network

Chuẩn hóa instance thích nghi có thể được hiểu là chèn một tầng FiLM vào giữa mô hình. Tuy nhiên, thay vì dựa vào một mạng phụ để dự đoán tham số FiLM từ ảnh phong cách, chính mạng chính được dùng để trích xuất đặc trưng phong cách rồi tính tham số FiLM. Vì vậy, mô hình có thể được xem vừa là mạng được FiLM hóa vừa là bộ sinh FiLM.

Như đã thảo luận ở các phần trước, không có gì ngăn ta xem chính activation của một mạng nơ-ron là thông tin điều kiện. Ý tưởng này dẫn đến các mô hình tự điều kiện hóa.

The FiLM generator predicts FiLM parameters conditioned on the network's internal activations. An arbitrary input vector (or feature map) modulates downstream activations. inputsub-networkFiLM layerFiLM generatoroutput

Highway Networks là ví dụ tiêu biểu cho nguyên lý tự điều kiện hóa này. Chúng lấy cảm hứng từ việc LSTM dùng rất nhiều cổng sigmoid theo từng đặc trưng trong các cổng đầu vào, quên và đầu ra để điều tiết luồng thông tin.

inputsub-networksigmoidal layer1 - xoutput

Mô hình thắng ImageNet 2017 cũng dùng cổng sigmoid theo từng đặc trưng theo kiểu tự điều kiện hóa, như một cách “hiệu chỉnh lại” activation của một tầng dựa trên chính chúng.

The squeeze-and-excitation block uses sigmoidal gating. First, the network maps input feature maps to a gating vector. The gating vector is then multiplied with the input feature maps. inputoutputglobal poolingReLU layersigmoidal layer

Trong mô hình hóa ngôn ngữ thống kê, tức dự đoán từ tiếp theo trong câu, LSTM là một lớp kiến trúc mạng hồi quy phổ biến. LSTM dựa nhiều vào cổng sigmoid theo từng đặc trưng để kiểm soát luồng thông tin đi vào và đi ra khỏi ô nhớ hay ô ngữ cảnh c, dựa trên trạng thái ẩn h và đầu vào x tại mỗi bước thời gian t.

ct-1tanhcthtsigmoidsigmoidtanhsigmoidlinearlinearlinearlinearht-1xtconcatenate

Cũng trong mô hình hóa ngôn ngữ, Dauphin và cộng sự dùng cổng sigmoid trong gated linear unit mà họ đề xuất: một nửa đặc trưng đầu vào được dùng để áp dụng cổng sigmoid theo từng đặc trưng lên nửa còn lại. Gehring và cộng sự kế thừa đặc điểm kiến trúc này để giới thiệu một mô hình dịch máy nhanh, song song hóa được, dưới dạng mạng tích chập hoàn toàn.

The gated linear unit activation function uses sigmoidal gating. Half of the input features go through a sigmoid function to produce a gating vector. The gating vector is then multiplied with the second half of the features. inputsigmoidoutput

Gated-Attention Reader dùng co giãn theo từng đặc trưng để trích xuất thông tin từ văn bản bằng cách điều kiện hóa một mạng đọc tài liệu trên truy vấn. Kiến trúc gồm nhiều mô-đun Gated-Attention, với các phép nhân theo từng phần tử giữa token biểu diễn tài liệu và các biểu diễn truy vấn đặc thù cho từng token, được trích xuất bằng chú ý mềm trên các token biểu diễn truy vấn.

Dhingra et al. use conditional scaling to integrate query information into a document processing network. Applying soft attention to the query representation tokens produces the scaling vector. The scaling vector is then multiplied with the input document representation tokendocumentrepresentationtokenoutputtokenqueryrepresentationtokenssoft attention

Kiến trúc Gated-Attention dùng cổng sigmoid theo từng đặc trưng để hợp nhất thông tin ngôn ngữ và thị giác trong một tác tử được huấn luyện để làm theo các chỉ dẫn ngôn ngữ đơn giản kiểu “đi đến” trong môi trường 3D VizDoom.

Chaplot et al. use sigmoidal gating as a multimodal fusion mechanism. An instruction representation is mapped to a scaling vector via a sigmoid layer. The scaling vector is then multiplied with the input feature maps. A policy network uses the result to decide the next action. inputoutputinstructionrepresentationsigmoid

Bahdanau và cộng sự dùng các tầng FiLM để điều kiện hóa Neural Module Network và các chính sách dựa trên LSTM nhằm làm theo các chỉ dẫn ngôn ngữ cơ bản, có tính tổ hợp, trong một thế giới lưới 2D. Họ huấn luyện chính sách này theo cách đối kháng bằng phần thưởng từ một mạng khác dựa trên FiLM, được huấn luyện để phân biệt trạng thái thực hiện đúng chỉ dẫn với các quỹ đạo thất bại của chính sách.

Ngoài bài toán làm theo chỉ dẫn, Kirkpatrick và cộng sự cũng dùng co giãn và thiên lệch đặc thù theo trò chơi để điều kiện hóa một mạng chính sách chung, được huấn luyện để chơi 10 trò Atari khác nhau.

Biến thể có điều kiện của DCGAN, một kiến trúc mạng quen thuộc cho mạng đối kháng sinh, dùng điều kiện hóa dựa trên phép nối. Nhãn lớp được broadcast thành một bản đồ đặc trưng rồi được nối vào đầu vào của các tầng tích chập và tích chập chuyển vị trong mạng phân biệt và mạng sinh.

Concatenation-based conditioning is used in the class-conditional DCGAN model. Each convolutional layer is concatenated with the broadcased label along the channel axis. The resulting stack of feature maps is then convolved to produce the conditioned output. inputconcatenateinputclass labelconvolutionoutputbroadcastclass label

Với các tầng tích chập, điều kiện hóa dựa trên phép nối buộc mạng học các tham số tích chập dư thừa để diễn giải từng bản đồ đặc trưng điều kiện hằng; vì vậy, áp dụng trực tiếp thiên lệch có điều kiện tiết kiệm tham số hơn, dù hai cách vẫn tương đương về mặt toán học.

PixelCNN và WaveNet, hai tiến bộ gần đây trong mô hình sinh tự hồi quy cho ảnh và âm thanh, dùng thiên lệch có điều kiện. Dạng điều kiện hóa đơn giản nhất trong PixelCNN cộng thiên lệch theo từng đặc trưng vào mọi đầu ra tầng tích chập. Theo ngôn ngữ FiLM, thao tác này tương đương chèn tầng FiLM sau mỗi tầng tích chập và đặt hệ số co giãn bằng hằng số 1. Các tác giả cũng mô tả một cơ chế thiên lệch phụ thuộc vị trí, không thể biểu diễn bằng FiLM thuần túy.

PixelCNN uses conditional biasing. The model first maps a high-level image description to a bias vector. Then, it adds the bias vector to the input stack of feature maps to condition convolutional layers. inputoutputimagedescriptionlinear

WaveNet mô tả hai cách mà thiên lệch có điều kiện cho phép thông tin bên ngoài điều biến quá trình sinh âm thanh hoặc tiếng nói dựa trên đầu vào điều kiện:

  1. Global conditioning applies the same conditional bias to the whole generated sequence and is used e.g. to condition on speaker identity.
  2. Local conditioning applies a conditional bias which varies across time steps of the generated sequence and is used e.g. to let linguistic features in a text-to-speech model influence which sounds are produced.

Như trong PixelCNN, điều kiện hóa trong WaveNet có thể được xem là chèn các tầng FiLM sau mỗi tầng tích chập. Khác biệt chính nằm ở cách định nghĩa mạng sinh FiLM: điều kiện hóa toàn cục biểu diễn mạng sinh FiLM như một tra cứu embedding được broadcast lên toàn bộ chuỗi thời gian, còn điều kiện hóa cục bộ biểu diễn nó như một ánh xạ từ chuỗi đầu vào thông tin điều kiện sang chuỗi đầu ra tham số FiLM.

Kim và cộng sự điều biến một LSTM hai chiều sâu bằng một dạng chuẩn hóa có điều kiện. Như đã thảo luận ở các phần trả lời câu hỏi thị giác và chuyển phong cách, chuẩn hóa có điều kiện có thể được xem là một dạng FiLM, trong đó phép biến đổi affine theo từng đặc trưng sau chuẩn hóa được thay bằng tầng FiLM.

Kim et al. achieve speaker adaptation by adapting the usual LSTM architecture to condition its various gates on an utterance summarization. ct-1tanhcthtsigmoidsigmoidtanhsigmoidht-1 utterance summarization xt Each gate uses FiLM to condition on the utterancesummarization. linearnormalizationFiLMlinearnormalizationFiLMht-1xtFiLM generator utterance summarization

Điểm khác biệt chính ở đây là tín hiệu điều kiện không đến từ nguồn bên ngoài, mà từ các vector đặc trưng tóm tắt phát ngôn được trích xuất trong từng tầng để thích nghi mô hình.

Trong thích nghi miền, Li và cộng sự thấy rằng việc cập nhật thống kê chuẩn hóa batch theo từng kênh, gồm trung bình và phương sai, của một mạng đã huấn luyện trên miền nguồn bằng thống kê của mạng đó trên miền đích là rất hiệu quả. Như đã nói ở phần chuyển phong cách, thao tác này gần với việc dùng mạng vừa làm bộ sinh FiLM vừa làm mạng được FiLM hóa. Đáng chú ý, cách này cùng với chuẩn hóa instance thích nghi có ưu điểm là không cần thêm tham số huấn luyện.

Trong học ít mẫu, Oreshkin và cộng sự khảo sát việc dùng các tầng FiLM để tăng độ vững trước biến thiên phân phối đầu vào giữa các episode học ít mẫu. Tập huấn luyện của một episode được dùng để tạo tham số FiLM, rồi các tham số này điều biến bộ trích xuất đặc trưng trong quy trình meta-training của Prototypical Networks.

Ngoài các phương pháp trực tiếp dùng biến đổi theo từng đặc trưng, khung FiLM còn liên hệ rộng hơn với các phương pháp và khái niệm sau.

Ý tưởng học một biểu diễn nhiệm vụ có liên hệ mạnh với các cách tiếp cận học zero-shot. Trong học zero-shot, embedding nhiệm vụ theo ngữ nghĩa có thể được học từ thông tin bên ngoài rồi dùng để dự đoán các lớp không có ví dụ huấn luyện. Chẳng hạn, để tổng quát hóa sang các loại đối tượng chưa thấy trong phân loại ảnh, ta có thể xây dựng embedding nhiệm vụ ngữ nghĩa từ mô tả chỉ bằng văn bản và khai thác quan hệ dựa trên văn bản giữa các đối tượng để dự đoán lớp chưa quan sát.

Khái niệm một mạng phụ dự đoán tham số cho mạng chính cũng được minh họa rõ bởi HyperNetworks, vốn dự đoán trọng số cho cả tầng, ví dụ tầng mạng hồi quy. Từ góc nhìn này, bộ sinh FiLM là một HyperNetwork chuyên biệt, dự đoán các tham số FiLM của mạng được FiLM hóa. Khác biệt chính nằm ở số lượng và độ đặc thù của tham số được dự đoán: FiLM cần dự đoán ít tham số hơn nhiều so với HyperNetworks.

Có thể vạch ra một số điểm tương đồng giữa attention và FiLM, nhưng hai cơ chế hoạt động theo những cách khác nhau và cần được phân biệt rõ.

Attention computes a probability distribution over locations. Attention pools over locations. Attention summarizes the input into a vector. FiLM computes a scaling vector applied to the feature axis. FiLM conserves input dimensions. αΣ...(β omitted for clarity)γ

Khác biệt này xuất phát từ trực giác nền tảng khác nhau: attention giả định rằng những vị trí không gian hoặc bước thời gian cụ thể chứa thông tin hữu ích nhất, còn FiLM giả định rằng những đặc trưng hoặc bản đồ đặc trưng cụ thể chứa thông tin hữu ích nhất.

Nới rộng một chút, FiLM có thể được xem là một trường hợp đặc biệt của biến đổi song tuyến tính với các ma trận trọng số hạng thấp. Một biến đổi song tuyến tính định nghĩa quan hệ giữa hai đầu vào x và z cùng đặc trưng đầu ra thứ k, y_k, dưới dạng y_k = x^T W_k z. Lưu ý rằng với mỗi đặc trưng đầu ra y_k ta có một ma trận W_k riêng, nên toàn bộ tập trọng số tạo thành một mảng nhiều chiều.

Each element yk of the output vector y is the result of a distinct vector-matrix-vector product. This enables multiplicative interactions between any pair of elements of x and z. yxW1 zxW2 zxW3 zW1zW2zW3z

Nếu xem z là phép nối của các vector co giãn và dịch chuyển gamma và beta, và nếu bổ sung vào đầu vào x một đặc trưng có giá trị 1, như thường làm để biến một biến đổi tuyến tính thành biến đổi affine, ta có thể biểu diễn FiLM bằng một biến đổi song tuyến tính bằng cách đưa các phần tử thích hợp của ma trận trọng số về không:

FiLM computes elements of the output vector as yk = γk xk + βk. This can be expressed as a dot product between a 1-augmented x and a sparse vector containing γk and βk. (Shaded cells have a zero value.) The sparse vector is given by multiplying a low-rank weight matrix with the concatenation of γ and β. (Shaded cells again have a zero value.) y1xW1 z1xW2 z1xW3 zW111zγβW211zγβW311zγβ

Để xem một số ứng dụng của biến đổi song tuyến tính, hãy xem phần Ghi chú thư mục.

Thuộc tính của biểu diễn nhiệm vụ đã học

Như đã gợi ý, khi dùng góc nhìn FiLM, ta ngầm đưa vào khái niệm biểu diễn nhiệm vụ: mỗi nhiệm vụ, dù là một câu hỏi về ảnh hay một phong cách tranh cần bắt chước, tạo ra một tập tham số FiLM khác nhau thông qua bộ sinh FiLM; tập này có thể được hiểu là biểu diễn của nhiệm vụ theo cách nó điều biến mạng được FiLM hóa. Để hiểu rõ hơn các thuộc tính của biểu diễn này, hãy tập trung vào hai mô hình FiLM hóa được dùng trong hai thiết lập khá khác nhau:

Điểm khởi đầu là: ta có thấy mẫu hình nào trong các tham số FiLM như một hàm của mô tả nhiệm vụ không? Một cách trực quan hóa không gian tham số FiLM là vẽ gamma theo beta, trong đó mỗi điểm tương ứng với một mô tả nhiệm vụ cụ thể và một bản đồ đặc trưng cụ thể. Nếu tô màu mỗi điểm theo bản đồ đặc trưng mà nó thuộc về, ta quan sát được như sau:

FiLM parameters for 256 tasks and for 16 feature maps, chosen randomly. Visual reasoning model Style transfer model γβ Feature map γβ Feature map

Các đồ thị trên cho phép ta rút ra vài nhận xét thú vị. Thứ nhất, tham số FiLM gom cụm theo bản đồ đặc trưng trong không gian tham số, và vị trí cụm không đồng đều giữa các bản đồ đặc trưng. Hướng của các cụm này cũng không đồng đều: trục biến thiên chính có thể song song gamma, song song beta, hoặc chéo với nhiều góc khác nhau. Điều này gợi ý rằng biến đổi affine trong tầng FiLM không được điều biến theo một cách duy nhất và nhất quán.

Dù vậy, việc các cụm tham số này thường khá “đặc” có thể giúp giải thích vì sao mô hình chuyển phong cách của Ghiasi và cộng sự có thể nội suy phong cách: bất kỳ tổ hợp lồi nào của tham số FiLM cũng có khả năng tương ứng với một tham số hóa có ý nghĩa của mạng được FiLM hóa.

Style 1Style 2 w InterpolationContent Image

Ở một mức độ nào đó, khái niệm nội suy giữa các nhiệm vụ bằng tham số FiLM cũng có thể áp dụng trong thiết lập trả lời câu hỏi thị giác. Dùng mô hình của Perez và cộng sự, chúng tôi nội suy giữa tham số FiLM của mô hình cho hai cặp câu hỏi CLEVR. Ở đây, ta trực quan hóa các vị trí đầu vào chịu trách nhiệm cho các đặc trưng sau global max-pooling được đưa vào bộ phân loại đầu ra của nhánh thị giác:

What shape is the red thing left of the sphere? What shape is the red thing right of the sphere? How many brown things are there? How many yellow things are there?

Mạng dường như chuyển mềm vùng ảnh mà nó đang nhìn vào, dựa trên mô tả nhiệm vụ. Điều khá thú vị là các hành vi nội suy có ý nghĩa ngữ nghĩa này xuất hiện dù mạng không được huấn luyện để hành xử như vậy.

Bất chấp những điểm tương đồng giữa các thiết lập bài toán, ta cũng thấy các khác biệt định tính trong cách tham số FiLM gom cụm theo mô tả nhiệm vụ. Khác với mô hình chuyển phong cách, mô hình suy luận thị giác đôi khi có nhiều cụm con tham số FiLM cho cùng một bản đồ đặc trưng.

FiLM parameters of the visual reasoning model for 256 questions chosen randomly. Feature map 26 of the first FiLM layer. Feature map 76 of the first FiLM layer. γβγβ

Ít nhất, điều này có thể cho thấy FiLM học vận hành theo những cách phụ thuộc bài toán, và ta không nên kỳ vọng tìm được một lời giải thích thống nhất, độc lập với bài toán, cho thành công của FiLM trong việc điều biến các mạng được FiLM hóa. Có lẽ bản chất tổ hợp hoặc rời rạc của suy luận thị giác đòi hỏi mô hình triển khai nhiều chế độ vận hành rõ ràng hơn, điều ít cần thiết hơn trong chuyển phong cách.

Tập trung vào từng bản đồ đặc trưng có các cụm con, ta có thể thử suy ra các câu hỏi được nhóm lại như thế nào bằng cách tô màu các đồ thị phân tán theo loại câu hỏi.

FiLM parameters of the visual reasoning model for 256 questions chosen randomly. Feature map 26 of the first FiLM layer. Feature map 76 of the first FiLM layer. Question type γβγβ

Đôi khi một mẫu hình rõ ràng xuất hiện, như đồ thị bên phải, nơi các câu hỏi liên quan đến màu tập trung ở cụm phía trên bên phải: ta thấy câu hỏi thuộc loại Query color hoặc Equal color, hoặc chứa các khái niệm liên quan đến màu. Đôi khi khó kết luận hơn, như đồ thị bên trái, nơi các loại câu hỏi rải rác qua ba cụm.

Trong những trường hợp mà riêng loại câu hỏi không giải thích được sự gom cụm của tham số FiLM, ta có thể quay sang chính nội dung điều kiện để hiểu cơ chế đang diễn ra. Hãy nhìn thêm hai đồ thị: một cho bản đồ đặc trưng 26 như hình trước, và một cho bản đồ đặc trưng khác cũng có nhiều cụm con. Lần này, ta nhóm các điểm theo những từ xuất hiện trong câu hỏi tương ứng.

FiLM parameters of the visual reasoning model for 256 questions chosen randomly. Feature map 26 suggests an object position separation mechanism. Feature map 92 suggests an object material separation mechanism. Word in question γβγβ

Trong đồ thị bên trái, cụm con bên trái tương ứng với các câu hỏi về những đối tượng nằm phía trước các đối tượng khác, còn cụm con bên phải tương ứng với các câu hỏi về những đối tượng nằm phía sau. Ở đồ thị bên phải, ta thấy một số bằng chứng về sự tách biệt theo chất liệu: cụm con bên trái liên quan đến các đối tượng mờ và cao su, còn cụm con bên phải chứa câu hỏi về các đối tượng bóng hoặc kim loại.

Sự hiện diện của các cụm con trong mô hình suy luận thị giác cũng gợi ý rằng nội suy câu hỏi không phải lúc nào cũng đáng tin cậy, nhưng các cụm con này không ngăn ta thực hiện phép số học trên các biểu diễn câu hỏi, như Perez và cộng sự báo cáo.

The model incorrectly answers a question which involves an unseen combination of concepts (in bold). Rather than using the FiLM parameters of the FiLM generator, we can use those produced by combining questions with familiar combinations of concepts (in bold). This corrects the model's answer. Q: What is the blue big cylinder made of? Q ? Rubber ✘ QA : What is the blue big sphere made of? QB : What is the green big cylinder made of? QC : What is the green big sphere made of? QA+ QB- QC ?Metal ✔

Perez và cộng sự cho biết kiểu tương tự nhiệm vụ này không phải lúc nào cũng sửa được câu trả lời của mô hình, nhưng nó chỉ ra một điều thú vị về mạng được FiLM hóa: đôi khi mô hình sai không phải vì nó không thể tính đầu ra đúng, mà vì nó không tạo được tham số FiLM đúng cho mô tả nhiệm vụ. Điều ngược lại cũng có thể xảy ra: nếu tập nhiệm vụ dùng để huấn luyện chưa đủ phong phú, các nguyên thủy tính toán mà mạng được FiLM hóa học được có thể không đủ để giải nhiệm vụ mới.

Điều này chỉ ra sự tách biệt giữa các nguyên thủy tính toán mà mạng được FiLM hóa học được và các “công thức số” mà bộ sinh FiLM học được: khả năng tổng quát hóa của mô hình phụ thuộc cả vào khả năng phân tích các dạng mô tả nhiệm vụ mới lẫn việc nó đã học được các nguyên thủy tính toán cần thiết để giải những nhiệm vụ đó. Khái niệm tổng quát hóa nhiều mặt này được kế thừa trực tiếp từ góc nhìn học đa nhiệm của khung FiLM.

Giờ hãy quay lại các thuộc tính cấu trúc tổng thể của tham số FiLM đã quan sát. Sự tồn tại của cấu trúc này đã được Ghiasi và cộng sự cũng như Perez và cộng sự khảo sát, dù gián tiếp hơn, bằng cách áp dụng t-SNE lên các giá trị tham số FiLM.

t-SNE projection of FiLM parameters for many task descriptions.
Visual reasoning model Question type Reset pan / zoomStyle transfer model Artist name Reset pan / zoom

Phép chiếu bên trái lấy cảm hứng từ một phép chiếu tương tự của Perez và cộng sự cho mô hình suy luận thị giác huấn luyện trên CLEVR, cho thấy các câu hỏi nhóm theo loại câu hỏi. Phép chiếu bên phải lấy cảm hứng từ một phép chiếu tương tự của Ghiasi và cộng sự cho mạng chuyển phong cách. Nó không gom cụm nghệ sĩ gọn gàng như bên trái, điều này dễ hiểu vì phong cách của một nghệ sĩ có thể thay đổi lớn theo thời gian. Tuy nhiên, ta vẫn nhận ra những cấu trúc thú vị.

Rembrandt's Woman with aPink. Shishkin's Woman with a boyin the forest. Sketches by Rembrandt and Shishkin found in the same t-SNE cluster.

Tóm lại, cách mạng nơ-ron học sử dụng các tầng FiLM dường như thay đổi theo bài toán, theo đầu vào, và thậm chí theo từng đặc trưng; có vẻ không tồn tại một cơ chế duy nhất mà mạng dùng FiLM để điều kiện hóa phép tính. Chính sự linh hoạt này có thể giải thích vì sao các phương pháp liên quan đến FiLM thành công trên nhiều miền khác nhau.

Thảo luận

Nhìn về phía trước, vẫn còn nhiều câu hỏi chưa có lời giải. Những quan sát thực nghiệm này trên các kiến trúc dựa trên FiLM có tổng quát sang các cơ chế điều kiện hóa liên quan khác như thiên lệch có điều kiện, cổng sigmoid, HyperNetworks và biến đổi song tuyến tính không? Khi nào biến đổi theo từng đặc trưng vượt trội hơn các phương pháp có thiên kiến quy nạp mạnh hơn, và ngược lại? Một số nghiên cứu gần đây kết hợp biến đổi theo từng đặc trưng với các phương pháp có thiên kiến quy nạp mạnh hơn, có thể là một điểm cân bằng tối ưu.

Cuối cùng, việc chỉ thay đổi ở cấp độ đặc trưng mà vẫn có thể tích lũy thành các điều biến lớn và có ý nghĩa của mạng được FiLM hóa vẫn khiến chúng tôi rất ngạc nhiên; hy vọng các nghiên cứu tương lai sẽ đem lại lời giải thích sâu hơn. Còn hiện tại, đó là một câu hỏi gợi nhớ đến bí ẩn lớn hơn: làm thế nào mạng nơ-ron nói chung có thể ghép các phép toán đơn giản như nhân ma trận và phi tuyến theo từng phần tử thành các biến đổi có ý nghĩa ngữ nghĩa.

Ghi chú thư mục

Tương tác nhân đã thành công trên nhiều nhiệm vụ kể từ khi được giới thiệu trong thị giác dưới tên “mapping units” và “dynamic mappings” khoảng 40 năm trước. Các nhiệm vụ này gồm mô hình hóa ngôn ngữ theo ký tự, khử nhiễu ảnh, ước lượng tư thế, theo dõi, nhận dạng hành động, và rộng hơn là các nhiệm vụ liên quan đến quan hệ hoặc ghép khớp giữa các đầu vào, chẳng hạn giữa nhiều phương thức hoặc nhiều thời điểm.

Nhiều mô hình nằm trên phổ giữa FiLM và HyperNetworks:

Tenenbaum và Freeman lần đầu giới thiệu mô hình song tuyến tính trong cộng đồng thị giác để tách bạch tốt hơn các yếu tố tri giác tiềm ẩn. Họ muốn tách phong cách của ảnh khỏi nội dung của ảnh, lập luận rằng các mô hình tuyến tính cổ điển không đủ giàu để trích xuất tương tác phức tạp như vậy. Họ chứng minh hiệu quả bằng cách áp dụng vào nhận dạng nguyên âm nói và phân loại phông chữ zero-shot. Một số ứng dụng đáng chú ý gồm:

Lời cảm ơn

Bài viết này sẽ không thể có hình dạng hiện tại nếu thiếu những phản hồi thẳng thắn và xây dựng từ nhiều người ở nhiều tổ chức. Chúng tôi cảm ơn Chris Olah và Shan Carter từ nhóm biên tập Distill, cũng như Ludwig Schubert từ Google Brain, vì đã hào phóng dành thời gian và lời khuyên. Chúng tôi cũng cảm ơn Archy de Berker, Xavier Snelgrove, Pedro Oliveira Pinheiro, Alexei Nordell-Markovits, Masha Krol và Minh Dao từ Element AI vì các thảo luận và phản hồi hữu ích.

Thảo luận và phản biện

Phản biện 1 - Ẩn danh. Phản biện 2 - Ẩn danh. Phản biện 3 - Chris Olah.