星期五。見面

前言

論文速速讀系列是從今年四月開始，我開始寫一些論文的中文讀書筆記，還記得第一篇是[論文速速讀]ReZero is All You Need: Fast Convergence at Large Depth，之後發現儘管自己已經陸續產出了幾篇文章，可是好像都沒正式的跟大家介紹這系列文章的由來xD

所以這篇文章就是來講講這系列文章到底是什麼，以及我會和會想寫這些文章。

論文速速讀系列是什麼?

由於在AI領域每年總是有一些非常重大的突破和應用，如果跟不上潮流很有可能就會錯失許多機會。例如，對NLP領域熟悉的話你一定聽過2013年的word2vec、2014年開始流行的attention、2018年的Bert…這些很有名的技術。

還記得Bert剛出的時候我好像剛進碩士實驗室，當時只知道這個技術屌打了當時一堆NLP的研究，但我想也想不到兩年後Bert已經造成如此大的影響力，一堆基於Bert的變形應用在各大領域上都取得了非常優異的結果。

因此，我想要藉由這系列的文章讓自己能夠更加快速的了解AI的新技術和研究，同時逼迫自己看論文xD

本文記錄了自己在上課時所記錄的一些課程筆記，可以透過這邊文章連結到所有以往發過的課程筆記文章。

最近因為研究需要，開始學習如何透過Python將一個PE file的程式碼部分給反組譯成組合語言，以下很快地紀錄整個過程，由於對於資安逆向工程還沒有很熟悉，如果有錯誤還請指正。

PE file，全名又稱The Portable Executable，是一種可以在Windows作業系統下被執行的檔案格式(順帶一提Linux下似乎是ELF)，檔案結構大概長下面這個樣子(圖片來源)：

這篇是之前自己在學習NLP的attention筆記，整理了網路上不少覺得不錯的資源分享給大家，會從Seq2seq開始，講述attention基本的概念，並如何利用attention融合在seq2seq，最後在講述NLP無人不知無人不曉的”Attention is all you need”這篇的概念(Transfromer)。

最近在看學習transformer的相關介紹，再transformer中，對於input($x$)的embedding($a$)會再加上一個position encoding($e$)，目的是為了使model可以學習到句子的位置資訊，也就是：

前言

在研究所生涯中，實習和預聘都面試過聯發科，聯發科是我最想去的公司前三名，但面試過程也是所有面試過的公司內最讓我疲憊的(?)。在前些日子，長途的面試終於畫下休止符，所以也打算針對聯發科專門寫一篇文章記錄自己在實習/預聘的申請過程。

最近都在準備一些公司的預聘面試，但老實說準備的還不夠充分，所以常常被面試官電在牆上，然後電完後在被拖出來繼續電。

身為一個從小看獵人的人，也希望自己像奇犽一樣，被電久了之後也可以學會特殊的能力(?)

所以還是決定每次被電後去面對問題，把不會或不清楚的地方的搞懂。所以這篇就會分享幾題當初被問到的問題，以及事後做完功課後自己會怎麼去回答。其實有想過把所有被問過的題目整理起來變成一篇分享，不過目前沒有那個時間，所以會先以一篇一篇的形式，每篇紀錄一些內容這樣。

logical operator 和 bitwise operator的差別?

這題一開始我有簡單的回答出來，當時我的回答是這樣的：

• bitwise operator如|、&會以bit的角度去看兩側的operand，針對每一個bit去做運算
• 而logical operator如||、&&則是以boolean的角度去看兩側的operand，在C語言中，只要不是0的值會被視為true，0則會被視為false。基於此概念下去做運算

Batch Normalization

簡介

BN在2015年由Google提出(Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift)，主要來解決上面描述的問題，幫助模型加速收斂。