시대에 따라 이 종족들을 에미시(毛人), 혹은 “에비스”라고도 표기했었다. 에조의 초창기에는 동북부의 이민족들을 모두 지칭하는 단어였으나, 에조는 현재 대부분이 사라지고 홋카이도 아이누 족만 남았다. 현재는 대체로 일본인 입장에서 볼 때 일본 내 아이누 족을 지칭하는 단어로 해석된다. 종족의 계통 분류상 아이누 족은 러시아 연해주 지역의 아이누 족까지도 포함하기 때문에 에조와 아이누 족은 엄밀히 다르지만 대개 일본이 역사적으로 아이누 계통 종족을 통칭하는 단어라 보아도 무방하다. 이들 에조를 뜻하는 한자인 蝦夷는 일본어로는 えぞ(에조)라 읽고 있으나, 한국식 독음으로는 ‘하이’라고 읽는다. '새우 하(蝦)'자에 '오랑캐 이(夷)'자를 쓰기 때문인데 夷자를 서술한 것에서도 알 수 있는 것과 같이, 한국이나 중국에서 나타났던 이민족의 개념과 비슷하다.  고대의 에미시는 혼슈 동부 및 북부에 거주하면서 야마토 인이 중심이 된 일본에 대해 정치적 복속을 거부한 집단이었다. 그들은 통일된 정치 체제를 수립하지는 못하고, 차례로 일본의 세력권에 포함되어 갔다. 적극적으로 조정에 접근하는 집단도 있었지만, 반대로 적대하는 집단도 적지 않았다. 

이 에미시로 불리던 집단 가운데 일부는 가즈토(和人, 일본인), 나머지 일부는 중세의 에조, 이후 아이누로 이어진 것으로 여겨진다. 아이누가 본래 일본 야마토 민족의 역사가 아님을 생각하면 에비스도 외래 에조의 교류로 전해진 신으로 추정된다. 이러한 에미시와 에조 및 아이누는 상호 간의 연속성이 있다고 여겨졌지만, 근대에 들어 도호쿠 지방에서 야요이 시대의 벼농사 유적이 확인되면서 에미시와 에조 및 아이누는 인종상으로 동일하나 민족적으로는 조금씩 다르다고 보는 설이 유력하게 나타난다. 이와 같은 에미시는 야마토 조정 측에서 지칭했던 3인칭 형태의 타칭으로, 에미시라 불리던 그들 스스로를 어떻게 자칭했는지 언급한 사료는 없다. 에미시에는 야마토와 같은 통일된 정체성이 없었다거나 야마토 조정 측과의 협상에서 민족의식이 형성된 것으로 볼 것인지에 대해서는 연구자들 사이에도 견해가 서로 다르다. 에미시에 대한 가장 오래된 언급은 <일본서기(日本書紀)> 내용 중 진무 천황(神武天皇)의 동정전승(東征傳承)에 있는데, 거기서 읊은 노래 가운데 에미시(愛濔詩)라는 제목의 노래가 있다. 

그러나 진무 천황의 기술은 역사적 사실성이 모호한 부분이 많고, 에미시에 대한 기술과 위 기사의 노래에 대해서도 신빙성이 그다지 높지 않다. 또한 여기서 등장하는 아이누 족이 후의 에조와 아이누가 같은지를 의미하는 것도 분명하지 않아서, 에미시의 민족적 성격이나 거주 범위에 대해서는 여러 설이 있고 분명한 것은 없어 실질적으로 정설이라 보기 어려운 실정이다. 다만 대체로 간토 지방에서 도호쿠 지방, 홋카이도에 걸쳐 살고 있었다고 생각된다. 평상시에는 모피, 말과 쌀, 포, 철 등을 교환하는 등 무역도 이루어졌지만, 간사이 지역을 중심으로 한 야마토 조정은 에미시가 사는 도호쿠 땅에 몇 차례 대규모 토벌군을 보냈으며, 잦은 전투가 벌어졌다. 5세기 중국의 남북조의 역사서인 <宋書-倭國傳>에 의하면 왜왕 무가 유송(劉宋)에 보낸 상표문과 같은 역사적 기술이 있다.

"예로부터 우리 조상들께서는 몸소 갑주를 두르고 산천을 돌며 편히 쉴 날도 없이, 동쪽으로 모인(毛人)의 나라 55국을 정벌하고 서쪽으로 중이의 나라 66국을 복속시켰으며, 바다를 건너 북쪽으로 95국을 평정하셨습니다."

이 기록에서도 이미 5세기에는 에미시의 존재와 야마토 조정에 의한 지배가 진행되고 있던 모습을 확인할 수 있다. 일본의 초기 역사를 보면 서기 3세기경에 야마토(大和)가 건국된 이래 간사이(關西)를 중심으로 대륙과 한반도의 선진 문물을 받아들이면서 빠르게 발전하여 이를 바탕으로 주변 소국들을 정복해 나가는 양상이었으며, 서기 6세기경을 전후하여 남부 지역을 제외한 규슈 및 시코쿠, 그리고 츄부 서부의 혼슈 지역을 하나의 정치체로 통합시켰는데, 이후 간토, 도호쿠에 잔존하던 지방 세력들을 에조라고 칭했다. 

간토 지방과 도호쿠 지방에는 현대의 아이누 인들과 가까운 종족들이 세력을 이루고 있다가 대략 5~7세기경에는 간토, 8~11세기경에는 도호쿠의 에조 세력이 일본과의 전투 및 복속과 동화를 통해 편입되었다. 이 시기에 일부 부족장들은 일본 조정에 의해 성씨를 하사 받고 호족이 되기도 했다. 여기에 나타난 후슈(俘囚)는 일본의 야마토 등 중앙 조정에 복속된 에조 계열 부족장들을 지칭한다. 후슈(俘囚)는 일본어로 본래는 포로라는 뜻을 갖고 있다. 이부(夷俘)라고도 했다. 일본 열도의 서부에 위치한 고대 일본 조정은 정이대장군(征夷大將軍) 등으로 하여금 일본의 동부를 정벌하도록 하였다. 당시 도호쿠는 일본 조정의 세력이 미치지 못했으며 아이누 계통의 지방 세력들이 정착하고 있으면서 토착화 중이었는데 당시 일본 조정은 이들을 모두 오랑캐로 인식하여 에조(蝦夷)라고 하였다. 오늘날 기준으로 볼 때 일본인들의 조상들 중 하나가 되었지만 당시 기준으로 그들은 일본 열도의 토착민이자 야마토인과는 다른 철저한 이민족이었다. 7세기와 9세기에 걸쳐 일본 조정은 에조 부족들을 정벌하거나 회유하여 귀속시켰고, 이들에게 성씨를 하사하였다. 

이들 부족장들이 후슈가 되었는데 일본 조정이 변경을 안정시키기 위해 이들에게 면세 혜택 등을 주었고, 후슈들은 이를 기반으로 무역 등에 종사하여 이윤을 남겼다. 이들 중 일부는 일본의 호족으로 발전하였는데, 헤이안 시대의 호족인 오슈(奥州)의 아베(安倍), 데와(出羽)의 기요하라(清原), 오슈의 후지와라(藤原) 등이 되었다. 에조 중에는 강제 이주를 당해야 했던 인원들도 있어 큐슈 등에 보내져 군사력으로 활용되기도 하였다. 당시 일본 조정은 신라구(新羅寇) 등을 방어하기 위해 큐슈 지역에 후슈 출신 병력들을 배치했지만 이들이 반란을 일으키자 9세기 말에 다시 본래의 지역으로 돌려보냈다. 흔히 쇼군이라 부르는 정이대장군은 동북부 지방의 에미시를 정벌하기 위해 천황으로부터 군권을 이임 받은 무가의 수장이었다. 정이대장군은 에미시에 대한 정벌을 위해 마련된 군사력을 손에 넣을 수 있었던 데다 서일본의 천황으로부터 멀리 떨어져있어 독자적인 세력을 구축할 수 있었다. 이러한 이유로 인해 후대에 두 세력의 권력 관계가 바뀌게 된 것이라 보고 있다. 

이 외에도 진수부(鎮守府)가 존재했는데 진수부는 고대와 중세 시대에 에미시 인들에 대한 통역을 위해 설치된 관부였으며, 진수부의 지휘관은 진수부장군(鎮守府將軍)이었다. 한창 에조에 대한 일본의 정복이 이루어지고 있던 당시 에조와 일본의 주류 민족인 야마토 간의 의사소통이 제대로 되지 않아서 따로 통역관을 고용했다는 것이 진수부였고, 도호쿠벤(東北弁)에서 아이누어와 관련 있는 단어들이나 지명들이 보이는 것을 토대로 하여 에조는 아이누어나 혹은 아이누어와 가까운 언어를 구사했다고 추측하고 있다. 고고학적으로 보았을 때 이들은 홋카이도 일대의 아이누 인들과도 활발한 교류를 하고 있었던 것으로 보인다. 또한 도호쿠 북부에 잔존하고 있던 에조가 야마토 정권에 의해 완전히 정복되어 동화된 이후에는 잔존 세력들이 홋카이도로 이동하여 정착한 것으로 보인다. 그러나 일부에서는 사실 에조가 야마토에게 밀려난 또 다른 야요이인 세력이라는 가능성을 제시한 적 있고, 에조가 발해나 퉁구스 계통의 부족들과 교류를 했던 것 자체는 사실로 보이기 때문에, 어느 정도 인적 교류나 문화적인 교류 자체는 있었을 것으로 판명된다. 

다만 유전적인 부분으로 추측한다면 에조를 구성하는 인종들은 대부분 아이누인 계통이었을 것으로 보인다. 2020년의 연구에 따르면 에미시 중에 아이누와 관련된 세력도 존재하고 있었으나, 8세기 이전에 이미 야요이 계통의 언어들이 널리 사용되었다고 한다. 야마토인과 언어가 통하지 않았다고는 하지만 이에 대한 일례로 한국어, 육진방언(六鎭方言), 제주어 등과 같이 같은 계통의 언어임에도 의사소통이 불분명한 경우는 흔하였기 때문에 이를 근거로 언어가 완전히 달랐다고 단정 짓기는 어렵다. 이들 에조에 대해서 조선 측의 기록에도 등장하는데 강항(姜沆)의 <간양록(看羊錄)>, 이익(李瀷)의 <성호사설(星湖僿說)>, 이덕무(李德懋)의 <청장관전서(靑莊館全書)>, 이규경(李圭景)의 <오주연문장전산고(五洲衍文長箋散稿)> 등에 기록되어 있다. <청장관전서(靑莊館全書)>에서는 이들 에조인들을 모인국(毛人國)이라고도 하며 험한 길을 다니는데 능숙하고 물에서 헤엄칠 때에는 짐승처럼 빠르다고 기록했다. 고대 5세기에는 야마토 조정이 이들 세력을 복속시켰다는 기록이 존재한다. 왜5왕 중 무(武)가 478년에 남북조 중 남조의 송(宋)나라에 보낸 국서에서 “동쪽으로 모인(毛人)의 나라 55개를 정복하고, 서쪽으로 66국을 항복시키고, 바다 건너 북쪽으로 95개 나라를 병합하였습니다.”라고 기록한 것인데, 여기서 등장하는 모인이 에조로 알려져 있다. 

사이메이(斉明) 일왕 당시 견당사(遣唐使)로 당나라에 갔던 이키노무라치 하카토코(伊吉連博徳)가 에미시 두 명을 데려가 당나라 고종(高宗) 앞에 보여주었다는 기록이 <일본서기(日本書紀)>에 실려 있는데, 야마토 조정과의 거리 등을 고려하여 에미시를 니키에미시(熟蝦夷), 아라에미시(荒蝦夷), 츠가루(津輕)로 분류해 고종에게 소개했다. <일본서기(日本書紀)> 사이메이 일왕 원년인 655년 7월 11일 조에 의하면, 나니와쿄(難破京)의 조정에서 북에미시 99명과 동에미시 95명을 향응하였다고 기록하고 있다. 여기서 북쪽과 동쪽은 각각 호쿠에쓰(北越), 히가시미치노쿠(東陸奧)라는 주석이 있는데, 북쪽은 고시국(越國), 동쪽은 무쓰국(陸奧國)의 방향이며 고시는 실제로는 무쓰 서쪽에 위치하지만 수도에서 보아 북쪽에 위치하므로 북에미시로 분류하여 설명했다. 이는 당시 에미시 양대 집단으로 나뉘어 있었다는 뜻이 아니라 응대 실무를 맡았던 구니의 관할 방위에 따라 조정이 분류한 것으로 보인다. 이러한 구별은 나중에 데와국과 무쓰국의 관할이 되면서 헤이안 시대까지 답습되어지지만 표기는 고대 중국의 단어로 북방 이민족을 가리키는 북적으로 바뀌어 에미시(蝦狄)이라고도 쓰게 되었다. 

이 같은 설명에 대해 에미시의 생활을 같은 시대 사람이 정면에서 설명한 것으로, 7세기 견당사들이 당나라를 방문할 때마다 에미시들을 소개하기를 야마토 조정에 매년 입조하는 니키에미시가 가장 야마토 정권에 순응하기 때문에 가까운 종족이고, 다음으로 아라에미시(麁蝦夷), 그리고 가장 멀리 있는 것이 쓰가루(都加留)라고 대답했다. 다이호 율령을 제정한 인물인 이키노 하카토코(伊吉博德)는 에미시가 농사도 지을 줄 모르고 집도 짓지 않고 나무 밑에 산다고 서술했지만, 사료에 보이는 다른 기술이나 현재의 고고학적 지식과 모순되는 것으로 에미시를 야만인으로 과장하기 위해 만들어 낸 창작으로 보인다. 이와 같이 신빙성 없는 설명에서 확실하게 파악할 수 있는 것은 에미시 가운데 쓰가루라 불리던 집단은 그들의 고유 명칭을 가지고 있을 정도로 유력한 집단으로 존재했다는 것에 있다. 이와 같이 에미시들을 견당사와 함께 당나라에 보낸 것은 당나라에 대해서도 왜가 주변 이민족인 에미시를 번속 국가로 거느린 나름 제국과 비슷한 모습을 당나라에 과시하기 위한 의도로 해석하기도 한다. 물론 당시 명실상부한 세계적인 제국이었던 당나라의 입장에서 그와 같은 왜국의 모습은 외교적으로도 크게 관심을 두지 않았을 것으로 추측된다. 

이 당시 일본은 간토 지역의 에조를 정복했고, 도호쿠 일대의 에조는 야마토 조정과의 교역 혹은 해양을 통한 교역을 통해 선진 문물을 받아들여서 발전했다. 이들은 간토 지역에 자주 나타나서 약탈했기 때문에 야마토 조정에서는 에조를 다스리기에는 어렵게 생각하고 있었으며 이에 따라 충돌도 빈번해졌다. 특히 7세기 아스카 시대(飛鳥時代) 에미시는 지금의 미야기(宮城) 현 중부에서 야마가타(山形) 현 북쪽의 도호쿠 지방과, 홋카이도 대부분에 걸치는 넓은 지역에 걸쳐 거주하고 있었다. 658년에 아베노 히라후(阿倍比羅夫)가 수군(水軍) 180척을 이끌고 에미시를 토벌하기 위해 출정했고 결국 에미시를 장악했다. 야마토 조정은 도호쿠 일부 지역을 정복한 이후에 간사이 지역이나 간토의 주민들을 도호쿠 일대로 이주시키는 사민정책을 시행했지만, 충돌이 매우 많았기 때문에 농민들 입장에서는 주거지로 그리 선호되지 않았다. 그리고 도호쿠 일대의 에미시들도 야마토 조정의 움직임에 맞서 자체적으로 통치 체계를 갖추었으며 조정의 군대와 상당수 전투를 벌였다. 이들은 야마토 정권과의 지속적인 소모전으로 인해 과도한 재정 지출과 인명손실을 초래했다.

서기 9세기 경 야마토 조정은 현재의 이와테 현과 아키타 현의 중간지역을 경계로 삼고 향후 2세기 가까이 아오모리 일대에 대한 정복 전쟁을 일시적으로 중단할 정도였다. 그러나 에조는 통일된 국가체계의 형성에는 실패한 부족 사회였기 때문에 결국 각개 격파 당하고 일본의 통치 하에서 단계적으로 동화되기 시작했다. 이 과정에서 자발적으로 일본에 복속해온 에미시들이 상당히 많았다고 한다. 에미시와의 외교적인 부분으로 볼 때 발해에서 동해를 거쳐 일본으로 향하던 사신들이 항로를 잘못 들어 북동쪽의 에미시의 영토로 들어가 상륙하자마자 에미시들에게 살해당하기도 했다는 것이 일본 측 기록에는 상당수 등장하고 있다. 특히 발해 무왕 때의 사신단의 수령이었던 고제덕(高齊德)은 727년 9월 정사 영원장군(寧遠將軍) 낭장(郎將) 고인의(高仁義)와 유장군(游將軍) 과의도위(果毅都尉) 덕주(徳周), 별장(別將) 사항(舍航) 등 24인과 더불어 일본에 사신으로 갔다. 도중에 풍랑을 만나 일본에 도착했을 때는 길을 잘못 들어 일본 열도 북부의 에조의 영토에 당도하여 이들의 습격을 받아 고인의 등 16인이 죽고 고제덕 등 8명만이 화를 면하였다고 한다.