Jekyll2022-12-09T11:21:27+00:00https://ddanoni.github.io/feed.xml따노니의 Github 블로그입니다.ddanoni2022-12-07T00:00:00+00:002022-12-07T00:00:00+00:00https://ddanoni.github.io/coding/first<p class="notice--danger"><strong>[공지사항]</strong> <a href="https://mmistakes.github.io/minimal-mistakes/docs/quick-start-guide/">따노니’s devnote 공지사항 TEST</a></p> <div class="notice--success"> <h4>공지사항 TEST입니다.</h4> <ul> <li>공지사항 순서 1</li> <li>공지사항 순서 2</li> <li>공지사항 순서 3</li> </ul> </div> <p><a href="https://google.com" class="btn btn--danger">구글 이동 버튼</a></p> <!-- Courtesy of embedresponsively.com --> <div class="responsive-video-container"> <iframe src="https://www.youtube-nocookie.com/embed/jqDxIMuWSVE" frameborder="0" webkitallowfullscreen="" mozallowfullscreen="" allowfullscreen=""></iframe> </div> <h1 id="오늘-처음-블로그를-개설했어요">오늘 처음 블로그를 개설했어요.</h1> <p>앞으로 재미나게 해보겠습니다.</p> <p><strong>실시간으로 반영되는 것을 확인할 수 있나?</strong></p> <div class="language-python highlighter-rouge"><div class="highlight"><pre class="highlight"><code><span class="k">print</span><span class="p">(</span><span class="s">"Hello, World!"</span><span class="p">)</span> </code></pre></div></div> <h2 id="이미지-목차">이미지 목차</h2> <h3 id="이미지-세부-목차1">이미지 세부 목차1</h3> <p>이미지 테스트~</p> <p>##</p> <h3 id="이미지-세부-목차2">이미지 세부 목차2</h3> <p>이미지 테스트~</p> <p>##</p> <h3 id="이미지-세부-목차3">이미지 세부 목차3</h3> <p>이미지 테스트~</p> <p><img src="../images/2022-12-07-first/racoon01.jpg" alt="racoon01" /></p> <h1 id="큰-목차2">큰 목차2</h1> <p>안녕하세요?</p>ddanoni

[공지사항] 따노니’s devnote 공지사항 TEST

2022-12-07T00:00:00+00:002022-12-07T00:00:00+00:00https://ddanoni.github.io/deeplearning/second<p class="notice--danger"><strong>[주의]</strong> [개인 연구 기록 목적의 게시글로 비공개될 예정임]</p> <p class="notice--info"><strong>[정보]</strong>[2022년 한국지리정보학회 추계학술대회 발표 내용]</p> <p><br /></p> <h1 id="ai-기반-문서-유형-분류-및-주소-추출">AI 기반 문서 유형 분류 및 주소 추출</h1> <p><br /></p> <p><strong>연구를 진행할 때, 기록과 병행했어야 했는데, 거의 완성되어 갈 때즈음 정리하려니 머리 아프다.</strong></p> <p><strong>기록을 습관적으로 하는 일상을 보내야겠다.</strong></p> <p><br /></p> <p><img src="../images/2022-12-07-second/research_method_4.png" alt="research_method_4" style="zoom:33%;" /></p> <div class="notice--warning"> <h4>연구 배경 및 목적</h4> <ul> <li>다양한 분야에서 빅데이터 및 인공지능 기반의 공간정보서비스가 확대되고 있으며, <br />그에 따라 공간의사결정을 위한 비공간 데이터의 수집 및 가공 방안에 대한 중요성이 강조되고 있음</li> <li>현재 정형-비공간/비정형-공간 데이터에서 GIS 데이터로의 변환은 가능하지만, <br />비정형-비공간 데이터에서 공간 데이터 구축 시 어려움이 있음</li> <li>그리하여 본 연구에서는 문서 데이터에서 공간 데이터로 변환 가능한 구조화된 공간 요소(주소 정보를 포함한 문장)를 도출하는 방법론을 제시하는 데 목적이 있음</li> </ul> <h4>연구 절차</h4> <ul> <li>연구 절차 1 : 기초 데이터의 문서 유형별 분류를 통한 공간 데이터의 주제도화</li> <li>연구 절차 2 : 문서에서의 주소 요소 추출을 통한 주소기반 공간 맵핑</li> </ul> </div> <div class="notice--success"> <h4>코드는 모두 모듈화하였으며, 구성은 다음과 같다.</h4> <ul> <li>user_lib - 사전 정의 라이브러리</li> <li>config - 문서 유형 분류와 주소 정제를 위한 공통 환경 설정</li> <li>model - 문서 유형 분류와 주소 추출 및 검증에 활용할 모델</li> <li>classify_doc - 사전 정의 라이브러리 기반 문서 분류 훈련 및 테스트 </li> <li>address_Test - 사전 정의 라이브러리 기반 주소 훈련 및 테스트</li> <li>ner - 사전 정의 라이브러리 기반 개체명 인식</li> <li>bert_address_test_main - 구축한 BERT 기반 주소 검증</li> <li>bert_classify_main - 구축한 BERT 기반 유형 분류 검증</li> <li>bert_ner_main - 구축한 BERT 기반 개체명 인식 검증</li> </ul> </div> <p><br /></p> <p class="notice--danger"><strong>[주의]</strong> [아래의 내용들은 작성된 코드들을 모듈화했기 때문에 순서에는 의미가 없음]</p> <h2 id="문서-유형-분류">문서 유형 분류</h2> <h3 id="user_lib">user_lib</h3> <h4 id="def_chrome_drvpy">def_chrome_drv.py</h4> <p><br /></p> <ul> <li> <p>비정형-비공간 데이터인 문서 자료를 수집하기 위해 부산광역시 도시계획 고시공고문을 기초 데이터로 활용</p> </li> <li><strong>Selenium</strong>의 <strong>Webdriver</strong>를 활용하여 부산광역시 도시계획 고시공고문 게시글 내 첨부파일들을 자동 다운로드하기로 함</li> <li>첨부파일을 데이터프레임 형식으로 불러오기 위해서는 첨부파일을 정형화하는 작업이 필요함</li> <li>하지만 첨부파일이 txt 형식으로 제공되는 것이 아니라, hwp, pdf 또는 csv 형식으로 제공되는 경우도 있기 때문에 Python에서 문서를 변환할 수 있는 Pyhwp 모듈을 활용하기로 함</li> </ul> <p><br /></p> <p><strong>Selenium이란</strong></p> <ul> <li>웹 사이트 내에서 <strong>자동화</strong>로 여러가지 동작 구현이 가능한 라이브러리로, <br />로그인 또는 <strong>지속, 반복적인 검색</strong>을 통해 데이터를 얻기에 적합함</li> </ul> <p><br /></p> <p>Webdriver를 통해 외부 모듈에서 웹 브라우저를 제어할 수 있으며,</p> <p>Chromedriver, Chrome, Selenium 모듈 설치 등과 같은 사전 환경설정이 필요함</p> <p><a href="https://chromedriver.chromium.org/downloads" class="btn btn--info">ChromeWebdriver</a> <a href="https://www.google.co.kr/intl/ko/chrome/" class="btn btn--info">Chrome</a></p> <p>Python 내 Selenium 모듈 설치</p> <div class="language-python highlighter-rouge"><div class="highlight"><pre class="highlight"><code><span class="n">pip</span> <span class="n">install</span> <span class="n">selenium</span> </code></pre></div></div> <p><br /></p> <p>ChromeWebdriver의 경우, 파이썬의 작업 환경에 해당하는 폴더에 같이 위치시키야 하며, 절대 경로로 지정해 주는 게 좋음</p> <p><br /></p> <p><br /></p> <p>보통은 아래와 같은 코드를 작성해 Selenium의 Webdriver를 불러오지만,</p> <p>본 연구에서는 문서 유형 분류, 주소 정제 및 개체명 인식에 작성한 코드들을 정리하기</p> <p><strong>1. Selenium Webdriver 활성화 및 다운로드 절대 경로로 설정하기 위한 라이브러리를 import</strong></p> <div class="language-python highlighter-rouge"><div class="highlight"><pre class="highlight"><code><span class="kn">from</span> <span class="nn">selenium</span> <span class="kn">import</span> <span class="n">webdriver</span> <span class="kn">import</span> <span class="nn">chromedriver_autoinstaller</span> <span class="kn">from</span> <span class="nn">selenium.webdriver.common.by</span> <span class="kn">import</span> <span class="n">By</span> <span class="kn">from</span> <span class="nn">selenium.webdriver.chrome.options</span> <span class="kn">import</span> <span class="n">Options</span> <span class="kn">import</span> <span class="nn">os</span> </code></pre></div></div> <p><strong>2. Selenium Webdriver 활성화를 위한 홈페이지 특성에 따른 옵션을 부여할 필요가 있음</strong></p> <div class="language-python highlighter-rouge"><div class="highlight"><pre class="highlight"><code><span class="k">def</span> <span class="nf">get_drv</span><span class="p">(</span><span class="n">download_path</span><span class="p">):</span> <span class="n">chromedriver</span> <span class="o">=</span> <span class="n">chromedriver_autoinstaller</span><span class="p">.</span><span class="n">install</span><span class="p">()</span> <span class="n">chromeOptions</span> <span class="o">=</span> <span class="n">webdriver</span><span class="p">.</span><span class="n">ChromeOptions</span><span class="p">()</span> <span class="n">chromeOptions</span><span class="p">.</span><span class="n">add_experimental_option</span><span class="p">(</span><span class="s">'excludeSwitches'</span><span class="p">,</span> <span class="p">[</span><span class="s">'enable-logging'</span><span class="p">])</span> <span class="n">prefs</span> <span class="o">=</span> <span class="p">{</span><span class="s">'download.default_directory'</span> <span class="p">:</span> <span class="n">os</span><span class="p">.</span><span class="n">path</span><span class="p">.</span><span class="n">abspath</span><span class="p">(</span><span class="n">download_path</span><span class="p">)}</span> <span class="n">chromeOptions</span><span class="p">.</span><span class="n">add_experimental_option</span><span class="p">(</span><span class="s">'prefs'</span><span class="p">,</span> <span class="n">prefs</span><span class="p">)</span> <span class="n">driver</span> <span class="o">=</span> <span class="n">webdriver</span><span class="p">.</span><span class="n">Chrome</span><span class="p">(</span><span class="n">chromedriver</span><span class="p">,</span> <span class="n">options</span> <span class="o">=</span> <span class="n">chromeOptions</span><span class="p">)</span> <span class="k">return</span> <span class="n">driver</span> </code></pre></div></div>ddanoni

[주의] [개인 연구 기록 목적의 게시글로 비공개될 예정임]