파이썬 한글 인코딩(UTF8, Unicode, Euc-Kr) 탐구

파이썬 한글 인코딩(UTF8, Unicode, Euc-Kr) 탐구 
출처: https://redscreen.tistory.com/163 [RedScreen]

댓글

댓글 쓰기

이 블로그의 인기 게시물

파이참에서 인터프리터 꼬인 경우 처리

이미지
아나콘다를 재설치 후 파이참을 실행하는데 자꾸 실패한다. 실행시 사용되는 파이썬 위치도 뭔가 이상하다. 어떻게 설정했는지 모르겠지만 이전에 인터프리터 설정을 가상환경으로 설정을 해서 문제가 발생했다. Files -> Settings 선택하면 Setting 팝업이 나온다. 메뉴 중  Project: source -> Project Interpreter를 선택한 후 우측 상단 톱니 바퀴를 클릭하면 Project에서 사용할 Interpreter를 추가하여나 삭제, 변경할 수 있다. Add를 누르면 아래처럼 팝업이 보여지고 왼쪽에 4가지 항목이 나온다.  첫 번째 Virtualenv Environment는 시스템 인터프리터 이외 필요한 실행 환경을 만들어 사용할 수 있도록 지정하는 항목이다.  내가 어떻게 했는지 기억나지 않지만 가상 환경을 만들고 사용하도록 해서 하다 해당 위치를 삭제하고 System Interpreter를 사용하도록 변경하였다.  그런데 변경 후에도 System Interpreter가 비어있다고 나오고 Virtualenv Environment로 지정되는 현상이 발생했다.  Virtualenv Environment 폴더가 있으면 Virtualenv Environment을 우선으로 하는 것 같아서 파이참을 닫고 해당 폴더를 삭제하고 다시 System Interpreter으로 설정하였다.  정상적으로 설정되어 그전에 실행하던 파일을 실행하니 실행되지 않는다.  실행되는 Interpreter를 확인하니 Virtualenv Environment에서 사용하던 Interpreter 이다.  Run -> Edit Configurations 를 클릭하면 아래 팝업이 나온다.  Python interpreter 에 기존 Virtualenv Environment의 interpreter가 설정되어 있었다.  전체 interpreter를 변경해도 기존 설정은 변경되
자세한 내용 보기

경사소실 문제 해결

이미지
1. 경사 소실 문제 출력층으로부터 되돌아가면 각 층의 가중치를 수정하려면 미분 값, 즉 기울기가 필요하다. 그런데 층이 늘어나면서 기울기가 중간에 0이 되어버리는 경사 소실(vanishing gradient) 문제가 발생한다. 이는 시그모이드 함수의 미분 최대치는 0.3, 즉 1보다 작은 값이기 때문이다. 은닉층이 많아질수록 기울기는 점점 0에 가까워지게 된다. 이를 해결하기 위해서 시그모이드 함수를 대체할 수 있는 활성화 함수를 사용하려면 시그모이드 함수와 모양이 비슷하고 경사가 소실되지 않는 함수를 사용한다.  1.1 쌍곡탄젠트 함수(Hyperbolic Tangent Function) tanh(x) tanh(x) 함수 정의와 그래프이다.  * 시그모이드 함수 : 입력값 − ∞ <x< ∞에 대하여 함수값의 범위는 0<σ(x)<1   * 쌍곡탄젠트 함수 : 입력값 − ∞ <x< ∞에 대하여 함수값의 범위는 − 1<tanh(x)<1     다음은 쌍곡탄젠트 함수의 경사를 구하기 위해 필요한 tanh(x) 의 도함수를 구하는 과정이다. 아래는 tanh′(x) 와 σ′(x) 의 그래프를 비교한 그림이다.  σ′(x) 의 최대값은 σ′(0)=0.3 이고 tanh′(x) 의 최대값은 tanh′(0)=1 이기 때문에 시그모이드 함수와 비교했을 때 경사가 소실되기 힘들다는 것을 알 수 있다 . * TensorFlow에서 구현은 tf.nn.tanh() 이다.  1.2 ReLU(Rectified Linear Unit) 함수 tanh(x) 함수를 사용하면 미분값의 범위가 확장된다. 그러나 고차원 데이터를 다룰 경우에는 값이 커질 수 있어 다시 경사가 소실될 수 있다. 복잡한 데이터일 수록 고차원일 경우가 많은데 이를 회피할 수 있는
자세한 내용 보기

근무 시작시간과 근무시간 입력 받아 근무 종료시간 반환하는 함수

* 문제 근무 시작시간(i_t)과 총소요시간(i_h)을 입력 받아 근무 종료시간(o_t)을 반환하는 사용자 함수(f_Quiz)를 생성하는 문제 * 가정     - 통상 근무시간은 평일 오전 9시부터 오후 6시     - 오후 12시부터 1시는 점심시간으로 근무시간에서 제외     - 토, 일요일 및 휴일도 근무시간에서 제외     - 휴일은 별도의 테이블로 관리 <리스트 1> 휴일 테이블 생성 및 조회 CREATE TABLE t_holiday AS SELECT '20140101' dt FROM dual UNION ALL SELECT '20140130' FROM dual UNION ALL SELECT '20140131' FROM dual UNION ALL SELECT '20140201' FROM dual UNION ALL SELECT '20140301' FROM dual UNION ALL SELECT '20140505' FROM dual UNION ALL SELECT '20140506' FROM dual UNION ALL SELECT '20140606' FROM dual ; SELECT * FROM t_holiday; DT 20140130 20140131 20140201 20140301 20140505 20140506 20140606 <리스트 2> 사용자 함수 결과 조회 WITH t AS ( SELECT 1 no, '2014/01/01 12:30' t, 2 h FROM dual UNION ALL SELECT 2, '2014/01/30 12:30', 4 FROM dual UNION ALL SELECT 3, '2014/03/04 07:30', 2 FROM dual UNION ALL SELECT 4, '2014/03/04 12
자세한 내용 보기